Nahezu täglich sehen wir Nachrichten, welche neusten Test die LLMs gelöst haben - und die Tests sind häufig sehr komplex, wie z.B. Zulassungsprüfungen von Anwälten oder medizinische Examina. Doch gleichzeitig ist es verblüffend, an welchen einfachen Fragen LLMs scheitern. Tyler Cowen schrieb, dass die LLMs die für die Menschen mit Internetzugang einfache Frage nicht richtig beantworten Name three famous people who all share the exact same birth date and year Das Scheitern der LLMs, diese und ähnlich einfachen Fragen zu beantworten, kann uns wichtige Hinweise liefern, wie diese funktionieren. Es ist vielleicht am besten zu sagen, dass LLMs unglaubliche Intuition, aber begrenzte Intelligenz zeigen. Sie können fast jede Frage beantworten, die in einem intuitiven Durchgang beantwortet werden kann. Und mit ausreichend Trainingsdaten und genügend Schritten können sie sich einer Art von begründeter Intelligenz annähern. Mit anderen Worten, es gibt eine "Zielverschiebung", bei der,...
Wie können Organisationen Entscheidungen richtig treffen? Daniel Kahneman, Entscheidungsanomalien und Noise
Daniel Kahneman hat für seine bahnbrechenden Arbeiten über die Entscheidungsanomalien (‚Biases‘) den Alfred-Nobel-Gedächtnispreis für Wirtschaftswissenschaften erhalten. In seinen Arbeiten hat er sich vor allem mit der Frage beschäftigt, wie sich die Menschen tatsächlich in Entscheidungssituationen verhalten. Sein Themengebiet sind 'Behavioral Economics', also 'Verhaltensökonomik'. Dabei hat er festgestellt, dass fast alle Menschen sich nicht so verhalten, wie es die klassische ökonomische Theorie annimmt. Wir lassen uns alle sehr leicht beeinflussen, etwa durch Werbung. Wir treffen nicht konsistente Entscheidungen, z.B. viele Befragte finden 90% Beschäftigungsquote besser als 10% Arbeitslosenquote. Wichtige Reflexe in der Frühzeit der Menschheit verführen uns heute, falsche Entscheidungen vor allem in Bezug auf Geldfragen zu treffen. Beispielsweise blenden viele Menschen die Risiken aus, wenn hohe Renditen versprochen werden (‚Gier frisst Hirn‘). Eine exzellente Einführung in die Entscheidungsanomalien gibt dieses (längere) Video.
In diesem Blogbeitrag gehe ich auf einen Vortrag von Daniel Kahneman ein. Kahneman hat über zufällige Fehler in der Entscheidungsfindung (''Noise') referiert und wie eine Organisation diese Fehler korrigieren könnte. Noise ist in diesem Zusammenhang wie der statistische Fehlerterm zu verstehen, den wir mittels der Standardabweichung messen können.
Noise kann in einer Person selbst zu unterschiedlichen Zeitpunkten oder zwischen den Personen zum gleichen Zeitpunkt begründet sein (mehrere Personen über mehrere Zeitpunkte wäre natürlich auch möglich). Um den Noise einer Person zu erklären, stellen wir uns eine Weinexpertin vor, der wir einen Wein in einer Blindverkostung zum Probieren geben. Sie wird dem Wein z.B. 4 von 5 Punkten geben. Wenn wir exakt der gleichen Weinexpertin exakt den gleichen Wein in einer Blindverkostung zum zweiten (dritten, x-ten) Mal zu trinken geben, ist die Chance sehr gut, dass sie 3 oder 5 Sterne vergibt. Tatsächlich gibt es dazu Studien in (kein Scherz!) Journal of Wine Economics.
Wir können uns die Beziehung zwischen Noise und Bias in einem Dart-Experiment veranschaulichen. Die Abbildung 1 (übernommen von Nathan Matias) zeigt die Ergebnisse eines Dart-Experiments in Bezug auf Noise und Bias. Im Zielbereich B sind die Treffer zufällig um die Mitte verteilt. Hier handelt es sich um Noise. Im Zielbereich C befinden sich alle die Treffer ausgehend von der Mitte in Richtung unten rechts. Offensichtlich verfehlt diese Werferin das Ziel systematisch, genau wie eine Weinexpertin, die beim zweiten Probieren systematisch weniger oder mehr Punkte vergibt.
Abb. 1: Übernommen von Nathan Matias auf Medium.com |
Noise zwischen den Personen können wir uns als mehrere Weinexpertinnen vorstellen, die alle den gleichen Wein bewerten sollen. Auch hier werden äußerst selten alle Expertinnen die gleiche Punktzahl vergeben. Einige werden 4 Punkte, andere 3 und vielleicht wieder andere 5 Punkte vergeben. Somit haben wir interpersonelles Noise und selbst Weinexpertinnen (oder Aktienanalystinnen oder Wirtschaftsprüferinnen oder Professorinnen) kommen nicht zur gleichen Bewertung, obwohl allen die gleichen Informationen zur Verfügung stehen.
Das Problem von Noise betrifft uns alle individuell. Jedoch trifft das Problem auch auf große Unternehmen zu, z.B. wenn es um Entscheidungen im taktischen oder strategischen Management geht. Denken Sie an eine Personalmitarbeiterin, die über Ihren Arbeitsvertrag entscheidet. Je nach Glück oder Pech kann diese Entscheidung Ihr ganzes Leben beeinflussen. Dazu sagt Kahneman folgendes:
People often say that the private sector is better than government, and if government is worse than what I’ve seen, then we’re really in trouble.Übrigens, im o.g. Video finden sich Hinweise auf Studien, die die situative Änderung der Präferenzen von Entscheiderinnen aufzeigen. Wenn Sie eine Stelle haben wollen, sorgen Sie beispielsweise in einem Bewerbungsgespräch dafür, dass die Entscheiderinnen warme Getränke vor oder während der Gespräches zu sich nehmen! Kahneman schlägt zwei einfache Methoden für Organisationen vor, um Noise zu minimieren. Die erste ist, Algorithmen einzuführen. Dieser Weg wird für die meisten Unternehmen aus ethischen oder anderen Überlegungen nicht möglich sein. Allerdings kann es unter Umständen möglich sein, den Entscheidungsprozess der Mitarbeiterinnen so zu strukturieren, dass er wie ein Algorithmus arbeitet. Beispielsweise könnte die Gesamtaufgabe der Bewertung in Teilaufgaben untergliedert werden und jede bewertet ihre Aufgabe unabhängig von anderen Bewerterinnen. Am Ende wird über alle Teilaufgaben aufsummiert. Der zweite Weg besteht in der Bildung von mehreren Beurteilungen entweder durch die gleiche Person oder durch mehrere Personen. Da Noise zufällig entsteht, kann es durch Mittelwertbildung abgeschwächt werden. Im Idealfall einer sehr großen Anzahl von Beobachtungen (z.B. Tausende Weinexpertinnen werden gefragt) wird der Noise fast vollständig eliminiert werden. Diese Mittelwertbildung können wir uns als eine Arbeit in den Gremien vorstellen, in dem jedes Mitglied eine einfache Stimme besitzt. Wenn das Gremium aus mehreren (vielen) Personen besteht, ist die Gefahr tendenziell gering, dass alle Personen der gleichen Entscheidungsanomalie unterliegen.
Comments
Post a Comment