Stell dir vor: Silvester steht vor der Tür, die Gäste kommen gleich und deine Wohnung sieht wie ein Schlachtfeld aus. Anstatt gründlich aufzuräumen, stopfst du einfach alles in den Schrank. Von außen wirkt’s perfekt, aber wehe, jemand öffnet die Tür. Genau dieses Spiel treiben auch große Banken, sogenannte G-SIBs (Global Systemically Important Banks). Kurz vor dem Jahresende „putzen“ sie ihre Bilanzen: riskante Posten werden abgebaut, Verbindlichkeiten reduziert und alles sieht sicherer aus. Doch gleich im Januar kommt alles wieder zurück. Kamil Pliszka und Carina Schlam haben in einem Arbeitspapier der Deutschen Bundesbank dies untersucht und die Ergebnisse sind eindeutig. In Tabelle 2 aus dem Arbeitspapier sieht man die Kennzahlen, die in den Blick genommen wurden: Gesamtvermögen, ausgegebene Schulden, Derivate, komplexe Level-3-Assets und Handelsbestände. Genau dort wird getrickst. In Tabelle 3 aus dem Arbeitspapier wird es spannend: Am Jahresende schrumpfen G-SIBs ihre...
Nahezu täglich sehen wir Nachrichten, welche neusten Test die LLMs gelöst haben - und die Tests sind häufig sehr komplex, wie z.B. Zulassungsprüfungen von Anwälten oder medizinische Examina.
Doch gleichzeitig ist es verblüffend, an welchen einfachen Fragen LLMs scheitern. Tyler Cowen schrieb, dass die LLMs die für die Menschen mit Internetzugang einfache Frage nicht richtig beantworten
Name three famous people who all share the exact same birth date and year
Das Scheitern der LLMs, diese und ähnlich einfachen Fragen zu beantworten, kann uns wichtige Hinweise liefern, wie diese funktionieren. Es ist vielleicht am besten zu sagen, dass LLMs unglaubliche Intuition, aber begrenzte Intelligenz zeigen. Sie können fast jede Frage beantworten, die in einem intuitiven Durchgang beantwortet werden kann. Und mit ausreichend Trainingsdaten und genügend Schritten können sie sich einer Art von begründeter Intelligenz annähern.
Mit anderen Worten, es gibt eine "Zielverschiebung", bei der, wenn mehr Schritte hinzugefügt werden, das Gesamtsystem anfängt, die falschen Dinge zu tun. Wenn die Kontexte zunehmen, haben LLMs selbst bei Berücksichtigung der bisherigen Gesprächsgeschichte Schwierigkeiten herauszufinden, worauf sie sich konzentrieren sollen und was das eigentliche Ziel ist. Die Aufmerksamkeit ist für viele Probleme nicht präzise genug.
Ich glaube, wie viele andere, dass in LLMs wie bei Menschen der Kontext das ist, was knapp ist.
Comments
Post a Comment