Nahezu täglich sehen wir Nachrichten, welche neusten Test die LLMs gelöst haben - und die Tests sind häufig sehr komplex, wie z.B. Zulassungsprüfungen von Anwälten oder medizinische Examina. Doch gleichzeitig ist es verblüffend, an welchen einfachen Fragen LLMs scheitern. Tyler Cowen schrieb, dass die LLMs die für die Menschen mit Internetzugang einfache Frage nicht richtig beantworten Name three famous people who all share the exact same birth date and year Das Scheitern der LLMs, diese und ähnlich einfachen Fragen zu beantworten, kann uns wichtige Hinweise liefern, wie diese funktionieren. Es ist vielleicht am besten zu sagen, dass LLMs unglaubliche Intuition, aber begrenzte Intelligenz zeigen. Sie können fast jede Frage beantworten, die in einem intuitiven Durchgang beantwortet werden kann. Und mit ausreichend Trainingsdaten und genügend Schritten können sie sich einer Art von begründeter Intelligenz annähern. Mit anderen Worten, es gibt eine "Zielverschiebung", bei der,...
Der Titel sollte besser "Wie wird der Flynn-Effekt durch die Umwelt beeinflusst?" heissen, aber ich konnte nicht widerstehen...
Doch warum sollte IQ überhaupt steigen? Eine ganze Armada von empirischen Studien in Bezug auf verschiedenste Theorien sind durchgeführt, aber eine konsistente Erklärung kann bis heute nicht abgegeben werden. Ein Strang der Literatur zeigt eine hohe Korrelation zwischen dem Wohlstand einer Nation, dem Bildungssystem und dem IQ-Anstieg auf. (Weitere interessante Befunde fasst Cowen zusammen.) Mögliche Richtung von Wirkungszusammenhängen sind ebenfalls für sehr viele Länder untersucht worden, u.a. für Ostdeutschland nach der Wiedervereinigung. So schreibt Roivainen [Hervorhebung durch mich]:
Sie haben noch nie von einem Flynn-Effekt gehört? Vermutlich bin ich als Professor für solche Themen empfänglicher, weil ich jeden Tag mit Studierenden arbeite. Qua Beruf(ung) interessiere ich mich, warum das Lernen und der Erwerb von Fähigkeiten zwischen den Studierenden unterschiedlich ausfällt. Der Flynn-Effekt beschreibt den empirischen Befund, nachdem es einen erheblichen und nachhaltigen Anstieg vom durchschnittlichen Intelligenzquotienten – kurz IQ (gemessen mit unterschiedlichen Tests) – in der Bevölkerung der letzten 80 bis 100 Jahren gibt. Die mögliche(n) Wirkungsweise(n) und methodische Herausforderungen sind sehr gut von Fox und Mitchum in ihrem Beitrag beschrieben:
The trend of rising scores on intelligence tests across cohorts, known as the Flynn Effect, has generated considerable controversy as to the comparability of variation within and between time periods. Statistical methods such as confirmatory factor analysis have already revealed that a given latent variable score predicts different scores on the same tests in different cohorts. However, as informative as such studies are, purely psychometric methods do not provide the much-needed psychological basis for comparing between cohorts, namely, criteria for sameness that are logically distinct from variation itself. By relying on psychometric criteria alone to establish comparability, abilities are allowed to be defined by variation itself, which invites a host of conceptual problems, one of the more telling of which is the veritable disappearance of abilities that do not vary within one time period.
Doch warum sollte IQ überhaupt steigen? Eine ganze Armada von empirischen Studien in Bezug auf verschiedenste Theorien sind durchgeführt, aber eine konsistente Erklärung kann bis heute nicht abgegeben werden. Ein Strang der Literatur zeigt eine hohe Korrelation zwischen dem Wohlstand einer Nation, dem Bildungssystem und dem IQ-Anstieg auf. (Weitere interessante Befunde fasst Cowen zusammen.) Mögliche Richtung von Wirkungszusammenhängen sind ebenfalls für sehr viele Länder untersucht worden, u.a. für Ostdeutschland nach der Wiedervereinigung. So schreibt Roivainen [Hervorhebung durch mich]:
Lynn and Vanhanen (2012) have convincingly established that national IQs correlate positively with GDP, education, and many other social and economic factors. The direction of causality remains debatable. The present study re-examines data from military psychological assessments of the German federal army that show strong IQ gains of 0.5 IQ point per annum for East German conscripts in the 1990s, after the reunification of the country. An analysis of IQ, GDP, and educational gains in 16 German federal states between 1990 and 1998 shows that IQ gains had a .89 correlation with GDP gains and a .78 correlation with educational gains. The short time frame excludes significant effects of biological or genetic factors on IQ gains. These observations suggest a causal direction from GDP and education to IQ.
Ein anderer Strang der Literatur betont wiederum die Bedeutung der nicht-ökonomischen Faktoren. Ein nicht-ökonomischer Faktor wäre z.B. IQ der Eltern. Eine vor kurzem veröffentlichte Studie von Bratsberg und Rogebergzeigt auf, dass vor allem der IQ der Eltern eine wichtige Rolle bei der IQ-Variation spielt: [Hervorhebung durch mich]
Using administrative register data and cognitive ability scores from military conscription data covering three decades of Norwegian birth cohorts (1962–1991), we show that the observed Flynn effect, its turning point, and subsequent decline can all be fully recovered from within-family variation. The analysis controls for all factors shared by siblings and finds no evidence for prominent causal hypotheses of the decline implicating genes and environmental factors that vary between, but not within, families.
Kurz zusammengefasst zeigen die Ergebnisse von Bratsberg und Rogeberg, dass der IQ umgekehrt proportional zur Geburtenreihenfolge ist, d.h. die Erstgeborene ist schlauer. Ich bin mir sicher, dass dieses Ergebnis nicht lange unwidersprochen bleibt.
Comments
Post a Comment