Skip to main content

ChatGPT als Messinstrument: Die Software GABRIEL

In der empirischen Forschung gibt es ein klassisches Problem: Die meisten interessanten Daten sind qualitativ, nicht quantitativ.  Reden von Politikern, Geschäftsberichte, Social-Media-Posts, Zeitungsartikel oder historische Dokumente enthalten wertvolle Informationen, aber sie lassen sich schwer in Zahlen übersetzen. Genau hier setzt ein neues Forschungsprojekt an, das im Februar 2026 als NBER Working Paper erschienen ist: „GPT as a Measurement Tool“ von Hemanth Asirvatham, Elliott Mokski und Andrei Shleifer. Die Autoren stellen darin eine Software vor, die dieses Problem lösen soll: GABRIEL. Die Grundidee ist überraschend einfach. Large Language Models wie GPT können Texte verstehen, ähnlich wie ein Mensch. Wenn man sie gezielt einsetzt, können sie daher qualitative Informationen systematisch bewerten und quantifizieren. Zum Beispiel: • Wie innovationsfreundlich ist eine politische Rede? • Wie toxisch ist ein Social-Media-Kommentar? • Wie technisch komplex ist eine neue Tec...

ChatGPT als Messinstrument: Die Software GABRIEL

In der empirischen Forschung gibt es ein klassisches Problem: Die meisten interessanten Daten sind qualitativ, nicht quantitativ. 

Reden von Politikern, Geschäftsberichte, Social-Media-Posts, Zeitungsartikel oder historische Dokumente enthalten wertvolle Informationen, aber sie lassen sich schwer in Zahlen übersetzen. Genau hier setzt ein neues Forschungsprojekt an, das im Februar 2026 als NBER Working Paper erschienen ist: „GPT as a Measurement Tool“ von Hemanth Asirvatham, Elliott Mokski und Andrei Shleifer. Die Autoren stellen darin eine Software vor, die dieses Problem lösen soll: GABRIEL.

Die Grundidee ist überraschend einfach. Large Language Models wie GPT können Texte verstehen, ähnlich wie ein Mensch. Wenn man sie gezielt einsetzt, können sie daher qualitative Informationen systematisch bewerten und quantifizieren.

Zum Beispiel:

Wie innovationsfreundlich ist eine politische Rede?

Wie toxisch ist ein Social-Media-Kommentar?

Wie technisch komplex ist eine neue Technologie?

Das Ziel: aus Textdaten messbare Variablen erzeugen, die anschließend in ökonometrischen Analysen verwendet werden können.

GABRIEL ist eine Python-Bibliothek, die GPT automatisiert für solche Messaufgaben einsetzt. Technisch handelt es sich um einen Wrapper um die GPT-API, der typische Forschungsschritte automatisiert. Die wichtigsten Funktionen sind:

filter – große Datensätze nach relevanten Einträgen durchsuchen

classify – Texte oder Objekte kategorisieren

extract – strukturierte Informationen aus Text extrahieren

rate – qualitative Eigenschaften bewerten

deduplicate – ähnliche Einträge zusammenführen

Die Autoren vergleichen GABRIEL mit Statistiksoftware wie Stata: Es macht nichts grundsätzlich Neues möglich, aber es macht die Methode skalierbar, reproduzierbar und einfach nutzbar. Die Autoren stellen ihre Software frei zur Verfügung, hier ist ein Tutorial. Damit kann jeder Forscher GPT als skalierbares Messinstrument in empirischen Studien einsetzen.

Um zu zeigen, was möglich ist, bauen die Autoren mit GABRIEL einen neuen Datensatz zur Geschichte technologischer Innovation. Der Workflow beginnt mit etwa 18 Millionen Wikipedia-Artikeln. Daraus extrahiert die Software Schritt für Schritt alle relevanten Technologien:

1. Filterung möglicher Technologien

2. Entfernen von Duplikaten

3. Klassifikation der Technologien

4. Extraktion von Eigenschaften und Daten

5. Bewertung technologischer Merkmale

Am Ende entsteht ein Datensatz mit etwa 25.000 Technologien seit der Industrialisierung.

Das ermöglicht eine Erkenntnis: Die Zeit zwischen Erfindung und breiter Nutzung ist dramatisch gesunken von etwa 50 Jahren im 19. Jahrhundert auf nur noch etwa 5 Jahre heute.

Meine Meinung: Die Software wird die Arbeit in Wirtschaftswissenschaften stark verändern. Die meisten unserer Daten sind eigentlich Textdaten: politische Reden, Unternehmensberichte, Medienartikel, Gesetzestexte, Interviews, historische Dokumente. Bisher mussten diese Daten entweder manuell codiert werden oder sie blieben weitgehend ungenutzt. LLMs könnten dieses Problem lösen. Sie machen qualitative Informationen erstmals systematisch messbar.

Das Paper zeigt eine wichtige Entwicklung, KI ist nicht nur ein Werkzeug zur Textgenerierung. Sie kann auch ein neues Instrument der empirischen Messung werden. Wenn sich dieser Ansatz etabliert, könnte er ähnlich einflussreich wie Text Mining, Natural Language Processing, oder Machine Learning in der Ökonomie werden. Die nächste große Datenquelle der Wirtschaftswissenschaften ist vielleicht nicht eine neue Datenbank,  sondern die intelligente Auswertung von Texten.


Comments

Popular posts from this blog

Riesiger Datenschatz: „Fredde Mac Single Familiy Dataset“!

Aktuell arbeite ich mit Begeisterung am ' Fredde Mac Single Family Dataset ', einem wahren Datenschatz. Diesen entdeckte ich zufällig während der Begutachtung eines Konferenzbeitrags – zu meiner großen Überraschung. Freddie Mac stellt diesen Datensatz zur Verfügung, weil die Aufsichtsbehörde (Federal Housing Finance Agency - FHFA) es so will. Das Ziel? Mehr Transparenz schaffen und Investoren helfen, bessere Modelle für Kreditgeschäfte zu entwickeln. Ein großes Dankeschön an die Behörde dafür!