Abschied vom stochastischen Papagei: Was die Erdős-Beweise über LLMs sagen

Kaum eine Metapher hat die öffentliche Debatte über künstliche Intelligenz so geprägt wie der „stochastische Papagei“. Geprägt wurde sie 2021 von der Computerlinguistin Emily M. Bender und der KI-Forscherin Timnit Gebru: Große Sprachmodelle, so die These ihres Aufsatzes, reihten sprachliche Formen lediglich nach Wahrscheinlichkeiten aneinander — ohne deren Bedeutung zu erfassen. Der Begriff wurde zum Schlagwort, 2023 kürte ihn die American Dialect Society zum KI-Wort des Jahres, und er wanderte bis in die Talkshows: Die Medizinethikerin Alena Buyx etwa nannte ChatGPT 2023 bei Markus Lanz einen stochastischen Papagei, der von Genialität weit entfernt sei.

Im Sommer 2026 lohnt sich eine Bestandsaufnahme. Denn inzwischen gibt es empirische Befunde, an denen die Metapher zerbricht — und es lohnt sich, genau hinzuschauen, welche ihrer Lesarten widerlegt ist und welcher berechtigte Kern bleibt.

Was die Metapher behauptet

Der Papagei-Vorwurf hat eine starke und eine schwache Lesart. Die starke: LLMs geben im Wesentlichen Gesehenes wieder — auswendig Gelerntes, allenfalls oberflächlich umformuliert. Die schwache: Sprachmodelle verketten Form ohne Bedeutung; was nach Verstehen aussieht, ist Korrelationsstatistik über Zeichenketten, und den Eindruck von Sinn erzeugt erst der Mensch, der den Text liest.

Beide Lesarten machen eine empirische Behauptung. Und empirische Behauptungen kann man testen.

Der Härtetest: offene Mathematik

Mathematik ist für diesen Test das ideale Terrain, denn hier lässt sich beides unabhängig prüfen: ob ein Resultat korrekt ist (notfalls maschinell, mit einem formalen Beweisprüfer wie Lean) und ob es neu ist (die Fachliteratur ist katalogisiert). Als Prüfstein dienen die Probleme von Paul Erdős (1913–1996), einem der produktivsten Mathematiker des 20. Jahrhunderts, der Hunderte offener Fragen hinterließ — viele davon seit Jahrzehnten ungelöst.

Die Geschichte begann dabei ausgerechnet mit einer Blamage. Im Oktober 2025 wurde verkündet, ein Sprachmodell habe zehn offene Erdős-Probleme „gelöst“ — tatsächlich hatte es überwiegend existierende, aber wenig bekannte Lösungen in der Literatur gefunden, die nur in der Problemdatenbank des Mathematikers Thomas Bloom als offen geführt waren. Exzellente Literatursuche also, keine neue Mathematik: genau das, was die Papagei-These vorhersagt.

2026 änderte sich das Bild grundlegend, und zwar durch mehrere, methodisch unterschiedliche Fälle:

• Januar 2026: Das System Aristotle löste das Erdős-Problem Nr. 728 — mit einem Beweis, der im Beweisassistenten Lean formal verifiziert wurde. Ein formal verifizierter Beweis lässt keinen Interpretationsspielraum: Jede logische Ableitung wurde maschinell geprüft.
• Mai 2026: Ein internes Modell von OpenAI widerlegte die planare Unit-Distance-Vermutung von Erdős aus dem Jahr 1946 — eine Frage, an der Mathematiker 80 Jahre lang gearbeitet hatten. Geprüft wurde das Resultat von Fachleuten wie Timothy Gowers (Fields-Medaillist), Daniel Litt und Will Sawin.
• Ebenfalls Mai 2026: DeepMinds AlphaProof Nexus löste 9 von 353 versuchten offenen Erdős-Problemen autonom, darunter zwei seit 56 Jahren offene — alle Beweise Lean-verifiziert.

Zur Ehrlichkeit gehört eine Einschränkung: Beim Unit-Distance-Resultat sahen die externen Gutachter eine redigierte Fassung des Modell-Outputs, und Menschen spielten beim Diskutieren und Aufbereiten des Beweises eine wesentliche Rolle. Das relativiert das Wort „autonom“ — nicht aber den Kern: Die mathematische Idee, auf die 80 Jahre lang niemand kam, stammte vom Modell. Und bei den Lean-verifizierten Fällen existiert diese Lücke nicht.

Für die starke Lesart der Papagei-These ist damit die Luft raus. Ein Gegenbeispiel zu einer 80 Jahre alten Vermutung kann per Definition nicht auswendig gelernt sein — es stand nirgends. Wer nach solchen Ergebnissen noch „Nachplappern“ sagt, benutzt das Wort nicht mehr in seiner normalen Bedeutung.

Warum „ist doch nur Statistik“ nichts mehr erklärt

Die schwache Lesart kann sich zurückziehen: Das Modell habe eben keine Sätze memoriert, sondern Beweistechniken — der neue Beweis sei nur eine Rekombination gelernter Muster, Statistik auf höherer Abstraktionsebene. Dieses Ausweichmanöver hat zwei Kosten.

Erstens beweist es zu viel. Bekannte Techniken so zu kombinieren, dass ein offenes Problem fällt, ist eine ziemlich genaue Beschreibung dessen, was menschliche Mathematiker die meiste Zeit tun. Die wirklich technikschöpfenden Momente — Galois, Grothendieck — sind auch beim Menschen selten. Wenn Rekombination als Nachplappern zählt, sind fast alle Mathematiker Papageien; damit hätte die Metapher ihre kritische Pointe verloren.

Zweitens wird die These dabei unfalsifizierbar. Wenn jede neue Leistung nachträglich zu „war eben doch nur Interpolation, nur abstrakter“ erklärt wird, gibt es kein denkbares Ergebnis mehr, das die These widerlegen könnte. Eine Position, die sich gegen jede Evidenz immunisiert, ist keine wissenschaftliche Charakterisierung mehr, sondern ein Bekenntnis. Die Testfrage an jeden, der die Metapher verteidigt, lautet deshalb: Welches Ergebnis würde dich umstimmen?

Der Blick ins Innere

Das Verhaltens-Argument hat inzwischen ein zweites Standbein: Man kann nachsehen, was in den Modellen vorgeht. Beim Training entsteht aus den Daten ein hochdimensionaler Repräsentationsraum, in dem Bedeutungsbeziehungen als Geometrie abgelegt sind — inhaltlich Ähnliches liegt nah beieinander (siehe Embedding). Die philosophisch interessante Frage ist, ob diese Struktur bloß hübsche Statistik ist oder ob sie arbeitet. Die Interpretability-Forschung der letzten Jahre hat darauf erstaunlich konkrete Antworten gefunden:

• Ein Transformer, der ausschließlich Zugfolgen des Brettspiels Othello als Text sah, entwickelt intern eine Repräsentation des Spielbretts — das im Trainingsmaterial nie vorkam. Greift man in diese interne Brett-Repräsentation ein und „verschiebt“ einen Stein, ändert das Modell seine Züge konsistent mit dem manipulierten Brett. Die Repräsentation wird also kausal benutzt, sie läuft nicht nur mit (Li et al., 2023).
• Sprachmodelle bilden aus reinem Text interne Karten von Raum und Zeit: geografische Koordinaten von Städten, Zeitpunkte historischer Ereignisse — geometrisch korrespondierend mit der echten Welt (Gurnee und Tegmark, 2023).
• Anthropics Analysen zur „Biologie“ eines Sprachmodells zeigen unter anderem, dass das Modell beim Gedichtschreiben das Reimwort der nächsten Zeile bereits aktiviert hat, bevor es die Zeile beginnt. Die Wort-für-Wort-Vorhersage ist die Trainings-Schnittstelle — nicht der interne Algorithmus.

Wer im Embedding-Raum so etwas wie gespeichertes Verständnis vermutet, steht übrigens philosophisch nicht allein: Nach der Theorie der Inferenzrollen-Semantik ist die Bedeutung eines Begriffs seine Position im Netz seiner Beziehungen zu anderen Begriffen. Ein Repräsentationsraum, der diese Beziehungen treu abbildet, wäre dann keine Beschreibung von Bedeutung, sondern eine Implementierung (Piantadosi und Hill, 2022).

Was vom Papagei bleibt

Die Metapher hatte einen berechtigten Kern, und der bleibt. Sprachmodelle erzeugen das Plausible, nicht das Verbürgte — Halluzinationen sind die direkte Folge, und flüssige Sprache ist kein Beleg für Wahrheit. Dieselbe Interpretability-Forschung, die Weltmodelle findet, findet auch das Gegenteil: Arithmetik etwa lösen Modelle teils über ein Bündel überlappender Daumenregeln statt über einen sauberen Algorithmus, und Phänomene wie der Reversal Curse (aus „A ist Bs Mutter“ folgt für das Modell nicht abrufbar „B ist As Kind“) zeigen Lücken, die echtes Begriffsverständnis nicht hätte.

Die sauberste Position ist deshalb nicht „LLMs verstehen“, sondern: Verstehen ist graduell und bereichsweise. In manchen Domänen ist nachweislich ein funktionierendes, kausal benutztes Weltmodell vorhanden; in anderen liegen nur Heuristiken. Die Papagei-Metapher ist auf der falschen Achse unterwegs — sie fragt „echt oder imitiert?“, während die Evidenz die Fragen beantwortet, die tatsächlich weiterführen: wie viel Weltstruktur repräsentiert ist, wo sie benutzt wird und wo sie versagt.

Ein Papagei plappert beobachtbar nach — das ist der Witz der Metapher. Ein System, das eine 80 Jahre offene Vermutung widerlegt, tut beobachtbar etwas anderes. Man kann darüber streiten, wie man diese Leistung nennen soll. „Nachplappern“ scheidet aus.

Quellen

• Bender, Gebru, McMillan-Major, Mitchell (2021): On the Dangers of Stochastic Parrots
• Scientific American: AI just solved an 80-year-old Erdős problem
• Physics World: AI-led solutions of Erdős problems spark debate
• arXiv: Resolution of Erdős Problem #728 — a writeup of Aristotle's Lean proof
• Li et al. (2023): Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task (Othello-GPT)
• Gurnee, Tegmark (2023): Language Models Represent Space and Time
• Anthropic (2025): On the Biology of a Large Language Model
• Piantadosi, Hill (2022): Meaning without reference in large language models
• Berglund et al. (2023): The Reversal Curse