ARC-AGI ist eine von François Chollet ab 2019 entwickelte Testreihe, die nicht das abfragt, was ein System bereits kann, sondern wie sparsam es eine unbekannte Regel erschließt.
Chollet legte 2019 in On the Measure of Intelligence eine eigene Definition vor: Die Intelligenz eines Systems sei ein Maß seiner Effizienz beim Erwerb neuer Fähigkeiten — bezogen auf einen Aufgabenbereich und unter Berücksichtigung von Vorwissen, Erfahrung und Schwierigkeit der Verallgemeinerung. Sein Einwand gegen übliche Leistungstests lautet: Was ein System an Aufgaben löst, sagt wenig, solange offen bleibt, wie viel Vorwissen und wie viele Beispiele es dafür gebraucht hat. Ein System, das eine Regel erst nach Millionen Beispielen beherrscht, die ein Mensch nach zwei Anläufen erfasst, ist nach dieser Lesart nicht intelligent, sondern trainiert. Der Gegenbegriff zu Intelligenz ist hier also nicht Unfähigkeit, sondern Einübung.
Die Aufgaben zeigen farbige Raster: einige Beispielpaare aus Eingabe und zugehöriger Ausgabe, dann ein neues Raster, für das die Ausgabe zu erzeugen ist. Die zugrunde liegende Regel wird nie genannt. Vorausgesetzt wird bewusst kein Fachwissen, sondern nur das, was der ARC Prize core knowledge priors nennt — nach der Core-Knowledge-Theorie der Psychologin Elizabeth Spelke jene Grundausstattung, über die schon Kleinkinder verfügen: dass es abgegrenzte Objekte gibt, elementare Geometrie, einfache Physik, die Vorstellung von Handelnden und Zielen. Sprache, Weltwissen und kulturelle Anspielungen sind ausgeschlossen. Anlesen lässt sich hier folglich nichts.
ARC-AGI-1 (2019) entstand vor dem Aufstieg der LLM und blieb über Jahre weitgehend ungelöst. ARC-AGI-2 (2025) wurde auf heutige Reasoning-Systeme zugeschnitten; als menschlicher Vergleichswert dient eine Studie mit über 400 Teilnehmern, in der jede Aufgabe von mindestens zwei Personen in höchstens zwei Versuchen gelöst wurde. ARC-AGI-3 verlagert die Prüfung ins Interaktive: Statt eines Rasterpaares bekommt das System ein kleines Computerspiel, dessen Regeln, Steuerung und Ziel niemand erklärt. Gewertet wird nicht, wie viele Aufgaben gelöst werden, sondern mit wie wenigen Aktionen — der Vergleichsmaßstab ist wieder menschlich.
Die ARC Prize Foundation widerspricht selbst der Lesart, ein Bestwert auf ihrem Test belege AGI: Die Prüfumgebungen sind geschlossen und regelgebunden, die Wirklichkeit ist es nicht. Hinzu kommt eine Frage des Versuchsaufbaus. Anbieter dürfen ihre Modelle über eigene Anbindungen laufen lassen, die dem Modell mehr von seinem eigenen Zwischenstand erhalten als das für alle gleiche Standard-Testgerüst; die Ergebnisse beider Wege unterscheiden sich erheblich, ohne dass sich am Modell etwas ändert. Beim Lesen von ARC-Ergebnissen lohnt daher der Blick darauf, unter welchen Bedingungen sie zustande kamen.
ARC-AGI ist ein Benchmark, aber einer mit umgekehrter Stoßrichtung: Übliche Vergleichstests messen vorhandenes Können, ARC-AGI misst Generalisierung im laufenden Betrieb. Gerade deshalb wird er in der AGI-Debatte häufig herangezogen — und ist zugleich der Test, dessen Urheber am deutlichsten davor warnen, ihn als Beweis zu lesen.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
