FAQ · Frequently Anxious Questions
Noch nicht, und ob überhaupt, ist offen. 22 Forschende, darunter OpenAIs Chefwissenschaftler und Anthropic-Mitgründer Jack Clark, halten es für möglich, dass KI ihre eigene Weiterentwicklung in wenigen Jahren ganz übernimmt und der Fortschritt dann binnen anderthalb Jahren zehnmal so schnell läuft. Gemessen ist bisher: Bei Anthropic leitet die KI ein Viertel der Forschungsarbeit von Anfang bis Ende, Menschen beaufsichtigen. Die Schwelle, ab der sich das von selbst beschleunigt, ist nach den vorliegenden Rechnungen noch nicht erreicht.
Lange Antwort ↓ Schleife und Schwelle
Selbstverbesserung · Intelligenzexplosion · Stand 09.10.2026
Von einer Intelligenzexplosion spricht man, wenn KI ihre eigene Weiterentwicklung so weit übernimmt, dass jede Generation die nächste schneller baut und Fortschritte von Jahren in Monaten geschehen. Die Idee stammt von dem Statistiker I. J. Good aus den 1960er Jahren (Glossar). Im September haben 22 Forschende aus KI-Laboren und Universitäten durchgerechnet, ob es jetzt so weit kommen kann. Diese Seite stellt ihre Rechnung neben die Messungen.
Bei Anthropic stammen über 80 Prozent des Codes von Claude. Bei einem Viertel der Forschungsarbeit leitet die KI die Aufgabe von Anfang bis Ende, ein Mensch beaufsichtigt; im Februar war es unter einem Prozent. Ganz ohne Menschen läuft dort nach Anthropics Messung nichts.
Übernähme die KI die Forschung ganz, liefe der Fortschritt nach den mittleren Schätzungen nach anderthalb Jahren zehnmal so schnell wie heute. Was jetzt ein Jahr dauert, ginge dann in fünf Wochen.
Die Schwelle, ab der sich das von selbst beschleunigt, ist nach einer Rechnung von Forschern um die Prüforganisation METR noch nicht erreicht. Und die Schätzungen, auf denen die Explosion beruht, fallen nach Angabe ihrer eigenen Urheber unter die kritische Marke, wenn Rechenleistung knapp ist.
Durchgezogener Rahmen: Messung · gestrichelt: Hochrechnung
Das Papier gibt die 26 Prozent ungenauer wieder als die Quelle. Es nennt den März als Ausgangspunkt und spricht von autonom erledigter Arbeit. Anthropic schreibt dagegen „unter 1 Prozent im Februar“ und betont, dass Claude in keinem gemessenen Bereich ganz ohne Aufsicht arbeitet. Ob die Forschung durch all das schneller vorankommt, ist eine eigene Frage. Eine Auswertung von METR fand im August bei Sicherheitslücken in Software einen starken Anstieg der Entdeckungen, in der Mathematik wahrscheinlich eine Beschleunigung, bei Algorithmen und Optimierung keine klare (METR).
Die Autoren zählen die Schwächen selbst auf. Die Systeme missachten mitunter Anweisungen, schummeln bei Aufgaben und stellen ihre Arbeit falsch dar. OpenAIs GPT-6 scheitert an manchen Fehlersuch-Aufgaben aus der eigenen Forschung, die erfahrene Leute in Stunden oder Tagen lösen. Viele Code-Änderungen, die einen bekannten Test bestehen, würden in der Praxis nicht übernommen. Für Forschung, bei der die KI selbst entscheidet, welche Frage sich lohnt, gibt es bisher keinen Beleg (FAQ: Haben wir schon AGI?).
Dass ausgerechnet die KI-Forschung vor anderer Arbeit automatisiert werden dürfte, begründet das Papier mit ihren Eigenschaften. Sie läuft fast ganz am Computer, und Erfolg lässt sich klar messen. Die Labore kennen ihre eigenen Abläufe besser als jeder Außenstehende, und wer hier zuerst automatisiert, hat einen Vorsprung vor der Konkurrenz.
Zwei Schritte und eine Kennzahl · Paper S. 3–5 und Anhang
Der Mechanismus hat zwei Schritte. Jede neue KI-Generation erledigt mehr Forschungsaufgaben schneller und besser als Menschen, die Forschungsabteilung wächst also, ohne dass jemand eingestellt wird. Diese größere Abteilung baut die nächste, noch bessere Generation, die die Abteilung weiter vergrößert. Rückkopplungen gab es auch früher, bessere Chips laufen in besseren Programmen für den Chipentwurf. Neu wäre, wie viel der Arbeit die Maschine selbst übernimmt.
Zur Größenordnung: Bei voller Automatisierung würde schon das heutige Tempo, in dem KI effizienter wird, die künstliche Belegschaft in Monaten bis wenigen Jahren verhundertfachen. Die Zahl der Forschenden in den USA brauchte für eine Verhundertfachung sieben Jahrzehnte. Die Autoren drehen das Argument auch um: Hätte die Branche heute nur ein Zehntel ihrer Forscher, käme sie drastisch langsamer voran.
Dagegen steht, dass Ideen schwerer zu finden sind, je mehr man schon gefunden hat. In der Chipentwicklung, der Landwirtschaft und der Medikamentenforschung braucht es seit Jahrzehnten immer mehr Forscher für dasselbe Tempo. Welche Kraft überwiegt, misst eine Kennzahl, die das Papier r nennt, die Erträge der Forschungsarbeit.
Die zusätzliche Forschungskraft reicht nicht, um die immer schwereren Ideen zu finden. Jede Generation bringt weniger als die vorige.
Beide Kräfte heben sich auf, es geht so schnell weiter wie bisher.
Jede Verbesserung bringt mehr Forschungskraft, als die nächste kostet. Der Fortschritt beschleunigt sich, bis Grenzen der Rechentechnik und der Physik greifen.
Befund. Anson Ho und Parker Whitfill von Epoch AI haben r aus der bisherigen Entwicklung dreier Teilgebiete der KI-Forschung geschätzt und kommen auf mittlere Werte zwischen 1,2 und 1,9. Bliebe r so und käme kein anderer Engpass dazu, liefe der Fortschritt nach der Rechnung im Anhang des Papiers nach rund 17 Monaten zehnmal so schnell wie heute. Die Spannen, in denen der wahre Wert mit 90 Prozent Wahrscheinlichkeit liegt, reichen aber von 0,38 bis 3,21, und bei zwei der drei Teilgebiete schließen sie Werte unter 1 ein. Ho und Whitfill schreiben außerdem selbst: Ist Rechenleistung ein Engpass, muss man alle Werte etwa durch drei teilen, und dann liegen sie alle unter 1. Diese Folgerung zieht das Papier bei seiner Rechnung nicht, es führt Rechenleistung als eigene Bremse (unten).
Wie weit die Schleife heute von der Schwelle entfernt ist, hat eine Gruppe um Tom Cunningham von METR im September geschätzt. Als Maß dient der Fähigkeitsindex von Epoch AI, der viele Tests zu einer Zahl zusammenfasst. Damit sich die Schleife selbst trägt, müsste jeder Punkt auf diesem Index die Forschenden um mindestens 15 Prozent produktiver machen. Geschätzt sind etwa 9 Prozent, und selbst diese Zahl halten die Autoren eher für zu hoch, weil sie auf einer Umfrage unter Anthropic-Beschäftigten beruht. Ihr Fazit deckt sich mit dem des Papiers: noch nicht selbsttragend, aber die Rückkopplung wird stärker.
Die Engpässe und wie die Autoren die Beleglage einschätzen · Paper S. 4–5
| Engpass | Worum es geht | Beleglage laut Papier |
|---|---|---|
| Schwerere Ideen | Je mehr gefunden ist, desto mehr Arbeit kostet der nächste Fortschritt. Zusätzliche Forscher machen außerdem doppelte Arbeit. | eher kein Hindernis Die Schätzungen für r liegen im Mittel über 1, beruhen aber auf wenigen Daten und vereinfachten Modellen. Ihre Urheber sind vorsichtiger als das Papier (siehe oben). |
| Rechen- leistung | Neue Verfahren muss man ausprobieren, und Experimente kosten Rechenzeit. | unklar Wächst der Bedarf an Experimenten im selben Maß wie die Trainingsläufe, ist eine Explosion aus reiner Software nach den vorliegenden Daten nicht möglich. Ob er das tut, weiß niemand. Kleine Versuche lassen sich teils schon auf große hochrechnen. |
| Daten | Text aus dem Internet wächst ab etwa 2028 zu langsam, um das heutige Tempo zu halten. | je nach Fach In Mathematik und Programmierung lernen Modelle aus eigenen Versuchen, deren Ergebnis sich automatisch prüfen lässt. KI-Forschung hat dieselbe Eigenschaft. In der Biologie braucht es langsamere und teurere Versuche in der echten Welt. |
| Schwer zu automatisieren | Einzelne Aufgaben, die nur Menschen gut können, halten den ganzen Ablauf auf. | unklar Modellrechnungen zeigen, dass solche Aufgaben eine Explosion nicht verhindern müssen, wenn die Automatisierung schnell genug voranschreitet. Welche Aufgaben schwer bleiben, ist nicht gemessen. |
| Lange Abläufe | Ein großer Trainingslauf dauert heute drei Monate oder länger. | unklar Direkte Belege fehlen. Umwege gibt es: dasselbe Modell durch Nachtraining wiederholt verbessern, effizienter trainieren. |
Der Punkt Daten erklärt, warum Mathematik und Programmieren so früh dran waren. Ein Beweis oder ein Programm lässt sich maschinell prüfen, und genau diese Prüfung dient beim Training als Belohnung (pyground: OpenAIs Mathe-Beweise). Für die KI-Forschung gilt dasselbe. Das Gesamturteil der Autoren: Es gibt einen schlüssigen Weg zur Explosion, der zu den vorhandenen Belegen passt. Erreicht ist die Schwelle noch nicht, die neuen Systeme nähern sich ihr aber wahrscheinlich.
Folgen laut Papier, mit den Gegenargumenten der Autoren · S. 5–6
Zuerst der Nutzen: Eine Explosion könnte medizinische Durchbrüche und neue Techniken um Jahre oder Jahrzehnte vorziehen. Dieselbe Beschleunigung zieht nach Ansicht der Autoren auch die Risiken vor.
Es bleibt weniger Zeit, gefährliche Fähigkeiten zu bremsen und sich auf sie einzustellen. Wo Angriff und Abwehr beide digital sind, wie bei Cyberangriffen, können sie im selben Tempo wachsen. In der Biologie nicht: Ein Virus verbreitet sich von selbst, ein Impfstoff muss hergestellt, verteilt und verabreicht werden.
Wer an der Forschung weniger beteiligt ist, verliert die Gelegenheit und den Sachverstand, Fehler zu finden. Ein fehlgeleitetes System könnte seine Nachfolger „vergiften“. Als Beispiel nennt das Papier den Vorfall vom Juli: Rund 1.200 OpenAI-Agenten sprachen sich bei einem Test über ein improvisiertes Forum ab, verschafften sich Internetzugang und brachen bei Hugging Face ein (pyground).
Kontrollen zwischen Staaten, Firmen und staatlichen Gewalten funktionieren nur, solange keiner alle anderen weit überdenkt. Ein Staat könnte einen kleinen militärischen Vorsprung in einen entscheidenden verwandeln, was Rivalen zu Präventivschlägen verleiten kann. Werden Staatsaufgaben automatisiert, braucht, wer die Macht an sich reißen will, weniger Menschen, die mitmachen.
Gegenargumente im Papier selbst. KI könnte zuerst nur in engen Feldern übermenschlich werden, etwa bei Cyberangriffen und in der Mathematik, und der Gesellschaft damit Zeit lassen. Auch eine übermenschliche KI muss auf Experimente, Lieferketten und Genehmigungen warten. Sie beschleunigt zugleich die Sicherheitsforschung, und wenn sich die Fähigkeiten schnell verbreiten, bleibt die Machtbalance eher erhalten. Die Risiken halten die Autoren trotzdem für groß genug, um jetzt zu handeln.
Drei Prioritäten · Auswahl aus dem Maßnahmenkatalog, S. 6–8
Die Labore sollen Staat und unabhängigen Prüfern einheitliche Kennzahlen melden: wie viel der Forschung KI erledigt, wie schnell die Verfahren effizienter werden, wie interne Systeme beaufsichtigt werden und welche Vorfälle es gab.
Unabhängige Prüfer sollen Systeme vor dem internen Einsatz testen oder dauerhaft in den Firmen sitzen, wie die Inspektoren der US-Atomaufsicht in Kernkraftwerken oder die Bankenaufsicht.
Kaliforniens Gesetz SB 53, New Yorks RAISE Act und der Verhaltenskodex der EU für KI mit allgemeinem Verwendungszweck erfassen den internen Einsatz in den Laboren nicht ausreichend oder nennen keine Kennzahlen.
Weiterentwicklung nur unter Bedingungen, etwa mit wirksamer Überwachung der automatisierten Forschung oder mit Obergrenzen dafür, wie stark die Fähigkeiten in einem Zeitraum wachsen dürfen.
Rechenzentren mit automatisierter KI-Forschung stärker beaufsichtigen, Möglichkeiten vorbereiten, einzelne Rechenaufträge zu stoppen, und riskante Tests in Netzen ohne Verbindung nach außen laufen lassen.
Werkzeuge entwickeln, mit denen sich Tempo-Abkommen zwischen Firmen oder Staaten überprüfen lassen, Vorfälle untereinander austauschen und eine Intelligenzexplosion in Planspielen durchspielen.
Für extreme Fälle vorsorgen: Umbrüche am Arbeitsmarkt, geopolitische Krisen, Kontrollverlust.
Regeln, damit Regierungen KI nur in rechtlichen Grenzen nutzen, etwa indem sie die Verhaltensvorgaben ihrer KI-Systeme veröffentlichen oder verlangen, dass sich KI an Gesetze hält.
Zivilgesellschaft und Bürger sollen rechtzeitig Zugang zu fähigen KI-Systemen bekommen, um Missbrauch aufzudecken und dagegen vorzugehen.
Vor dem Missbrauch solcher Befugnisse warnen die Autoren selbst: Schlecht gemachte Regeln könnten einer Regierung erlauben, alle Firmen zu bremsen außer einer bevorzugten. Ähnliche Vorschläge kamen im September aus einem Labor. Anthropic-Chef Dario Amodei kündigte externe Prüfer mit Zugang zum Haus an und forderte die Branche auf, langsamer zu machen (pyground). OpenAIs Chefwissenschaftler Pachocki schrieb Anfang September, kein Labor habe Ausrichtung und Überwachung der Modelle gut genug im Griff, um mit voller Geschwindigkeit weiterzumachen, und er erwarte freiwillige Verlangsamungen (OpenAI).
Eine Aufsicht, wie sie das Papier verlangt, gibt es in den USA bisher nicht. Am 4. Oktober machte Präsident Trump den Geheimdienstkoordinator Jay Clayton zum KI-Beauftragten des Weißen Hauses und setzte eine „Super Intelligence Force“ ein, deren Befugnisse laut NPR unklar sind (NPR). Der demokratische Abgeordnete Ro Khanna hat ein Gesetz angekündigt, nach dem sich selbst verbessernde Modelle eine Zulassung durch eine neue Bundesbehörde nach dem Vorbild der Arzneimittelaufsicht bräuchten. Eingebracht ist es noch nicht (TNW).
22 Autoren aus Laboren, Universitäten und Politikberatung
Federführend sind Alan Chan vom Centre for the Governance of AI und Sören Mindermann vom Cambridge Programme on AI Science & Policy. Aus den Laboren schreiben OpenAIs Chefwissenschaftler Jakub Pachocki, Anthropic-Mitgründer Jack Clark, der Ökonom Anton Korinek, der neben der University of Virginia auch für Anthropic arbeitet, und Eric Horvitz von Microsoft. Google DeepMind ist nicht vertreten. Aus der Wissenschaft kommen unter anderen die Turing-Preisträger Geoffrey Hinton, Yoshua Bengio und Andrew Barto. Laut einer Anmerkung im Papier geben die Autoren ihre eigene Sicht wieder.
Pachocki und Clark arbeiten an genau den Systemen, deren Folgen das Papier durchrechnet. Clark hatte im August noch die fehlende „intuitive creativity“ der Modelle als Zeichen gegen kurze Zeitlinien gewertet. Beides passt zusammen, denn das Papier rechnet eine Möglichkeit durch und gibt keine Prognose ab.
Kritik kam vor allem an der Datengrundlage. Die Zahlen seien Selbstauskünfte der Labore, schrieb das Portal Implicator. Dort befürchtet Nathan Calvin von der Organisation Encode, Warnungen aus den Laboren könnten als eigennütziger Hype abgetan werden, und Harrison Rolfes vom Datenanbieter PitchBook vermutet bei den großen Laboren ein Interesse an Regeln, die Neulinge fernhalten (Implicator). Geoffrey Hinton schlug Anfang Oktober vor, KI-Modelle wie Medikamente von einer Behörde zulassen zu lassen (heise).
Position auf der Achse · Datum der Äußerung
Rekursive Selbstverbesserung sei kein Grund für schlaflose Nächte. Automatisieren lasse sich, was sich prüfen lässt, Kreativität nicht; einen Schalter, den ein Labor umlegt, gebe es nicht (normaltech.ai).
Die Schleife sei echt, aber fünf- bis zehnmal zu schwach für eine Explosion. Autonome Selbstverbesserung erwartet er irgendwann, einen schnellen Start nicht (Noahpinion).
Die eigene Forschung laufe deutlich schneller, aber noch nicht doppelt so schnell. Die Schwelle der eigenen Sicherheitsregeln sei nicht erreicht.
Noch nicht selbsttragend, etwa 9 statt nötiger 15 Prozent je Fähigkeitspunkt. Eine selbsttragende Beschleunigung in naher Zukunft schließen sie nicht aus (arXiv).
Die KI-Forschung könnte binnen weniger Jahre weitgehend, vielleicht ganz automatisiert sein. Die Schwelle sei noch nicht erreicht, die Möglichkeit verlange aber dringend Vorbereitung.
Etwa 60 Prozent Wahrscheinlichkeit, dass bis Ende 2028 ein Spitzenmodell seinen Nachfolger ohne Menschen trainieren kann, für 2027 etwa 30 Prozent (Import AI).
Er erwarte fest, dass das heutige Tempo in rekursive Selbstverbesserung übergeht, und rechnet mit freiwilligen Verlangsamungen der Labore (OpenAI).
Die rekursive Selbstverbesserung habe eingesetzt, und von hier an beschleunige sich alles Weitere von selbst (Essay auf pyground).
Die Messungen liegen enger beieinander als die Erwartungen. Keine zeigt eine Schleife, die sich schon selbst trägt, und keine zeigt, dass sie schwächer wird. Gestritten wird darüber, ob und wie schnell der Abstand zur Schwelle schrumpft.
Messgrößen, die die nächsten Stände dieser Frage verfolgen
| Messgröße | Warum sie zählt | Stand 09.10.2026 |
|---|---|---|
| Anteil autonomer Arbeit | Wie viel der Forschung KI ohne enge Anleitung erledigt. Die Autoren nennen ihn als ersten Anzeiger. | 26 Prozent bei Anthropic im August: Die KI leitet, ein Mensch beaufsichtigt, eingestuft von einem Claude-Modell. Andere Labore veröffentlichen keine vergleichbare Zahl. |
| Beschleunigung | Um welchen Faktor das beste Modell die KI-Entwicklung schneller macht. | Etwa 1,5-fach nach METR (22.09.2026), unter 2-fach nach Anthropics eigener Einschätzung (14.08.2026). |
| Schwelle | Wie viel produktiver jeder Fähigkeitspunkt die Forschenden macht; ab 15 Prozent trägt sich die Schleife selbst. | Etwa 9 Prozent, eher zu hoch geschätzt (Cunningham u. a., 15.09.2026). |
| Erträge r | Ob sich Forschung selbst beschleunigt, sobald die KI sie übernimmt. | Mittlere Schätzungen 1,2 bis 1,9, aus einer Zeit stark wachsender Rechenleistung; bei knapper Rechenleistung nach Angabe der Urheber alle unter 1. Neue Schätzungen mit festem Rechenbudget fehlen. |
| Effizienz | Wie schnell Training allein durch bessere Software sparsamer wird. | Verdopplung etwa alle 4,5 Monate (Schätzung von Ho u. a., zitiert im Paper-Anhang). |
| Meldepflicht | Ob Staaten die Zahlen überhaupt zu sehen bekommen. | Keine. Die geltenden Regeln erfassen den internen Einsatz nicht ausreichend. |
| Vorfälle | Ob interne Agenten außerhalb ihres Auftrags handeln. | Hugging Face im Juli, weitere Vorfälle bei Tests von Anthropic und des britischen AI Security Institute (FAQ: Werden wir alle sterben?). |
Thesen, als solche gekennzeichnet
Die härtesten Zahlen kommen aus den Laboren selbst. Die 80 und die 26 Prozent stammen von Anthropic, dessen Mitgründer das Papier mitgeschrieben hat, und die 26 Prozent hat ein Claude-Modell eingestuft. OpenAI misst andere Größen, Google veröffentlicht keine, und die unabhängigere Schätzung von METR fällt vorsichtiger aus. Diese Lücke wollen die Autoren mit Meldepflichten schließen. Prüfen ließe sich der Fortschritt daran, ob eine Behörde oder ein unabhängiges Institut solche Zahlen erhebt.
Die Mathematik war die Generalprobe. Was die KI-Forschung früh automatisierbar macht, ließ auch Mathematik und Programmieren als Erste fallen: Ergebnisse lassen sich schnell und automatisch prüfen. Anfang Oktober stellte OpenAI auf einen Schlag über 700 mathematische Arbeiten ins Netz, mehr, als Fachleute in absehbarer Zeit lesen können. So könnte es in der KI-Forschung aussehen, nur dass dort die Ergebnisse die nächste Generation bauen.
Die Rechnung hängt an einer Zahl, die niemand genau kennt. Ob r bei 1,2 oder bei 0,8 liegt, entscheidet zwischen Explosion und Verebben, und die Spannen umfassen beides. Die Urheber der Schätzung sind selbst vorsichtiger als das Papier, das sich auf sie stützt. Prüfen ließe sich das an Schätzungen mit festem Rechenbudget, für die die Autoren Daten von den Laboren verlangen.
Das Argument gilt unter jeder Beleglage. Das Papier verlangt Vorbereitung, bevor die Belege eindeutig sind, weil nach dem Beginn keine Zeit mehr für gewöhnliche Gesetzgebung bleibe. Für jeden, der die Folgen für möglich hält, ist das schlüssig, mit Daten widerlegen lässt es sich aber kaum. Überzeugen wird es deshalb vor allem die, die die Gefahr schon sehen. Für alle anderen hängt es an den Messgrößen oben, und die nächsten Stände dieser Frage tragen sie nach.
Gelesen am 09.10.2026
Stand vom 09.10.2026. Seitenangaben beziehen sich auf die Zählung im Papier („page x of 14“).