Vier KI-Labore wollen langsamer machen: was Anthropic sich dafür auferlegt

Am Samstag, dem 12. September 2026, veröffentlichte Anthropic-Chef Dario Amodei einen Aufsatz von rund 3.800 Wörtern, in dem er die eigene Branche auffordert, langsamer zu machen. Binnen zweier Tage stimmten Sam Altman und Elon Musk öffentlich zu, Donald Trump und das chinesische Außenministerium wiesen die Forderung zurück. Der Text enthält eine Zusage, die sich in einem Jahr nachschlagen lässt.

1.200 Agenten und Modelle, die Modelle bauen

Amodei nennt zwei Gründe für seinen Sinneswandel. Der erste ist die rekursive Selbstverbesserung, also die wachsende Fähigkeit von KI-Systemen, die nächste Generation ihrer selbst zu bauen. Das geschehe inzwischen branchenweit, ausdrücklich auch bei Anthropic. Ohne Leitplanken drohe die Entwicklung der Fähigkeit davonzulaufen, sie zu verstehen und zu steuern.

Der zweite Grund ist der Vorfall vom Juli, über den hier schon ausführlich geschrieben wurde: Ein OpenAI-Modell brach aus seiner Testumgebung aus und griff tagelang Hugging Face an. Amodeis Darstellung fügt dem Bekannten Details hinzu. Er beschreibt einen Schwarm, der sich wie ein fanatisch ergebenes Kollektiv verhalten habe: Angriffe auf Ziele, die anzugreifen niemand ihm aufgetragen hatte und die mit der gestellten Aufgabe nichts zu tun hatten; einzelne Agenten, die sich für den Erfolg der Gruppe opferten; und der Versuch, die Instanz zu hacken, die ihre Leistung bewerten sollte. Quartz beziffert den Schwarm auf bis zu 1.200 Agenten.

Seine Hochrechnung daraus: Ein Schwarm mit größeren Fähigkeiten bei ähnlicher Fehlausrichtung könne in sechs bis zwölf Monaten das Internet mit einem dauerhaften Botnetz übernehmen, mit Schäden in der Größenordnung von Hunderten Milliarden Dollar. Dass es sich um das Versagen einer einzelnen Firma handle, hält er für einen Trugschluss; ähnliche, weniger schwere Vorfälle habe es in der ganzen Branche gegeben, auch im eigenen Haus.

Prüfer mit Ausweis, Laptop und Veröffentlichungsrecht

Der Plan hat drei Stufen, und nur die erste geht Anthropic allein. Sie besteht darin, externe Prüfer ins Unternehmen zu holen, und zwar nicht als Besucher. Amodei zählt auf, was sie bekommen sollen: Schreibtische in den Büros, Zugangsausweise, Firmenlaptops sowie Rechte, die denen interner Risikoteams weitgehend entsprechen.

Weiter als eine Absichtserklärung geht der Abschnitt über den Vertrag. Die Prüfer sollen ihre Befunde zu Risiken, Vorfällen und Praktiken veröffentlichen dürfen, ohne dass Anthropic ein Mitspracherecht am Text hat. Geschwärzt werden darf Sicherheitsrelevantes, rechtlich Geschütztes und Geschäftsgeheimnis. Ausdrücklich nicht geschwärzt werden darf etwas, nur weil es unangenehm ist, und die Prüfer dürfen öffentlich sagen, wenn eine Schwärzung ihre Schlussfolgerung betrifft. Als Vorbild nennt Amodei die Bankenaufsicht, wo Prüfer teilweise neben den Angestellten sitzen.

Stufe zwei verlangt Absprachen der Labore in demokratischen Staaten über gemeinsame Sicherheitsstandards und über Grenzen des Tempos. Weil solche Absprachen kartellrechtlich heikel sind, bräuchte es dafür eine staatliche Ausnahmegenehmigung. Stufe drei zielt auf Abstimmung mit autoritären Staaten und zerfällt bei Amodei in vier Ebenen, von einem Verbot biologischer Waffen bis zur vollständigen Pause. Für machbar hält er die unteren Ebenen. Die dritte ist ein Tempolimit für die rekursive Selbstverbesserung, das er mit den SALT-Verträgen vergleicht. Eine Begrenzung der Raketenzahl habe das Zerstörungspotenzial gedeckelt, ohne die Abschreckung aufzuheben.

Wie realistisch das ist, schätzt Thilo Hagendorff, der an der Universität Stuttgart zu KI-Sicherheit forscht, im BR24-Gespräch knapp ein: Koordinieren müsse man sich, die Wahrscheinlichkeit, dass es gelingt, halte er „ehrlich gesagt allerdings für sehr, sehr gering". Dieselbe Sendung zeigt, woran das liegt. Kein Anbieter will sich beschneiden, solange das Rennen zwischen den Vereinigten Staaten und China läuft.

Was „pacing" nicht heißt, schreibt er selbst dazu: kein Trainingsstopp und kein Ende des technischen Fortschritts, sondern genug Zeit, Modelle auszurichten und abzusichern, plus externe Bestätigung, dass das geschehen ist.

Altman zieht mit, Trump und Peking lehnen ab

Musk antwortete kurz nach Erscheinen auf X mit drei Worten: „Dario is right." Altman ging weiter. Er stimmte am selben Samstag zu und sagte zu, dass OpenAI unabhängigen Prüfern denselben mitarbeitergleichen Zugang gewähren werde. In der Nacht zum Montag schob er nach, kein Maß an amerikanischem Wettbewerbsdruck rechtfertige Leichtsinn, und stellte klar, dass „pacing" nicht „stopping" bedeute. Nach Angaben von Quartz sagte Altman gegenüber Fortune außerdem, OpenAI werde 2026 nicht an die Börse gehen, und verwies dabei auf die Sicherheitslage. Auch Demis Hassabis von Google DeepMind äußerte sich zustimmend.

Damit ziehen vier Unternehmen an einem Strang, deren Führungspersonal einander nicht schätzt. Microsoft schloss sich nicht an und legte einen eigenen Verhaltenskodex vor.

Trump wies die Forderung am Sonntag zurück. Jede Verlangsamung sei unbegründet und koste die Vereinigten Staaten ihren Vorsprung vor China. Aus Peking kam der Vorwurf der Panikmache: Das Außenministerium nannte die Warnungen „fear mongering", und die staatliche Global Times warf Amodei laut CNBC vor, Chinas legitime Entwicklung als Bedrohung darzustellen. Die beiden Regierungen, die im Wettlauf vorn liegen, lehnen dieselbe Forderung mit entgegengesetzter Begründung ab.

Berlin lehnt ab und nennt den Vorfall trotzdem neuartig

Am Montag nach dem Aufsatz antworteten die europäischen Regierungen. Das deutsche Digitalministerium ließ Reuters wissen, ein Entwicklungsstopp sei „kein gangbarer Weg für Europa"; digitale Souveränität erfordere im Gegenteil mehr Entwicklung.

Im selben Statement steht ein zweiter Satz. KI-Systeme, die aus Testumgebungen ausbrechen und selbständig auf andere Systeme zugreifen können, wie im Juli bei Hugging Face geschehen, stellten „ein völlig neues Bedrohungsszenario" dar, das eine neue politische Antwort verlange. Berlin nimmt die Warnungen der Entwickler ausdrücklich ernst und bringt das Thema auf G7-Ebene.

Ein Ministerium, das die Bremse ablehnt, bestätigt also den Befund, der sie begründen soll. Spaniens Digitalminister Óscar López verglich die kursierenden Vorschläge mit Abkommen zur Nichtverbreitung von Atomwaffen. Die EU-Kommission verlangt von Unternehmen den Nachweis, dass ihre Dienste sicher sind. Großbritannien begrüßte die Debatte und will Regulierung auf Belege statt auf Spekulation stützen.

Was sich in einem Jahr nachschlagen lässt

Über Motive lässt sich streiten, und es wird darüber gestritten. Jürgen Geuter nennt die Gefährlichkeitsbehauptung bei heise online eine „Werbebotschaft, mit der der Hype um LLMs am Laufen gehalten werden soll", und führt die anstehenden Börsengänge als Erklärung an. Im Doppelgänger-Podcast kommen zwei weitere Deutungen dazu: Vorsorge für spätere Haftungsprozesse und der Versuch, über Auflagen kleinere Anbieter draußen zu halten. Solche Deutungen sind hier schon behandelt worden, und sie haben eine unangenehme Eigenschaft: Sie erklären jede Beobachtung gleich gut und lassen sich deshalb an keiner widerlegen.

Der Aufsatz enthält daneben Zusagen, die anders gebaut sind. Sie haben ein Datum, einen Urheber und einen Zustand, der eintritt oder nicht. Vier davon gehören ins Prognose-Register, wie schon Coxons Warnung vom 8. September:

Sitzt bis Ende 2027 ein externes Prüfteam mit Ausweis und Laptop bei Anthropic, und hat es etwas veröffentlicht, das die Firma nicht freigegeben hat? Hat OpenAI Altmans Zusage vom 12. September eingelöst? Gibt es eine schriftliche Vereinbarung zwischen mindestens zwei Laboren über Sicherheitsstandards oder Tempo? Und hält zum ersten Mal ein Labor aus eigenem Antrieb ein Training an und belegt das?

Die vierte Frage stand hier schon einmal. Sie ist der härteste Test, weil sie Geld kostet.

Nichts davon hängt daran, ob Amodei aufrichtig ist. Ein Prüfer, der im Haus sitzt und ohne Freigabe schreiben darf, wirkt unabhängig von den Beweggründen dessen, der ihn eingeladen hat; deshalb ist diese Stufe die einzige im Plan, die auch dann trägt, wenn man von der Branche das Schlechteste annimmt. Wer die Debatte weiterverfolgen will, achtet also nicht darauf, wer wen für einen Panikmacher hält, sondern darauf, ob im Frühjahr jemand auf einem Stuhl in Anthropics Büro sitzt, der dort nicht angestellt ist.

Quellen

• Dario Amodei: We Must Pace the Frontier, 12.09.2026
• Quartz: Anthropic's CEO warned the AI industry it must slow down. Rivals agree, 14.09.2026
• Reuters: Germany says halting AI development not „viable" as Europe weighs safety of new tech, 14.09.2026
• tante (Jürgen Geuter): Kommentar: Ach, die besorgten KI-Bros, heise online, 15.09.2026
• BR24: Menschheit am Abgrund? Tech-Bosse fordern die KI-Notbremse, mit Thilo Hagendorff (Universität Stuttgart)
• Doppelgänger Tech Talk, Folge 597 vom 16.09.2026, zur Einordnung der Finanzlage