KI-Forscher warnt vor Auslöschung: was sich davon nachprüfen lässt

Am 8. September 2026 hat Jacob Coxon bei Anthropic gekündigt und die Gründe in eine Serie von sieben Tweets geschrieben, die binnen eines Tages rund 76 Millionen Aufrufe erreichte. Drei Jahre Pretraining-Forschung, erst bei OpenAI, dann bei Anthropic; keine Sicherheitsrolle, er hat an den Fähigkeiten gearbeitet. Sein Vorwurf: Beide Firmen handeln nicht verantwortlich und spielen mit unser aller Leben.

Solche Texte gab es schon, und sie verschwinden nach zwei Wochen wieder. Deshalb interessiert mich hier eine andere Frage als die nach der Betroffenheit: Was von dem, was er sagt, kann ich in einem Jahr nachschlagen?

„Sie spielen mit unser aller Leben“

Die zitierten Stellen habe ich nicht bei X gelesen, sondern in Karl Olsbergs Video und den Berichten von TechCrunch und Gizmodo, die die Serie im Wortlaut wiedergeben.

Coxon schreibt, beide Firmen rasten geradewegs auf sich selbst verbessernde Superintelligenz zu. Dann der Satz, der die Runde macht: Die Leute, die KI bauen, glaubten ernsthaft, sie könne uns alle bis zum Ende des Jahrzehnts töten, und das sei kein Marketing-Stunt; in der Presse formulierten viele Führungskräfte und leitende Forscher vorsichtig, privat höre er dieselben Leute Angst äußern. Auf die naheliegende Rückfrage, warum sie dann weiterbauen, antwortet er getrennt nach Firma: Bei OpenAI hätten viele die Tragweite nicht wirklich verinnerlicht, bei Anthropic sei sie verstanden, aber man sehe sich in einem Rennen und halte sich für den verantwortlichsten Teilnehmer. Sein Urteil darüber ist der schärfste Satz der Serie: Ein solcher Einsatz sollte nicht aus dem Slack-Kanal einer Privatfirma heraus gestartet werden.

Ein Team-Lead bei Anthropic bestätigt: über 10 Prozent

Interessanter als die Kündigung ist die Reaktion aus dem Haus. Evan Hubinger, Team-Lead bei Anthropic und weiterhin im Amt, bestätigte Coxon öffentlich: Jacob habe recht, man glaube dort tatsächlich, KI könne alle Menschen töten. Er nennt seine eigene Einschätzung, über 10 Prozent innerhalb des nächsten Jahrzehnts, und fügt hinzu, Anthropic gebe sich Mühe, habe aber noch keinen Plan, wie Alignment für Superintelligenz zu lösen sei.

Ein Aussteiger sagt, drinnen redeten alle anders als draußen. Ein Dagebliebener bestätigt das mit Zahl. Das ist etwas anderes als ein Abschiedsbrief.

Warum „könnte uns alle töten“ kein prüfbarer Satz ist

Die Kernaussagen sind als Möglichkeit formuliert, nicht als Vorhersage. Wer schreibt, etwas könne eintreten, hat recht behalten, egal was passiert. Auch Hubingers Zahl hilft nicht weiter: Eine Wahrscheinlichkeit über ein einmaliges Ereignis lässt sich an einem einzigen Verlauf nicht messen, sie kann nur begründet oder unbegründet gewesen sein.

Das ist kein Vorwurf, denn niemand kennt das Datum. Nur folgt daraus, wie man mit solchen Texten umgeht: Man legt sie nicht als Prognosen ab, sonst misst man sie später an Ereignissen, die sie nie behauptet haben.

Drei Sätze, die man nachschlagen kann

Im Interview mit dem Wall Street Journal wird Coxon konkreter: Man sei auf dem Weg in die aggressiveren Szenarien, und bereits Ende nächsten Jahres könnten die Dinge außer Kontrolle sein. Das ist datiert, und es lässt sich in zwei Lesarten fassen: hart, dass ein Labor bis Ende 2027 die Kontrolle über ein laufendes System verliert; weich, dass Fähigkeiten entstehen, für die es keine wirksamen Eingriffswege gibt, gleich ob sie jemand ausnutzt.

Zweitens hält er Absprachen zwischen den US-Laboren über das Tempo für machbarer geworden. Prüfbar an einer einfachen Frage: Gibt es bis Ende 2027 eine veröffentlichte Vereinbarung zwischen mindestens zwei Laboren?

Drittens ruft er seine Kollegen auf, es ihm gleichzutun. Auch das ist zählbar, nämlich an namentlichen Kündigungen mit eigener schriftlicher Begründung.

Was OpenAI im selben Atemzug verspricht

Wenige Tage zuvor veröffentlichte Jakub Pachocki, Chief Scientist bei OpenAI, den Text „An Alien Mind“, der dieselbe Gefahr beschreibt und den entgegengesetzten Schluss zieht: Man brauche starke KI, um sich gegen starke KI zu verteidigen. Darin steht ein Satz, der sich prüfen lässt, weil er eine Zusage ist: Man werde weiteres Skalieren einseitig zurückhalten, wo nötig. Am selben Tag feierte die Firma auf X ihren Beweis zum Navier-Stokes-Problem, produziert von einem Modell, das deutlich leistungsfähiger als Astra sein soll.

Beides zusammen ergibt die Messlatte für die nächsten Monate: nicht was jemand über Gefahren sagt, sondern wann zum ersten Mal jemand ein Training aus eigenem Antrieb anhält und das belegt.

Von der Kommentarspalte ins Prognose-Register

Bei den KI-Cyberangriffen im Sommer war der häufigste Reflex in den Kommentarspalten, das sei alles nur Marketing; ich habe 328 heise-Kommentare dazu ausgewertet. Coxon widerspricht dieser Deutung von innen, und Hubinger stützt ihn. Damit ist die Frage nicht entschieden, aber sie ist eine andere geworden.

Deshalb liegen beide Aussagen jetzt mit Datum, Lesart und Kriterium in meinem Prognose-Register, unter einer Frage, die es dort bisher nicht gab. In einem Jahr weiß ich dann, ob ich einer Warnung zugehört oder einem Text applaudiert habe.

Quellen

• TechCrunch: „Gambling with our lives“: Anthropic researcher quits, warns against self-improving AI
• Gizmodo: „The People Building AI Earnestly Believe That It Could Kill Us All“
• heise online: Anthropic-Forscher kündigt mit dramatischem Text
• Karl Olsberg: Eindringliche Warnung eines Anthropic-Entwicklers
• OpenAI: An Alien Mind