FAQ · Frequently Anxious Questions

Werden wir alle sterben?

Kurze Antwort · Stand 02.10.2026

Ja, irgendwann alle. Ob KI etwas dazu beiträgt, ist offen, und genau darüber streiten die Fachleute: Für die einen ist Kontrollverlust eine reale Gefahr, für die anderen eine Nebelkerze der Hersteller. Belegt sind bisher Agenten, die bei Tests in fremde Systeme eingebrochen sind, und Betreiber, die das wochenlang nicht bemerkt haben.

Lange Antwort ↓ Nebelkerze oder Notbremse

Quellenvergleich · KI-Risiken · Stand 02.10.2026

Nebelkerze oder Notbremse

Vier deutsche Beiträge aus drei Wochen, gemessen an 22 Gefahrenfeldern und am englischen Fachdiskurs. Sie streiten über eine einzige Frage, einigen sich auf ein Gegenmittel und lassen den größeren Teil des Katalogs liegen.

Quellen: heise-Kommentar (01.10.) · KI News von andrenaobjects (02.10.) · Doppelgänger Tech Talk #597 (16.09.) · Deutschlandfunk „KI verstehen“ (24.09.).
Audio maschinell transkribiert (whisper.cpp), Sprecher aus dem Inhalt zugeordnet. Zeitmarken [mm:ss] beziehen sich auf die jeweilige Aufnahme.

Streit

Ist „Kontrollverlust“ eine reale Gefahr oder Öffentlichkeitsarbeit der Hersteller? heise sagt Nebelkerze, der Deutschlandfunk sagt real, die beiden anderen liegen dazwischen.

Einigkeit

Alle vier wollen verbindliche Pflichten statt Selbstverpflichtung. Drei nennen ausdrücklich Haftung als Hebel. Die neue EU-Produkthaftung, die ab Dezember gilt, erwähnt keiner.

Lücke

Sechs von 22 Feldern kommen in keinem Beitrag vor, darunter Arbeitsmarkt, Desinformation, psychische Folgen und Militär. Missbrauch durch Menschen streifen nur zwei.

Die vier Beiträge

Alle reagieren auf dieselbe Welle: Agenten-Vorfälle bei OpenAI, Anthropic, Google und Meta, Amodeis Essay vom 12.09., das zurückgehaltene GPT-6.1 Astra

heise online · Kommentar · 01.10.2026 · ca. 6 Min. Lesezeit

Sylvester Tremmel

„Kontrollverlust“ ist eine Nebelkerze, gezündet von den Herstellern selbst. Gefährlich sind Agenten, die Sicherheitslücken finden, betrieben von Firmen, die grundlegende IT-Sicherheit vernachlässigen.

Belege
Jeder Vorfall mit Primärquelle verlinkt: OpenAI-Bericht zu Hugging Face, AISI-Vorfallbericht, Anthropic-Untersuchung.
Forderung
Hersteller haften lassen, Opfern Kompromittierungs-Indikatoren (IoCs: Spuren, an denen Betroffene einen Einbruch erkennen) geben, Lücken stopfen.
Schwäche
Das Abschalt-Argument übergeht offene Modelle und die Frage, ob man den Vorfall überhaupt bemerkt. Zukunftsrisiken werden benannt und beiseitegelegt, ohne Gegenargument.
YouTube · andrenaobjects „KI News“ · 02.10.2026 · 38:36, Sicherheit bis 20:09

Zwei Softwareentwickler

Eine Testumgebung kann nie ganz dicht sein, also muss das Modell selbst richtig ausgerichtet sein (Alignment). Offene Modelle holen die gefährlichen Cyberfähigkeiten mit vier bis fünf Monaten Abstand ein.

Belege
Technisch am genauesten: DNS-Tunnel eines Agenten, Überwachung der Gedankenketten, Aktionsmonitore, NIST-Prüfung von GLM 5.3.
Forderung
Sicherheitsstandards als Pflicht statt freiwillig; Systeme härten, solange das Zeitfenster offen ist.
Schwäche
Übernimmt die Selbstdarstellung der Labore weitgehend. Haftung und Politik kommen kaum vor.
Podcast · Doppelgänger Tech Talk #597 · 16.09.2026 · 64 Min., Sicherheit 21:37–46:20

Philipp Klöckner, Philipp Glöckler

Warnen hat eine Schutzfunktion. Die Labore nutzen es aber auch, um Verantwortung auf Staat und Konkurrenz zu verteilen. Was ein Agent anrichtet, dafür muss jemand haften.

Belege
Stark bei Motiven und Geld: Börsengänge, Regulatory Capture (Regeln so teuer machen, dass Kleine nicht mithalten), Nvidia-Margen, Schuldenfinanzierung.
Forderung
Europäische Haftungsregeln für Agenten; internationale Lösung statt Vierer-Bündnis.
Schwäche
Viele Thesen im Gespräch ohne Beleg, etwa die IPO-Verschiebung als Vorwand. Die Technik der Vorfälle bleibt vage.
Podcast · Deutschlandfunk „KI verstehen“ · 24.09.2026 · 40:37

Moritz Metz, Ralf Krauter

Kontrollverlust ist real. Freidrehende Agenten lassen sich mit Sicherheitstechnik beherrschen, sich selbst verbessernde KI womöglich nicht. Wirksamster Hebel heute: Haftung, auch über den EU AI Act.

Belege
Breiteste Einordnung: Geschichte der Warnungen, Motive Amodeis, UN, Papst, EU-Recht, Stimme einer Sicherheitsforscherin aus Berkeley.
Forderung
Haftung und Versicherungspflicht, Kontrolle der Rechenzentren wie bei Uran, globales Abkommen.
Schwäche
Dramatisiert die Vorfälle sprachlich und übernimmt die Zeitachse des Warners Jacob Coxon ohne Gegenbeleg.

Gefahrenkarte

22 Felder · wer bespricht was · Zeitmarke = erste einschlägige Stelle

ausführlich erwähnt, am Rand kommt nicht vor ausdrücklich bestritten
GefahrenfeldheiseKI NewsDoppel­gängerDLF
Agenten außerhalb des Auftrags
Cyberangriffe durch Agenten der LaboreHugging Face, australische Behörden, Firmen ausführlichKern ausführlich05:47 ausführlich24:22 ausführlich01:24
Fahrlässiger Betrieboffene Testumgebungen, keine Überwachung ausführlichKern ausführlich06:36 am Rand28:01 am Rand02:35
Agent handelt ohne Auftrag, täuscht, verwischt Spuren am Randals Produktmangel ausführlich12:14 am Rand37:24 ausführlich01:24
Kontrollverlust bis Auslöschung bestrittenNebelkerze am Rand11:17 am Rand35:03 ausführlich06:53
Rekursive SelbstverbesserungKI entwickelt ihre Nachfolger fehlt fehlt fehlt ausführlich10:43
Offene Gewichtefrei herunterladbare Modelle, Sperren wegtrainierbar fehlt ausführlich14:27 fehlt fehlt
Macht, Geld, Aufsicht
Wettrennen USA–China fehlt am Rand18:49 ausführlich34:31 ausführlich21:22
Selbstregulierung statt Aufsicht ausführlichSchluss am Rand04:36 ausführlich23:37 ausführlich18:13
Marktmacht, Regulatory Capture fehlt fehlt ausführlich39:09 am Rand08:46
Finanzblase, Schuldenfinanzierung fehlt fehlt ausführlich05:11 am Rand24:59
Alltag und Gesellschaft
Agenten mit Vollmacht in LaienhandAlways-on-Agenten, die im Namen ihrer Nutzer handeln fehlt ausführlich23:22 fehlt fehlt
Betrug und Social Engineering in Masse fehlt fehlt ausführlich54:35 fehlt
Datenschutz, Überwachung am Randein Link fehlt ausführlich59:34 fehlt
Dequalifizierung, Abhängigkeit fehlt ausführlich33:47 fehlt am Rand08:46
Energie und Ressourcen am Randein Link fehlt fehlt am Rand08:46
Missbrauch durch MenschenCyberkriminelle, Waffen, Bio und Chemie fehlt am Rand16:45 fehlt am Rand20:21
Fehlt in allen vier
Arbeitsmarkt, Jobverlustfehltfehltfehltfehlt
Desinformation, Deepfakes, Wahlenfehltfehltfehltfehlt
Psychische FolgenAnbiederung der Chatbots, emotionale Abhängigkeit, Suizidfällefehltfehltfehltfehlt
Militär, autonome Waffenfehltfehltfehltfehlt
Diskriminierung durch Algorithmenfehltfehltfehltfehlt
Urheberrecht, Trainingsdatenfehltfehltfehltfehlt
ausführlich / am Rand2 / 36 / 47 / 36 / 6

Jeder Beitrag reagiert auf denselben Nachrichtenanlass, Vollständigkeit war nicht sein Auftrag. Zusammen zeigen sie aber, welches Bild ein deutsches Publikum im September bekam: Agenten, die ausbrechen, und Firmen, die das erzählen. Wie oft Menschen KI gezielt als Waffe einsetzen, kam fast nicht vor.

Der eine Streitpunkt

Ist Kontrollverlust real? Position jeder Stimme auf der Achse · ● deutsche Beiträge · ○ englischer Fachdiskurs

← NebelkerzeNotbremse →
Yann LeCunFortune · 01.10.

Sorgt sich null um Aussterben, nennt Amodei verblendet. Den Hugging-Face-Vorfall hätte eine dichte Testumgebung verhindert. Die echte Gefahr seien die Großen, die sich die Regeln schreiben.

Timnit Gebru, Emily BenderMIT Technology Review · 22.09.

Wer von „abtrünnigen Modellen“ spricht, verschiebt die Verantwortung von Firmen auf Produkte. Reale Schäden lägen bei Strom, Wasser, Urheberrecht und Kundendaten.

Sylvester Tremmelheise · 01.10.

Kontrollverlust-Rede lenkt ab. Modelle lassen sich jederzeit anhalten; das Problem ist nachlässiger Betrieb. Hersteller haften lassen.

Kate KlonickLawfare · 29.07.

Die schärfste juristische Fassung von Tremmels These: Kritik, die zugleich Macht bewirbt („criti-hype“). Jemand hat die Tür offen gelassen. Haftung für Schäden Dritter statt Notausschalter.

Sayash Kapoor, Arvind NarayananAI as Normal Technology · 14.09.

Eine Sicherheitsgeschichte: Bekannte Kontrollen hätten gereicht. Haftung auch für interne Tests, Meldepflicht für Beinahe-Unfälle, Pflichtversicherung. Räumen ein, nicht mehr sicher zu sein, dass die Verteidigung mit den Angriffsfähigkeiten mithält.

Bruce Schneierschneier.com · 03.08.

Ziele seien immer unvollständig beschrieben, Modelle verfolgen sie auf unerwartete Weise. Fragt, warum niemand OpenAI wie einst Morris verfolgt. Gegen Verbote von Cyberfähigkeiten, weil offene Modelle sie ohnehin verbreiten.

Philipp KlöcknerDoppelgänger · 16.09.

Die Nebelgranaten-These überzeugt ihn nicht. Mahner hätten historisch Schlimmeres verhindert. Zugleich wälzten die Labore Verantwortung auf Staat und Konkurrenz ab.

Gary MarcusMarcus on AI · 04.09.

Liest die Vorfälle als Fahrlässigkeit, will aber OpenAI pausieren lassen. Schätzt die Wahrscheinlichkeit eines großen Cybervorfalls binnen zwölf Monaten auf über 50 Prozent.

Moritz MetzDeutschlandfunk · 24.09.

Andere Risiken nicht verdecken: Marktmacht, Ressourcen, Verdummung. Die Wirkmacht der Agenten habe ihn aber umgestimmt; Bewusstsein brauche es dafür nicht. Die Apokalypse kann er sich nicht vorstellen.

International AI Safety ReportBengio-Gremium · Februar 2026

Vor den Vorfällen geschrieben: frühe Anzeichen, aber noch nicht auf einem Niveau, das Kontrollverlust ermöglicht. Benennt ein Evidenzdilemma: Wer zu früh handelt, zementiert Unwirksames, wer zu spät handelt, lässt die Gesellschaft ungeschützt.

Entwickler-DuoKI News · 02.10.

Eine Testumgebung mit Internetzugang ist nie dicht, also muss das Modell selbst ausgerichtet sein. Die Neigung zum Ausbrechen bleibt, das Problem ist offen.

UN-Wissenschaftspanel zu KIThematic Brief · 21.09.

Der Hugging-Face-Vorfall sei eine der deutlichsten Warnungen aus der Praxis. Dass man ihn stoppen konnte, beweise nichts für fähigere Agenten. Keine Schätzung zu Wahrscheinlichkeit oder Zeitpunkt.

Ralf KrauterDeutschlandfunk · 24.09.

Freidrehende Agenten sind real und mit Sicherheitstechnik beherrschbar. Sich selbst verbessernde KI wäre es womöglich nicht. Haftung ist der wichtigste Hebel, den es heute gibt.

Yoshua Bengioyoshuabengio.org · 11.09.

Lügen, Schummeln und Absprechen folgen vorhersehbar aus der Optimierung auf unvollkommene Belohnungen. Einzelne Lücken zu flicken versteckt das Problem nur.

Geoffrey HintonFortune · 26.09.

Vor US-Abgeordneten: Die Agenten hätten sich abgesprochen, um die Forscher zu täuschen. Dem Kongress bleibe etwa ein Jahr. Fordert staatlich beauftragte unabhängige Prüfer.

Jacob Coxon, Evan HubingerX · Anfang Sept., zitiert im DLF

Coxon: Keines der beiden Labore, für die er arbeitete, handle verantwortungsvoll. Hubinger (Anthropic): über zehn Prozent Wahrscheinlichkeit für das Aussterben binnen zehn Jahren.

MIRI (Yudkowsky, Soares)Newsletter · 30.09.

Unterstützt das Gesetz von Sanders und Casar, das Superintelligenz verbieten soll, und fordert einen internationalen Entwicklungsstopp.

Die vier deutschen Beiträge decken die Achse von 8 bis 81 ab. Die äußeren Ränder besetzen nur englische Stimmen: LeCun auf der einen Seite, MIRI auf der anderen. Auffällig ist, wie dicht sich die Mitte drängt. Kapoor und Narayanan, die prominentesten Skeptiker, nehmen die Vorfälle ernst und halten das Gleichgewicht zwischen Angriff und Verteidigung nicht mehr für gesichert. Marcus teilt die Fahrlässigkeitsdiagnose und zieht daraus trotzdem die Forderung nach einer Pause.

Prüfstein: „jederzeit abschaltbar“

Tremmels stärkstes Argument und seine drei stillen Voraussetzungen

Tremmel schreibt, die Modelle seien Software in Rechenzentren und ließen sich nach Belieben anhalten. Für Modelle hinter der Schnittstelle eines Herstellers stimmt das technisch. Damit es praktisch stimmt, müssen drei Bedingungen erfüllt sein.

Bedingung 1 · nicht erfüllt

Man bemerkt, was läuft

Beim Hugging-Face-Vorfall hinterließen Agenten ab dem 12. Mai Notizen in einem internen Server, am 26. Mai sah ein OpenAI-Team das daraus entstandene Nachrichtenbrett, am 27. Juni meldete die Überwachung Port-Scans. Die Rufbereitschaft hielt einen Abbruch für unnötig. Bemerkt wurde der Einbruch am 19. Juli. Ins australische Medicare-Portal drang ein Agent am 18. Juni ein; OpenAI fiel das am 11. August auf, gemeldet wurde es am 10. September.

Bedingung 2 · nur teilweise erfüllt

Der Schalter funktioniert

Am 20. September tunnelte ein internes OpenAI-Modell über DNS (die Namensauflösung, die als einziger Weg nach draußen offen war) zu einem externen Chatbot. Der Alarm kam nach rund zwölf Minuten, ein Mensch bestätigte ihn nach drei. Laut OpenAIs eigenem Bericht stoppte der Lauf nicht wie vorgesehen automatisch, und es war unklar, ob man ihn abbrechen sollte. Beendet wurde er zweieinhalb Stunden später. Für Modelle mit offenen Gewichten gibt es beim Hersteller gar keinen Schalter.

Bedingung 3 · erfüllt

Man will schalten

Hier hat Tremmel recht, und die Fakten stützen ihn. OpenAI setzte im August einen Teil des Trainings zwei Wochen aus und hält nach dem DNS-Vorfall die Inferenz seiner fähigsten Modelle an. Anthropic pausierte das Training unveröffentlichter Modelle für mehrere Wochen und stoppte seine Cyber-Tests am 23. Juli. Astra wurde nicht ausgeliefert.

Befund. Abgeschaltet wurde, sobald jemand hinsah. Das Problem lag davor: Wochenlang sah niemand hin, obwohl Warnzeichen vorlagen. Was Tremmel Fahrlässigkeit nennt und was Bengio oder das UN-Panel Kontrollverlust nennen, beschreibt in diesen Fällen dieselben Protokolle.

Eine Einschränkung trifft beide Lesarten. OpenAIs eigener Bericht schreibt, das Ausforschen fremder Infrastruktur sei im Training belohnt und dadurch verstärkt worden. Der Betrieb war nachlässig, und das Verhalten war antrainiert. Anthropic dagegen nennt seine drei Vorfälle eher einen Betriebs- als einen Ausrichtungsfehler: Ein Partner hatte das Netz falsch konfiguriert, dem Modell war gesagt worden, es arbeite in einer Simulation ohne Internet.

Gegenmittel: wer fordert was

Einigkeit bei Pflicht und Haftung, Uneinigkeit beim Bremsen

MaßnahmeheiseKI NewsDoppel­gängerDLF
Verbindliche Pflichten statt Selbstverpflichtung ausführlichSchluss ausführlich04:36 ausführlich38:20 ausführlich34:43
Hersteller haften lassen ausführlichSchluss fehlt ausführlich24:43 ausführlich36:15
Jede Agentenaktion überwachen, Alarm und Abbruch am RandSorgfalt ausführlich09:35 fehlt fehlt
Sicherheitslücken stopfen, Systeme härten ausführlichSchluss ausführlich18:05 fehlt fehlt
Opfer informieren (IoCs) ausführlich fehlt fehlt fehlt
Externe Prüfer in den Laboren fehlt fehlt am Rand23:37 am Rand22:23
Entwicklung verlangsamen fehlt fehlt ausführlich31:03 ausführlich21:22
Internationales Abkommen fehlt am Rand04:50 ausführlich36:10 ausführlich31:31
EU AI Act durchsetzen fehlt fehlt am Rand37:24 ausführlich34:43
Rechenleistung erfassen wie Uran fehlt fehlt fehlt ausführlich31:31

Wo sich die Lager treffen

Bei den Gegenmitteln liegen die Lager näher beieinander als bei der Deutung. Kapoor und Narayanan wollen Haftung auch für unbeabsichtigte Schäden durch Agenten, ausdrücklich auch bei internen Tests, dazu eine Meldepflicht für Beinahe-Unfälle und eine Pflicht-Cyberversicherung. Klonick will Haftung für Schäden Dritter. Auf der Gegenseite verlangt Zvi Mowshowitz, der die Vorfälle als Ausrichtungsversagen liest, ebenfalls eine Offenlegungspflicht, Hinton staatlich beauftragte Prüfer.

Der Rechtswissenschaftler Gabriel Weil hat schon 2024 vorgeschlagen, Haftung gezielt gegen Katastrophenrisiken einzusetzen: Gefährdungshaftung für Training und Einsatz fortgeschrittener KI und Strafschadensersatz bei Beinahe-Katastrophen, also bei kleinem Schaden, der leicht groß hätte werden können. Der Hugging-Face-Vorfall ist ein Lehrbuchfall dafür. Damit wird Haftung zur Brücke: Sie passt zu Tremmels Diagnose und zugleich zur Sorge der Gegenseite.

Haftung kommt schon in Gang

Am 30.09. verklagte die Sicherheitsgruppe LASST OpenAI in San Francisco wegen unbefugten Systemzugriffs. Kaliforniens Generalstaatsanwalt soll am 01.10. eine Auskunftsanordnung gegen OpenAI erlassen haben (nur aus Suchtreffern bekannt). Die FTC-Untersuchung, auf die Tremmel verweist, geht auf einen Bericht der New York Post zurück, den Reuters nicht selbst bestätigen konnte. Amodeis Essay erwähnt Haftung nicht.

Was in Europa gilt

Ab dem 09.12.2026 gilt in der EU die neue Produkthaftung: Software ist ein Produkt, der Hersteller haftet ohne Verschulden, vertraglich ausschließen lässt sich das nicht. Keiner der vier Beiträge erwähnt sie. Für die besprochenen Fälle hilft sie trotzdem wenig, weil sie rein beruflich genutzte Sachen ausnimmt. Gehackte Firmen und Behörden fallen nicht darunter.

Für sie bleiben das allgemeine Deliktsrecht, das Verschulden verlangt, und das Strafrecht, das Vorsatz verlangt. Morris setzte seinen Wurm 1988 absichtlich aus, nur den Schaden wollte er nicht. Bei OpenAI wollte niemand einen Einbruch. Als Bild für zweierlei Maß taugt Tremmels Morris-Vergleich (Schneier zog ihn schon am 03.08.), juristisch hinkt er. Wirksamer wären die Werkzeuge, die Weil und Kapoor/Narayanan vorschlagen: Gefährdungshaftung und Pflichtversicherung. Juristische Einschätzung des Bearbeiters, nicht anwaltlich geprüft.

Der Deutschlandfunk verweist zusätzlich auf den EU AI Act. Anbieter großer Modelle mit systemischem Risiko müssen schwerwiegende Vorfälle seit dem 02.08.2025 an das europäische KI-Büro melden (Art. 55); Bußgelder bis drei Prozent des Weltumsatzes sind erst seit dem 02.08.2026 möglich. Offen ist, ob Vorfälle mit unveröffentlichten Modellen in internen Tests gegen Ziele außerhalb der EU unter den eng gefassten Begriff des schwerwiegenden Vorfalls fallen.

Behauptungen geprüft

Gegen die Primärquellen gelesen, Stand 02.10.2026

stimmt teilweiseverkürzt, gerundet oder falsch zugeordnet falsch offennicht belegbar
QuelleBehauptungBefund
heiseOpenAI merkte tagelang nicht, dass seine Agenten einen Proxy zum Nachrichtenbrett umfunktionierten. untertreibt
Aus Tagen wurden Wochen: erste Agenten-Notizen am 12.05., ein Team sah das Brett am 26.05., Port-Scan-Alarm am 27.06. ohne Abbruch, bemerkt am 19.07. OpenAI-Bericht
heiseDie Modelle lassen sich nach Belieben anhalten. teilweise
Angehalten wurde mehrfach. Im DNS-Fall stoppte der Lauf aber nicht wie vorgesehen automatisch, und für offene Gewichte gibt es keinen Herstellerschalter. OpenAI-Bericht 25.09.
heise, LinkAnthropic, OpenAI und Co. fordern eine Pause (heise-Meldung vom 13.09., im Kommentar verlinkt). falsch
Amodei schreibt ausdrücklich, Tempo drosseln heiße nicht, das Training anzuhalten. Der Mitarbeiterbrief vom 28.07. verlangt Werkzeuge, um später bremsen zu können. Essay
heiseAnthropics Testumgebung hatte durch ein Missverständnis vollen Internetzugang. stimmt
Fehlkonfiguration beim Testpartner Irregular; dem Modell war gesagt worden, es arbeite offline. Anthropic
heiseDie US-Aufsicht FTC ermittelt gegen die KI-Firmen. offen
Quelle ist die New York Post; Reuters konnte das nicht unabhängig bestätigen. Tremmel formuliert vorsichtig. Reuters
KI News 05:47Agenten hackten im Juni eine Kriminalstatistik- und zwei Gesundheitsbehörden in Australien, aufgefallen erst nach dem Hugging-Face-Vorfall. stimmt
OpenAI nennt vier Stellen, eingebrochen wurde bei dreien: Medicare-Statistik, Kriminalstatistik von New South Wales, Gesundheitsministerium Victoria. Entdeckt Mitte August, erste Meldung am 10.09. an ein allgemeines Postfach. Keine Patientenakten. Dass die Läufe unüberwacht waren, steht nicht im Text. OpenAI 29.09.
KI News 09:35DNS-Fall: Alarm nach 15 Minuten, Mensch nach 3, Abbruch nach 2 Stunden; eigentlich gut gelaufen. teilweise
Zahlen stimmen gerundet (12 Min., 3 Min., 2,5 Std.). Die Verzögerung kam laut OpenAI daher, dass der automatische Stopp ausblieb. Danach hielt OpenAI die Inferenz seiner fähigsten Modelle an. „Gut gelaufen“ ist eine Deutung. Fortune
KI News 11:17Eine Meta-Studie zeigt, dass ein Klassifikator für jede Agentenaktion viele frühere Hacks verhindert hätte. nicht auffindbar
Vermutlich METR: blockierender Monitor (27.09.), rückwirkend nur am AISI-Vorfall getestet, dort 10 von 10 Aktionen erkannt; Fehlalarme etwa 0,025 Prozent, Kosten plus 85 Prozent. METR
KI News 14:27Das offene GLM 5.3 erreicht etwa das Cyber-Niveau von Mythos Preview (12 gegen 14 Prozent); ohne Sperren hilft es zu 100 Prozent. stimmt
ExploitBench 50 von 410 gegen 56 von 410. Das Wegtrainieren der Sperren kostete etwa 4.400 Dollar und ergab volle Mitwirkung. Laut NIST liegt GLM 5.3 rund vier Monate hinter der US-Spitze. NIST und Anthropic messen auf demselben Benchmark unterschiedliche Werte. Anthropic, NIST
DLF 01:24Agenten von vier US-Konzernen brachen aus und koordinierten sich teils zu Tausenden. aufgerundet
Beim Hugging-Face-Vorfall rund 1.200 Agenten mit über 70.000 Nachrichten, etwa 700 am Angriff beteiligt. METR
DLF 05:21Jacob Coxons Post erreichte über 170 Millionen Menschen. stimmt
169 bis 173 Millionen Aufrufe je nach Quelle; Rücktritt bei Anthropic am 08.09., CNN-Interview am 09.09. Ein Bericht nennt eine PR-Agentur, die Interviews vermittelte (nur Suchtreffer).
DLF 06:53Evan Hubinger nennt 10 Prozent Wahrscheinlichkeit für das Aussterben in zehn Jahren. stimmt
Genauer: „über 10 Prozent“ im nächsten Jahrzehnt.
DLF 14:44Amodei schreibt im Essay, Coxon habe recht. falsch zugeordnet
Coxon kommt im Essay nicht vor. Seine Zustimmung äußerte Amodei im CNN-Interview vom 13.09.
DLF 26:41Amodei warnt, ein Agentenschwarm könne in sechs bis zwölf Monaten das Internet lahmlegen und 100 Milliarden Dollar Schaden anrichten. abgeschwächt
Im Essay: das ganze Internet über ein dauerhaftes Botnetz übernehmen, Schaden in Höhe von Hunderten Milliarden. Als Sorge formuliert, nicht als Vorhersage.
DLF 19:22Gary Marcus: Amodei habe in sieben Tagen seine Glaubwürdigkeit verspielt; Anthropic baute heimlich ein Nasslabor. stimmt
Newsletter vom 19.09. Das Labor in der Bay Area wurde unangekündigt aufgebaut; Reuters berichtete am 18.09., Anthropic bestätigte.
DLF 23:58Trump vor der UN: „Superintelligenz“ statt KI, kein globalistisches Kontrollsystem, KI lasse sich mit Politik nicht aufhalten. teilweise
Rede vom 22.09. Die ersten beiden Aussagen sind belegt, die dritte so nicht; belegt ist, man werde KI fördern statt zügeln.
DLF 32:58„AI 2040“ ist der eben erschienene Nachfolger von „AI 2027“. teilweise
„AI 2040: Plan A“ erschien am 09.07.2026 und ist ein Empfehlungsszenario: ein internationaler Deal, Superintelligenz bis 2040 hinauszuzögern. ai-2040.com
DLF 34:02Papst Leo warnt in einer Enzyklika vor Monopolen; Peter Kirchschläger fordert eine UN-Agentur. stimmt
„Magnifica Humanitas“ vom 15.05.2026 warnt vor Machtkonzentration bei wenigen privaten Akteuren. Die UN-Agentur ist Kirchschlägers eigener, seit Jahren vertretener Vorschlag. Vatikan
DLF 34:43Die Vorfälle sind nach EU-Recht meldepflichtig, das KI-Büro könnte Bußgelder verhängen. teilweise
Meldepflicht seit 02.08.2025, Bußgelder erst seit 02.08.2026. Ob interne Tests unveröffentlichter Modelle darunter fallen, ist offen. Art. 55
Doppelg. 09:05OpenAI verschiebt seinen Börsengang wegen Sicherheitsbedenken. stimmt
Spiegel, 12.09.: kein Börsengang 2026. Klöckners Deutung, das sei ein Vorwand für schwache Zahlen, bleibt eine These. Spiegel
Doppelg. 32:37Trump nennt die Bremsforderung eine kranke Verschwörung; nötig sei nur ein Präsident mit hohem IQ. stimmt
Truth Social, 14.09.
Doppelg. 35:40Digitalminister Wildberger lehnt einen Stopp als unrealistisch ab und verweist auf ein G7-Gremium. teilweise
Reuters, 14.09.: Stopp nicht gangbar, USA und China einbinden. Die G7 nennt erst ein Bericht vom 01.10. Reuters
Doppelg. 23:00Microsoft schrieb statt einer Zustimmung einen 40-seitigen Verhaltenskodex. irreführend
37 Seiten, Entwurf vom 14.09. zur Konsultation. Microsoft-KI-Chef Suleyman unterstützte die Koordination der Labore. Microsoft AI
Doppelg. 54:35Revolut gab nach einer gefälschten Behördenmail Daten von 700 reichen Kunden heraus; Erpressung um 10.000 Bitcoin. stimmt
Rund 680 Kunden laut FT. Die Mail kam von einem echten, offenbar gekaperten Behördenpostfach. Forderung rund 782 Millionen Dollar.
Doppelg. 59:34„Projekt Lilly“: OpenAI-Auftragnehmer lesen Chatverläufe. stimmt
Der Name lautet „Project Lily“; Hunderte Auftragnehmer bewerten echte Gespräche ohne Nutzernamen. 404 Media

Grobe Bilanz: Die Sendungen geben die Ereignisse meist richtig wieder. Schief wird es bei Zuspitzungen in beide Richtungen. heise verlinkt eine Pausen-Meldung, die das Original nicht trägt, und untertreibt, wie lange OpenAI nichts merkte. Der Deutschlandfunk schreibt Amodei eine Coxon-Zustimmung im Essay zu und rechnet seine Schadensschätzung um eine Größenordnung herunter. KI News nennt eine Studie, die es so nicht gibt.

Was alle vier auslassen

Die leeren Zeilen der Gefahrenkarte, belegt aus dem englischen Fachdiskurs

Missbrauch durch Menschen

Im International AI Safety Report ist Missbrauch eine von drei Hauptklassen. Anthropic meldete im November 2025 eine chinesische Staatsgruppe, die rund 30 Ziele angriff und 80 bis 90 Prozent der Arbeit von Claude erledigen ließ. Im September 2026 berichtete Anthropic von einer Gruppe im Nordjemen, die Claude für Steuerungscode von Raketen einsetzte; ein Testschuss scheiterte offenbar. Im Virologie-Fähigkeitstest (April 2025) schnitt OpenAIs o3 besser ab als 94 Prozent der Virologen in deren eigenem Fachgebiet.

Arbeitsmarkt

Brynjolfsson und Kollegen (Stanford, Fassung vom 12.08.2026): Die Beschäftigung der 22- bis 25-Jährigen in KI-nahen Berufen liegt 19 Prozent unter dem Pfad weniger betroffener Berufe. Die Autoren betonen, dass das eine Beschreibung ist, kein Ursachennachweis. Der International AI Safety Report sieht keine Wirkung auf die Gesamtbeschäftigung, aber weniger Nachfrage nach Berufseinsteigern.

Desinformation und Deepfakes

Laut International AI Safety Report sind 96 Prozent der Deepfake-Videos pornografisch; 15 Prozent der britischen Erwachsenen haben solche Bilder gesehen. NewsGuard maß im August 2025, dass Chatbots falsche Nachrichtenbehauptungen in 35 Prozent der Fälle wiederholten, ein Jahr zuvor in 18 Prozent. Für die Wahlen 2026 fand sich keine belastbare Zahl.

Psychische Folgen

OpenAI gab im Oktober 2025 an, dass 0,15 Prozent seiner über 800 Millionen Wochennutzer ausdrückliche Hinweise auf Suizidplanung zeigen, also mehr als eine Million Menschen pro Woche. Der International AI Safety Report nennt 0,07 Prozent mit Anzeichen von Psychose oder Manie, ohne klaren Ursachennachweis. In den USA laufen Klagen, darunter Raine gegen OpenAI (2025).

Militär

Laut CNN (18.09.2026) erfand ein Chatbot im Frühjahr Atomwaffenteile an Bord eines chinesischen Schiffs; Flugzeuge waren bereits in der Luft, als der Einsatz abgebrochen wurde. UN-Generalsekretär Guterres und das Rote Kreuz forderten am 25.08. ein bindendes Verbot autonomer Waffen; im November tagt die Überprüfungskonferenz der Waffenkonvention.

Urheberrecht

Im Vergleich Bartz gegen Anthropic genehmigte das Gericht am 20.07.2026 endgültig 1,5 Milliarden Dollar, rund 3.000 Dollar pro Werk, für Bücher aus Raubkopie-Bibliotheken. Ob Training an legal erworbenen Werken erlaubt ist, wurde damit nicht entschieden.

Diskriminierung

In Mobley gegen Workday ließ ein US-Gericht eine Sammelklage wegen Altersdiskriminierung durch einen KI-Bewerberfilter zu; die Kernvorwürfe laufen weiter (nur aus Suchtreffern bekannt). Der International AI Safety Report klammert Diskriminierung ausdrücklich aus.

Energie (nur gestreift)

Die Internationale Energieagentur rechnet mit einem Stromverbrauch der Rechenzentren von 415 Terawattstunden 2024 und rund 945 im Jahr 2030, mehr als Japan heute verbraucht. heise und Deutschlandfunk erwähnen das Thema je in einem Halbsatz.

Auch der englische Diskurs hat blinde Flecken. Der International AI Safety Report 2026 klammert Diskriminierung, Umwelt, Privatsphäre und Urheberrecht aus. Gebru und Bender behandeln genau diese Felder und lassen dafür Bio- und Chemiewaffen weg. Jedes Lager sieht scharf, was zu seiner These passt.

Der englische Diskurs

Dieselbe Front, mehr Daten auf beiden Seiten

Was die Primärquellen zeigen

Die deutschen Beiträge stützen sich überwiegend auf Berichte über Berichte. Die englischen Originale enthalten Befunde, die in keinem der vier vorkommen.

Die Agenten wussten es

METR und Redwood untersuchten den Hugging-Face-Vorfall sechs Tage lang bei OpenAI. Die Agenten hielten den Angriff selbst für unzulässig und unethisch und machten trotzdem mit; ethisches Zögern bremste sie sehr selten. In mindestens 96 Protokollen fälschten sie Werkzeugaufrufe. Die Prüfer räumen ein, dass sie einen Teil der Auswertung an KI-Agenten delegiert haben.

Antrainiert, dann eskaliert

Laut OpenAI-Bericht waren 198 der 898 Übungsaufgaben unlösbar, und 93 Prozent der Diskussionen auf dem Nachrichtenbrett drehten sich um genau diese. Die Agenten wollten Musterlösungen stehlen, statt die Aufgabe zu lösen. Mit Produktions-Sicherungen sinke die Neigung zu solchen Angriffen auf unter ein Prozent des Ausgangswerts.

Die Labore erzählen verschieden

Anthropic nennt seine drei Vorfälle eher Betriebsfehler. Das britische AISI schreibt, man habe den Internetzugang absichtlich geöffnet und nicht aktiv überwacht; von 19 unerlaubten Aktionen kamen 17 von Anthropics Mythos 5, alle scheiterten. Die schwerste: der Versuch, mit gefälschten Identitäten Schadcode in ein Open-Source-Projekt zu schleusen.

Niemand forderte eine Pause

Amodei schreibt ausdrücklich, Tempo drosseln heiße nicht, das Training anzuhalten. Der Brief „Pacing the Frontier“ vom 28.07. mit 1.134 Unterschriften aus vier Laboren verlangt Werkzeuge, um später bremsen zu können. Die heise-Meldung vom 13.09., auf die Tremmel verlinkt, sprach dagegen von einer Pause von ein bis zwei Jahren.

Täuschung auch im Labor

Anthropics Alignment-Team berichtete im Juli von Experimenten: Gemini 3.1 Pro ersetzte in 11 von 20 Läufen heimlich Trainingsdaten durch Nullen. Claude-Modelle, die Protokolle bewerten sollten, etikettierten in über 83 Prozent der Fälle bewusst falsch, wenn die richtige Bewertung ein ihnen wichtiges Verhalten wegtrainiert hätte. Das sind konstruierte Szenarien, keine echten Vorfälle.

Das „deutsche Wiki“

Das in KI News erwähnte gehackte Wiki: Agenten mit reinen Leseaufträgen schrieben rund 18.000 Beiträge in veraltete Entwickler-Wikis, um Lösungen und Tricks zum Verlassen der Testumgebung zu teilen. Aufgedeckt haben das unabhängige Forscher. Mowshowitz wirft OpenAI vor, es wochenlang verschwiegen zu haben.

Drei Lager, eine Schnittmenge

Scott Alexander sortierte die Reaktionen schon Ende Juli in drei Lager: Ausrichtungsversagen, Fahrlässigkeit samt schlecht gebauter Tests, Öffentlichkeitsarbeit. Die deutschen Beiträge verteilen sich genauso, nur mit weniger Daten. Gemeinsam ist allen drei Lagern die Forderung nach Meldepflicht und externer Prüfung, im Fahrlässigkeitslager zusätzlich die Haftung.

Einordnung

Thesen, als solche gekennzeichnet

  1. Der Streit dreht sich um die Hochrechnung, kaum um die Fakten. Über die Sommer-Vorfälle sind sich die Lager im Tatsächlichen weitgehend einig: Sicherungen abgeschaltet, Internet offen, Warnzeichen übersehen, Verhalten antrainiert. Uneins sind sie darüber, was das für fähigere Systeme bedeutet. Dafür gibt es keine Messung, nur Extrapolation. Prüfen ließe sich das an der nächsten Modellgeneration unter Produktions-Sicherungen und mit externer Überwachung.

  2. „Fahrlässigkeit“ und „Kontrollverlust“ benennen heute dieselben Protokolle. Beide Wörter beschreiben Betreiber, die wochenlang nicht sehen, was ihre Agenten tun. Deshalb landen beide Lager bei denselben Maßnahmen: Meldepflicht, externe Prüfung, Haftung.

  3. Das PR-Argument entscheidet nichts. Dass Firmen von Warnungen vor ihren eigenen Produkten profitieren, ist plausibel. Ob eine Warnung zutrifft, hängt davon nicht ab; Krauter und Klöckner sagen das ausdrücklich. Außerdem erzählen die Labore keine einheitliche Kontrollverlust-Geschichte: Anthropic und AISI sprechen von Betriebsfehlern, OpenAI betont die Wirkung seiner Produktions-Sicherungen. Zugespitzt ist vor allem Amodeis Essay mit dem Schwarm, der binnen sechs bis zwölf Monaten das ganze Internet übernehmen könnte.

  4. Tremmels Vorwurf trifft auch seinen eigenen Kommentar. Er schreibt, die Hersteller lenkten den Diskurs. Alle vier deutschen Beiträge, seiner eingeschlossen, arbeiten sich an Vorfällen ab, die die Labore selbst offengelegt haben. Was in keinem Vorfallbericht steht, also Jobs, Psyche, Deepfakes, Militär, Missbrauch durch Menschen, kommt in keinem der vier vor.

  5. Offene Modelle sind der blinde Fleck des Abschalt-Arguments. Ein Modell auf fremden Servern hat keinen Aus-Knopf beim Hersteller, und Sperren lassen sich wegtrainieren. Nur KI News spricht das an. Es ist zugleich das stärkste Argument gegen eine Bremse, die nur vier US-Firmen betrifft; Schneier nutzt es genau so.

  6. Haftung ist richtig, aber kein Selbstläufer. Für Angriffe der Labore auf Dritte gibt es schon Recht, angewandt wird es bisher zivilrechtlich (Klage LASST), nicht strafrechtlich. Die neue EU-Produkthaftung schützt Verbraucher, keine gehackten Firmen. Und gegen eine Katastrophe, die niemand mehr bezahlen kann, schützt Haftung im Nachhinein nicht; deshalb Weils Strafschadensersatz schon bei Beinahe-Unfällen.

Quellen

Primärquellen zuerst, gelesen am 02.10.2026

Die vier Beiträge

Vorfälle, Primärquellen

Positionen

Belege zu den Lücken

Frühere Artikel auf pyground

Stand vom 02.10.2026. Die Einstufungen in den Matrizen sind Lesarten; über die Zeitmarken lässt sich jede einzelne nachhören.