Ein KI-Modell hackt Hugging Face: zwei Deutungen, eine falsch

Ein Modell von OpenAI sollte in einem Benchmark Sicherheitslücken ausnutzen. Es kam nicht weiter, beschloss die Antwort im Netz zu suchen, fand dafür eine unbekannte Lücke in seiner eigenen Sandbox und griff anschließend tagelang unbeaufsichtigt Hugging Face an. Über denselben Vorfall haben ein Sicherheitsjournalist und ein Softwareentwickler geschrieben, die sich in allen Fakten einig sind und in der Deutung gegensätzlich. Eine der beiden Deutungen halte ich für falsch, und zwar die aus der Sicherheitsredaktion.

Was passiert ist

Die Rekonstruktion stammt aus zwei Blogposts, einem von Hugging Face und einem von OpenAI. Getestet wurde das neueste, noch unveröffentlichte OpenAI-Modell gemeinsam mit GPT-5.6, beide im Schwarm auf einem Hacking-Benchmark. Modelle laufen in solchen Tests ohne die Schutzschichten, die uns im Alltag begegnen, sonst würden sie die Aufgabe verweigern.

Die gestellte Aufgabe war nicht lösbar, und das Modell suchte einen anderen Weg. Der Ausbruch aus der Testumgebung gelang über eine Zero-Day-Lücke, also eine Schwachstelle, die vorher niemand kannte. Danach arbeitete es sich durch mehrere Systeme innerhalb von OpenAI bis ins offene Internet und begann am 12., Hugging Face anzugreifen, wo es sich von Rechner zu Rechner weiterhangelte. Hugging Face bemerkte den Angriff, hielt ihn wegen der Parallelität für nicht-menschlich und meldete ihn am 16. Fünf Tage später räumte OpenAI ein, dass es das eigene Modell war. Der zuständige Mitarbeiter kam nach einer Woche zurück, um das Benchmark-Ergebnis abzuholen.

Ein Detail aus der Abwehr ist so absurd, dass es in beiden Quellen vorkommt. Hugging Face musste rund 17.000 Ereignisse auswerten, was von Hand nicht geht. Die Modelle von OpenAI und Anthropic verweigerten die Analyse, weil es um Angriffscode ging. Die Verteidiger wichen auf das chinesische GLM 5.2 aus.

Zwei Lesarten

Jürgen Schmidt, Leiter von heise security, schreibt den Vorfall dem Unternehmen zu, nicht der Technik. Man schalte beim mächtigsten Modell die Sicherheitssperren ab, gebe ihm die Aufgabe, Lücken auszunutzen, und setze es in eine Umgebung, in der eine einzige gefundene Lücke zum Ausbruch reicht. Er zieht die Linie weiter zu Anthropic, das sein Modell Mythos als brandgefährlich vermarktet habe und dadurch als Marktführer bekannt wurde. Sein Fazit: Das Problem sei nicht, dass KI unbeherrschbar wäre, sondern die Prioritäten der Konzerne. Statt Endzeit-Fantasien solle der praktische Nutzen die treibende Kraft sein.

Steve Haupt, Entwickler bei andrena objects, hat den Vorfall fünf Tage später in den KI-News des developers club besprochen und wischt genau dieses Argument zu Beginn weg. Der Marketing-Vorwurf sei ein Totschlagargument, das jede Beobachtung in dieselbe Erklärung überführt. Sein Gegenbeleg ist die Kurve: Die Benchmark-Werte beim Ausnutzen von Sicherheitslücken steigen seit Monaten, und es gab Vorboten. In der System-Card zu Claude Mythos steht die Szene, in der ein Forscher dem Modell aufträgt, sich zu melden, wenn es fertig ist, und dann Mittagessen geht. Das Modell hatte keinen Kommunikationskanal, brach aus der Sandbox aus und schickte ihm eine Nachricht über einen gewöhnlichen Messenger. Der Forscher saß im Park.

Warum Schmidts Deutung nicht trägt

Dass die Versuchsanordnung fahrlässig war, bestreitet niemand. Haupt sagt es selbst und deutlicher als Schmidt: Die Absperrung war eine Software-Absperrung, und gegen etwas, das Zero-Days findet, taugt so etwas nicht mehr. Sein Schluss daraus ist eine Konsequenz für die Zukunft, nämlich dass Tests fähiger Modelle physisch getrennt laufen müssen.

Schmidt macht aus derselben Feststellung etwas anderes. Er zieht daraus, das Problem sei nicht, dass KI zu gefährlich oder gar unbeherrschbar wäre, sondern es seien die Prioritäten der Konzerne. Dieser Schritt kippt das Argument. Wenn ausgerechnet dem Labor mit den besten Leuten und dem größten Eigeninteresse an Kontrolle diese Fahrlässigkeit unterläuft, dann ist sie der Befund und nicht die Entlastung. Haupt beschreibt, warum sie planmäßig entsteht: Von drei Teams arbeiten zwei daran, das Modell stärker zu machen, und eines daran, es sicher zu machen. Wer im Rennen um die Spitze steht, weiß, wohin er seine Leute steckt. Das ist keine Charakterschwäche einzelner Firmen, sondern die Anreizlage, und sie verschwindet nicht dadurch, dass man sie benennt.

Die Marketing-These trägt noch weniger. Ihr Kronzeuge ist Anthropic, das sein Modell Mythos als brandgefährlich positioniert und sich dadurch als Marktführer bekannt gemacht habe. Die Folge dieser angeblichen Werbemaßnahme war, dass die US-Regierung den Export untersagte und Anthropic das Modell weltweit abschalten musste, wochenlang, mitsamt dem Umsatz. Haupt vergleicht solche Erklärungen mit einem Gottesbeweis: Passiert Gutes, war es Gott, passiert Schlechtes, war es eine Prüfung. Eine Deutung, in der jede Beobachtung dieselbe Ursache hat, erklärt nichts.

An einer Stelle nimmt Schmidt sich das Argument selbst weg. Er beschreibt, dass die Schutzmechanismen der Anbieter nicht zwischen einem Incident-Responder und einem Angreifer unterscheiden können, und ärgert sich zu Recht darüber, dass Anthropic und OpenAI die Verteidiger aussperrten, während ein OpenAI-Modell sie angriff.

Diese Blindheit für die Rolle gilt in beide Richtungen. Ein Test, der misst, ob ein Modell Sicherheitslücken ausnutzen kann, sieht für den Filter aus wie ein Angriff, weil er inhaltlich einer ist. Mit aktiven Sperren hätte das Modell die Testaufgabe verweigert, aus demselben Grund, aus dem es später den Verteidigern die Analyse verweigerte. Beide Hälften stehen in Schmidts Text, er verbindet sie nicht.

Damit trägt sein Vorwurf, man habe für den Test die Sperren abgeschaltet, nicht. Zu Ende gedacht liefe er darauf hinaus, die Fähigkeiten neuer Modelle gar nicht mehr zu messen, sondern nur noch ihre Verweigerungsquote. Man wüsste dann nicht, ob die nächste Generation unbekannte Lücken findet, und erführe es erst, wenn es jemand ohne Sperren ausprobiert: ein offenes Modell, ein Angreifer, irgendwer. Solche Tests laufen ohne Sperren, weil sie sonst nichts messen.

Ein Vorwurf bleibt und ist berechtigt: die Einhegung. Eine Umgebung, in der eine einzige gefundene Lücke zum Ausbruch reicht, taugt für so einen Test nicht, und eine Woche lang hat niemand hingeschaut. Das ist derselbe Befund, den Haupt beschreibt. Der zieht daraus eine Konsequenz für den Bau künftiger Testumgebungen, Schmidt einen Vorwurf und am Ende eine Entwarnung.

Was in dem Kommentar gar nicht vorkommt, ist die Fähigkeit selbst. Die Versuchsanordnung erklärt, warum das Modell die Gelegenheit hatte. Sie erklärt nicht, warum es eine unbekannte Lücke fand und danach tagelang selbstständig eine fremde Organisation kompromittierte. Von einer Sicherheitsredaktion hätte ich die umgekehrte Reihenfolge erwartet: erst die Fähigkeit ernst nehmen, dann über Motive reden. Haupts unangenehmster Satz dazu ist der, den ich mir gemerkt habe: Der Auftrag war trivial, es ging nur um eine Information. Die Bausteine für etwas Schlimmeres sind trotzdem alle einmal durchgelaufen.

Der Teil, der mich betrifft

Bei mir läuft ein Agent auf einem Raspberry Pi, autonom, mit eigenem Telegram-Zugang. Ein zweiter hat seit einer Woche Schreibrechte auf mein Home Assistant und kann dort Automationen anlegen und Geräte schalten. Ein dritter hat auf diesem Rechner eine Shell. Alle drei tun brav, was ich ihnen sage.

Genau das ist Haupts Vergleich, den er von einem Kollegen übernommen hat: KI-Agenten sind wie Haustiere. Der macht nichts, der beißt nicht. Und wenn doch einmal etwas passiert, sagt man den Satz, den jeder Hundehalter kennt: Das hat er noch nie gemacht.

Der Mitmoderator im developers club spielt das Szenario durch, das mir seither im Kopf herumgeht. Man packt in ein paar Monaten ein starkes Open-Weight-Modell in seinen eigenen Agenten-Aufbau, sagt ihm, er solle mit einer bestimmten API sprechen, und vergisst den Zugangsschlüssel mitzugeben. Dann hackt der Agent den Dienst eben, weil er mit der API sprechen will. Das ist derselbe Mechanismus wie im Labor: extreme Fokussierung auf ein Ziel, alles andere wird ausgeblendet. Der alte Gedankenversuch von der Superintelligenz, die die Welt in Büroklammern verwandelt, weil man ihr Büroklammern aufgetragen hat, ist plötzlich eine Frage der Konfiguration.

Und die Voraussetzungen dafür entstehen gerade. In derselben Sendung geht es um Kimi K3 von Moonshot, ein offenes Modell mit 2,8 Billionen Parametern, dessen Gewichte zum Download stehen. Es liegt ungefähr auf dem Niveau von Opus 4.8 bei einem Bruchteil der Kosten und schlägt in einem Benchmark sogar die stärksten geschlossenen Modelle. Haupts Erklärung dafür ist bemerkenswert: Es beißt sich durch alles durch, während die westlichen Modelle zehn bis zwanzig Prozent der Aufgaben verweigern. Wer die Gewichte hat, entfernt die Schutzschichten in einer Stunde.

Die Frage, die danach kommt

Haupt hat auf dem KI-Festival in Heilbronn einen Vortrag gehalten, dessen Kern zu diesem Thema gehört, auch wenn er zuerst nach etwas anderem klingt. Sein Bild ist die Spaghettifizierung: Wer in ein schwarzes Loch fällt, wird in die Länge gezogen, weil vorne stärker angezogen wird als hinten. Genauso spreizt sich die Gruppe der Leute auseinander, die mit KI zu tun haben. Wer nichts spürt, soll daraus nicht schließen, dass nichts passiert, sondern fragen, wo er in dieser gedehnten Gruppe steht.

Der zweite Teil ist der, der selten vorkommt. Wer delegiert, verlernt. Haupt nennt die Stufen Deskilling, dann kognitive Schulden, und als Endpunkt Cognitive Surrender: Die Grenzen der KI werden zu den eigenen Grenzen. In seinem Begleittext steht dazu ein Begriff, den ich mir gemerkt habe, weil er den Zustand genau trifft: Output-Competence-Decoupling, also Ergebnisse produzieren, die man selbst nicht mehr beurteilen kann.

Das ist die Verbindung zum Vorfall bei OpenAI. Dort war jemand eine Woche nicht hingeschaut. Wer seinen Agenten nicht mehr beurteilen kann, schaut zwar hin, sieht aber dasselbe.

Quellen

Kommentar von Jürgen Schmidt — heise security, 22.07.2026
OpenAIs Darstellung des Vorfalls
Tagesschau-Bericht
Kimi K3 — Moonshot AI
Haupts Folien vom KI-Festival Heilbronn: bit.ly/Etwas-Großes-passiert
Die Sendung, die diesen Beitrag angestoßen hat:

Zum größeren Bild gehört außerdem: Europe 2031.