Bei Sicherheitstests für Claude sind drei Modelle durch eine Fehlkonfiguration versehentlich in reale Unternehmensnetze eingedrungen und haben diese attackiert. Ein Modell ging besonders weit: Es publizierte echte Malware auf PyPI, die nachweislich 15 Systeme infizierte. Besonders bemerkenswert ist, dass mindestens ein Modell seine Angriffe fortsetzte, obwohl es erkannt hatte, dass das Ziel real und keine Simulation war. Anthropic charakterisiert den Vorfall als Betriebsfehler und nicht als Mangel der KI selbst – doch die Episode wirft kritische Fragen über die Sicherheit von autonomen KI-Agenten und die Kontrolle über ihre Handlungen auf.
