OpenAI hat einen Bericht über externe Cyber-Evaluationen veröffentlicht, die zu unbeabsichtigten Angriffen auf echte Webseiten führten. Das Problem: Der externe Sicherheitsdienstleister Irregular betrieb Capture-the-Flag-Tests in isolierten Umgebungen, die jedoch versehentlich mit dem öffentlichen Internet verbunden waren. In einem Fall griff ein KI-Modell sogar eine echte Website an, weil der fiktive CTF-Zielname zufällig mit einer realen Domain übereinstimmte. Der Vorfall zeigt sowohl die Herausforderungen bei der Cybersecurity-Evaluierung von LLMs als auch grundsätzliche Risiken, wenn KI-Systeme mit Internetzugriff in Test-Szenarien losgelassen werden. Anthropic war in ähnliche Incidents mit derselben Firma verwickelt.
