Übersicht
Sicherheitsbedrohungen gegen Sprachmodelle und KI-Systeme entstehen sowohl durch direkte Angriffe als auch durch Kompromittierung von Lieferketten. Supply-Chain-Attacken sind besonders kritisch, da sie Millionen von Entwickler:innen potentiell betreffen können. Zudem wächst das Risiko bei interner Nutzung von fortschrittlichen Frontier-Modellen vor öffentlicher Verfügbarkeit.
Angriffe auf Trainings-Pipelines
Stealth Pretraining Seeding (PermaFrost-Attack)
Adversaries können LLMs durch verteilte, schädliche Inhalte während des Pretraining vergiften. Die Technik "Stealth Pretraining Seeding" (SPS) wurde formal 2026 dokumentiert und nutzt folgende Strategie:
- Distributed Poisoning: Kleine Mengen vergifteter Inhalte werden über viele Websites verteilt
- Web-Crawling-Exploitation: Angreifer nutzen automatisierte Crawler (z.B. Common Crawl) um schädliche Inhalte in Trainingsdaten einzuschleusen
- Oberflächlich-Harmlos: Einzelne Payloads wirken harmlos und gering-volumig, was Datenbereinigung erschwert
- Latente Exploits: Erzeugt "Logic Landmines" – dormante Schwachstellen, die erst nach dem Training aktiviert werden
Die Schwierigkeit liegt darin, dass der Angriff über mehrere Quellen verteilt ist und bei Standard-Datenkuratierungsprozessen nicht auffällt. Diese Technik zeigt die fundamentale Verwundbarkeit von Pretraining-Pipelines gegen skalierte, dezentrale Vergiftungsangriffe.
Supply-Chain-Angriffe
npm-Paket-Kompromittierung (Axios)
Beliebte Bibliotheken sind attraktive Angriffsziele. Das Axios-Paket (HTTP-Client mit über 100 Millionen monatlichen Downloads) wurde Anfang 2026 mit bösartigen Versionen kompromittiert:
- Vektor: Remote-Access-Trojaner (RAT) in manipulierten Axios-Releases auf npm
- Skala: Potentiell Millionen abhängiger Projekte und Endbenutzer:innen betroffen
- Wurzel-Ursache: Zentrale Anfälligkeit von zentralisierten Package-Managern bei unzureichenden Zugriffskontrollsystemen
Reaktion für Entwickler:innen: - Abhängigkeiten sofort überprüfen und auf sichere Versionen aktualisieren - Integritätsprüfungen durchführen und Pakete mit Code-Signing validieren - Systeme auf unerwartete Netzwerkaktivität und RAT-Indikatoren scannen - Abhängigkeitsgraphen auf verdächtige neue Dependencies monitoren
Risiken bei interner KI-Modell-Nutzung
Frontier-Labs nutzen fortschrittliche Modelle oft wochen- bis monatelang intern für Tests, bevor sie öffentlich verfügbar werden. Diese Phase birgt signifikante Sicherheitsrisiken:
- Längere Exposurephase: Modelle mit potentiellen Cyberattack-Fähigkeiten laufen in internen Umgebungen, bevor externe Sicherheitsaudits stattfinden
- Unzureichende externe Frameworks: Bestehende Regulierungen adressieren diese interne Nutzungsphase oft nicht explizit
- Regulatorische Anforderungen: Neue Regelwerke wie Kaliforniens SB 53, New Yorks RAISE Act und die EU's General-Purpose AI Code of Practice fordern explizites Risk-Reporting für interne KI-Einsätze
Entwickler:innen und Organisationen sollten interne Testphasen mit denselben Sicherheitsstandards behandeln wie externe Deployment-Szenarien.
Verbesserungen der Sicherheit
Erforderliche Maßnahmen:
- Datenkuration: Robuste Filterung und Verifizierung von Trainingsdaten bei Skalierung; Multi-Layer-Prüfung gegen verteilte Poisoning-Angriffe
- Package-Management: Strengere Kontrollen für kritische Pakete (Mandatory Code-Signing, automatisierte Malware-Scans, Rate-Limiting für Version-Uploads, 2FA für Paket-Maintainer)
- Monitoring: Anomalienerkennung in Abhängigkeitsgraphen, unerwarteten Funktionsänderungen und Paketverhalten
- Dezentralisierung: Reduktion kritischer Ausfallpunkte in zentralisierten Ökosystemen; Förderung dezentraler Paket-Distributionsmechanismen
- Transparenz: Öffentliche Audit-Trails für Package-Maintainer-Aktivitäten und Release-Prozesse
- Interne Governance: Risk-Assessment und dokumentiertes Incident-Handling für interne Testphasen fortschrittlicher Modelle; Alignment mit regionalen Compliance-Anforderungen
Quellen
- PermaFrost-Attack: Versteckte Vergiftung in LLM-Pretraining durch verteilte schädliche Inhalte — arXiv cs.LG, 2026-04-27
- Axios-Bibliothek auf npm mit RAT kompromittiert – 100 Mio. Downloads betroffen — Fireship Code Report, 2026-03-31
- Risikomanagement bei interner KI-Modell-Nutzung in Frontier-Labs — arXiv cs.AI, 2026-04-30