Ein Teenager plante eine Bergwanderung bei Vancouver mit Anthropics Claude und erhielt von der KI Anweisungen zu einer Route, die Kletterausrüstung erfordert – Standard-Equipment für eine bloße Wanderung. Der Chatbot unterschätzte die Schwierigkeit erheblich. Der Junge geriet in eine steile Felswand und musste per Hubschrauber gerettet werden. Bryce macht die KI nicht allein verantwortlich, hat aber beschlossen, Claude nie wieder für solche kritischen Entscheidungen zu nutzen. Der Vorfall zeigt die Grenzen von Sprachmodellen bei Real-World-Planung: Sie können Fakten konfabulieren, lokale Gegebenheiten missinterpretieren und Risiken unterschätzen – was bei sicherheitskritischen Aufgaben ernsthafte Konsequenzen hat.
