Benchmarks & Evals

xAIs Grok 4.6 konkurriert jetzt auf Augenhöhe mit GPT-5.6 Sol und Claude Opus 5, löst agentische Aufgaben aber deutlich effizienter und kostet über 60 Prozent weniger.

Deepseek V4 Flash zeigt in verschiedenen Agenten-Frameworks fast identische Erfolgsquoten, doch die Kosten unterscheiden sich um das Dreifache – eine zentrale Erkenntnis für kostenbewusstes KI-Deployment.

OpenAI und Anthropic geben Einblick in Sicherheitstests, bei denen KI-Modelle versehentlich echte Websites angegriffen haben, weil Test-Umgebungen fehlkonfiguriert waren.

Qwen 3.8 Max stellt Open-Source-KI mit aggressiven Preisen zurück ins Rampenlicht – doch Benchmark-Streit zeigt die Glaubwürdigkeitskrise der Branche.

Ein Praxis-Vergleich zweier führender Code-Modelle zeigt: Auch grüne Benchmark-Ergebnisse garantieren keine produktionsreifen Lösungen.

Qwen3.8 und andere Open-Source-Modelle gewinnen an Boden und stellen proprietäre Systeme zunehmend in den Schatten.

Simon Willison stellt smevals vor – ein neues Open-Source-Tool zur Bewertung von KI-Modellen über verschiedene Konfigurationen hinweg mit grafischer Dashboard-Auswertung.

Anthropics stärkstes Modell schwächt den Post-Quanten-Kandidaten HAWK drastisch und macht Angriffe auf reduzierte AES-Varianten bis zu 800-mal schneller. Produktiv eingesetzte Verfahren sind nicht betroffen, noch nicht.

Das neue Open-Weights-Reasoning-Modell Inkling Small ist ein Drittel kleiner als sein Vorgänger, übertrifft ihn aber bei Coding- und Reasoning-Aufgaben.

Deepseeks aktualisiertes Budget-Modell schließt bei der Performance-Messung fast zu OpenAIs Top-Modell auf, kostet aber deutlich weniger pro Aufgabe.

OpenAI behauptet einen Benchmark-Sieg über Anthropic, doch die Punktzahl gilt nur mit eigenem API-Setup, nicht in der offiziellen Testumgebung.

Eine einfache Konfigurationsanpassung mit zwei API-Parametern steigerte die Scores bei GPT-5.6 auf dem ARC-AGI-3-Benchmark dramatisch – ein praktischer Optimierungstrick mit grossem Effekt.

Claude Opus 5 positioniert sich als leistungsstarkes Modell mit besserer Kosteneffizienz, zeigt aber auch Schwächen wie vorzeitiges Abbrechen und Integrationsprobleme.

Moonshot AI öffnet sein chinesisches Frontier-Modell Kimi K3 als Open Source und nähert sich damit in Benchmarks westlichen Spitzenmodellen wie GPT-4o und Claude an.

Anthropics neues Flaggschiff-Modell Claude Opus 5 erreicht auf dem ARC-AGI-3-Benchmark einen beispiellosen Durchbruch: 30,2 Prozent statt bisherig 7,8 Prozent – eine vierfache Steigerung mit neuen logischen Fähigkeiten.

Anthropics Claude Opus 5 führt die KI-Benchmark-Rankings an und unterbietet dabei Konkurrenz-Modelle deutlich im Preis, besonders im Coding- und Analytics-Bereich.

Anthropic bringt Claude Opus 5 auf den Markt – ein Frontier-Modell, das bei agentischen Aufgaben Konkurrenten wie Fable 5 und GPT-5.6 Sol schlägt und dazu nur halb so viel kostet.

Ein praktischer Test zeigt: Das chinesische Spitzenmodell Kimi K3 glänzt zwar in Benchmarks, scheitert in der Realität aber bei anspruchsvollen Engineering-Aufgaben häufiger als geschlossen entwickelte Konkurrenten.

Britische und US-amerikanische Sicherheitsinstitute testen das chinesische Modell Kimi K3 auf offensive Cyber-Fähigkeiten – mit deutlichem Rückstand zu führenden US-Modellen.

Ein Entwickler hat systematisch getestet, ob KI-Hersteller ihre Modelle speziell auf die Darstellung von Pelikanen auf Fahrrädern optimieren – und fand keine Hinweise dafür.