Benchmarks & Evals

Zhipus neues GLM 5.2 klettert an die Spitze der Open-Source-Modelle und schlägt dabei überraschend viele proprietäre Systeme auf unabhängigen Benchmarks.

Das chinesische Modell GLM-5.2 schließt beim FrontierSWE-Benchmark für komplexe Programmieraufgaben zu den Closed-Source-Platzhirschen auf – Open Source, 1-Million-Token-Kontext, nur ein Prozentpunkt hinter Claude Opus.

Ein neuer Benchmark bewertet, wie gut KI-Systeme echte Aufgaben aus der Lebenswissenschaftsforschung lösen können.

Ein estnisches Institut hat einen Benchmark entwickelt, der misst, wie anfällig KI-Sprachmodelle für russische Desinformation und Propagandanarrative sind.

Der neue Benchmark SWE-Explore offenbart: KI-Coding-Agenten scheitern beim präzisen Lokalisieren fehlerhafter Code-Zeilen, obwohl sie die richtige Datei finden.

Anthropics neues Modell Claude Fable 5 erreicht 88 % Genauigkeit im schwierigsten FrontierMath-Level und schlägt damit OpenAIs GPT-5.5 deutlich.

Anthropics neue Claude Fable 5 führt Benchmarks an, aber der Leistungssprung von nur 5,7 Prozent rechtfertigt die verdoppelten Betriebskosten fragwürdig.

Ein neuer Evaluierungs-Framework hilft Entwicklern, Sprachmodelle systematisch zu testen und zu verbessern.

Eine tiefgehende Analyse der 319-seitigen Dokumentation von Anthropics neuem Flaggschiff-Modell Claude Fable 5 deckt überraschende Stärken, aber auch bemerkenswerte Schwächen auf.

Anthropic startet die Mythos-Modellklasse mit Claude Fable 5, das fast alle Benchmarks dominiert, aber strengere Sicherheitsfilter und höhere Kosten mit sich bringt.

Neue Benchmark-Studie prüft, wie gut moderne ASR-Systeme mit gemischten Sprachen in realen Kundenkommunikationen zurechtkommen.

Ein neues Benchmarking-Tool soll helfen, die tatsächliche Code-Qualität von KI-Modellen zu messen statt oberflächliche Metriken zu verfolgen.

Andon Labs zeigt, wie man robuste Benchmark-Suites für Claude und andere Frontier-Modelle von Grund auf entwickelt.

Neues Benchmark-Dataset für die Evaluierung von KI-Agenten über drei Domänen mit über 100 Tools und realistischen Szenarien.

Ideogram veröffentlicht sein Text-zu-Bild-Modell 4.0 als Open-Weight-Modell mit 2K-Auflösung und präziser Textdarstellung – führend unter offenen Systemen.

Das neue chinesische Modell MiniMax M3 verspricht überlegene Coding-Performance, 1 Million Token Context und sensationelle Preise – ein Hands-on-Test mit ehrlicher Einordnung.

Ein bekanntes Benchmark-System für Software-Engineering-KI-Modelle wird als obsolet erklärt – möglicherweise weil neue Systeme es übertroffen haben.

Nvidias Nemotron 3 Ultra ist laut Artificial Analysis das stärkste offene KI-Modell aus den USA und verfügt über 550 Milliarden Parameter.