Benchmarks & Evals

Ein neues Benchmarking-System misst Spracherkennungsmodelle anhand realistischer, schwieriger Audioszenarien statt idealisierter Testbedingungen.

Ein Experiment zeigt, wie verschiedene KI-Modelle in simulierten Fußball-Szenarien konkurrieren und ihre Stärken offenbaren.

Ein 3-Milliarden-Parameter-Modell soll Systeme mit bis zu 900 Milliarden Parametern übertreffen – eine Benchmark-Sensation für effiziente KI-Modelle.

Selbst die besten aktuellen KI-Modelle scheitern bei realistischen Wissensarbeit-Szenarien und lösen nur 3 Prozent der Aufgaben vollständig korrekt.

Das 3-Milliarden-Parameter-Modell VibeThinker schlägt deutlich größere Sprachmodelle bei speziellen Aufgaben durch verbesserte Reasoning-Techniken.

Ein praktischer Leitfaden zum Testen von Open-Source-KI-Modellen auf ihre Fähigkeit, autonome Agenten in realen Szenarien zu spielen.

Das chinesische Unternehmen Z.ai hat GLM-5.2 unter MIT-Lizenz freigegeben – ein 753-Milliarden-Parameter-Modell, das jetzt führend auf unabhängigen Benchmarks rangiert und sogar Claude im Coding schlägt.

Zhipus neues GLM 5.2 klettert an die Spitze der Open-Source-Modelle und schlägt dabei überraschend viele proprietäre Systeme auf unabhängigen Benchmarks.

Das chinesische Modell GLM-5.2 schließt beim FrontierSWE-Benchmark für komplexe Programmieraufgaben zu den Closed-Source-Platzhirschen auf – Open Source, 1-Million-Token-Kontext, nur ein Prozentpunkt hinter Claude Opus.

Ein neuer Benchmark bewertet, wie gut KI-Systeme echte Aufgaben aus der Lebenswissenschaftsforschung lösen können.

Ein estnisches Institut hat einen Benchmark entwickelt, der misst, wie anfällig KI-Sprachmodelle für russische Desinformation und Propagandanarrative sind.

Der neue Benchmark SWE-Explore offenbart: KI-Coding-Agenten scheitern beim präzisen Lokalisieren fehlerhafter Code-Zeilen, obwohl sie die richtige Datei finden.

Anthropics neues Modell Claude Fable 5 erreicht 88 % Genauigkeit im schwierigsten FrontierMath-Level und schlägt damit OpenAIs GPT-5.5 deutlich.

Anthropics neue Claude Fable 5 führt Benchmarks an, aber der Leistungssprung von nur 5,7 Prozent rechtfertigt die verdoppelten Betriebskosten fragwürdig.

Ein neuer Evaluierungs-Framework hilft Entwicklern, Sprachmodelle systematisch zu testen und zu verbessern.

Eine tiefgehende Analyse der 319-seitigen Dokumentation von Anthropics neuem Flaggschiff-Modell Claude Fable 5 deckt überraschende Stärken, aber auch bemerkenswerte Schwächen auf.

Anthropic startet die Mythos-Modellklasse mit Claude Fable 5, das fast alle Benchmarks dominiert, aber strengere Sicherheitsfilter und höhere Kosten mit sich bringt.

Neue Benchmark-Studie prüft, wie gut moderne ASR-Systeme mit gemischten Sprachen in realen Kundenkommunikationen zurechtkommen.

Ein neues Benchmarking-Tool soll helfen, die tatsächliche Code-Qualität von KI-Modellen zu messen statt oberflächliche Metriken zu verfolgen.

Andon Labs zeigt, wie man robuste Benchmark-Suites für Claude und andere Frontier-Modelle von Grund auf entwickelt.