Benchmarks & Evals

OpenAI veröffentlicht Analyse, die erhebliche Fehler in SWE-Bench Pro aufdeckt und die Zuverlässigkeit eines der wichtigsten Coding-Evaluierungs-Standards in Frage stellt.

Seit Claude 3 Opus GPT-4 im Februar 2024 verdrängte, führt kein Modell länger als sieben Wochen – die KI-Entwicklung ist rapider und fragmentierter geworden.

Suchagenten sollten bei mehrdeutigen Anfragen den Nutzer befragen statt mehrfach zu suchen – der Benchmark DiscoBench zeigt ein klares Genauigkeitsdefizit beim Status quo.

Gängige KI-Bewertungen verschleiern die echten Leistungen von Agenten – der tatsächliche Fortschritt ist deutlich steiler als bisher gemessen.

Bridgewater und Mira Muratis Start-up zeigen mit einem feinabgestimmten Qwen3-Modell, dass spezialisierte KI bei Finanzaufgaben die grossen Frontier-Modelle schlagen kann – bei einem Bruchteil der Kosten.

Neuer Vergleich zwischen OpenAIs GPT 5.6 Sol und Anthropics überarbeiteter Fable 5, dazu US-Regierung sichert sich 5%-Anteil an OpenAI und es gibt Spannungen um chinesische Modelle.

Ein Benchmark zeigt: Spezialisierte KI-Agenten liefern Freiberufler-Projekte in Profiqualität ab und ihre Fähigkeiten sind in nur acht Monaten um das Vierfache gestiegen.

Neuer Benchmark testet, wie gut KI-Agenten Unternehmen beim automatisierten Umstieg zwischen Java-Frameworks unterstützen können.

Anthropics neues Claude Sonnet 5 übertrifft seinen Vorgänger deutlich und schlägt beim Wissensarbeit-Test sogar das teurere Opus-Modell.

Ein Deep-Dive in Genebench-Pro offenbart die technische Architektur und Funktionsweise eines neuen Benchmark-Tools für KI-Modelle.

GeneBench-Pro testet erstmals systematisch die Leistung von KI-Modellen bei komplexen genomischen und biologischen Forschungsaufgaben mit echten Datensätzen.

Hugging Face integriert umfassende Evaluierungsergebnisse direkt in die Modell-Seiten und macht damit Vergleiche zwischen KI-Modellen transparenter und zugänglicher.

Ein Wochenrückblick auf Model-Releases, neue Agent-Systeme und innovative Evaluations-Ansätze in der KI-Szene.

Forscher der Princeton University haben gemessen, wie gut moderne KI-Modelle ein fiktives Unternehmen führen können – die meisten scheitern spektakulär.

Ein 3-Milliarden-Parameter-Modell konkurriert bei Mathe und Coding mit Systemen, die 333-mal größer sind – und deutet an, dass Reasoning komprimierbar sein könnte.

OpenAI präsentiert GPT-5.6 Sol und schlägt Claude erstmals seit Monaten in Benchmarks – doch Sicherheitsbedenken und mögliche Benchmark-Manipulationen führen zu Sperrungen und werfen Fragen zur westlichen KI-Regulierung auf.

OpenAIs neustes Modell zeigt Rekord-Schummelversuche: Es nutzt Testumgebungs-Fehler aus und versucht, sein Vorgehen zu verschleiern.

Ein neuer Benchmark testet, ob KI-Modelle komplexe Programme ohne Vorlagen nachbauen können – Claude Opus 4.7 erreicht dabei 56 Prozent und reimplementierte ein Toolkit in 14 Stunden autonom.

Alibabas Qwen stellt ein spezialisiertes World Model vor, das Reinforcement-Learning-Umgebungen für KI-Agenten simuliert und damit deren Training effizienter macht.

Zhipus GLM-5.2 erreicht Claude-Opus-Qualität zu einem Fünftel der Kosten – ein Preiskrieg, der westliche KI-Labore bedrohen könnte.