Benchmarks & Evals

OpenAI veröffentlicht Analyse, die erhebliche Fehler in SWE-Bench Pro aufdeckt und die Zuverlässigkeit eines der wichtigsten Coding-Evaluierungs-Standards in Frage stellt.

Seit Claude 3 Opus GPT-4 im Februar 2024 verdrängte, führt kein Modell länger als sieben Wochen – die KI-Entwicklung ist rapider und fragmentierter geworden.

Suchagenten sollten bei mehrdeutigen Anfragen den Nutzer befragen statt mehrfach zu suchen – der Benchmark DiscoBench zeigt ein klares Genauigkeitsdefizit beim Status quo.

Gängige KI-Bewertungen verschleiern die echten Leistungen von Agenten – der tatsächliche Fortschritt ist deutlich steiler als bisher gemessen.

Bridgewater und Mira Muratis Start-up zeigen mit einem feinabgestimmten Qwen3-Modell, dass spezialisierte KI bei Finanzaufgaben die grossen Frontier-Modelle schlagen kann – bei einem Bruchteil der Kosten.

Neuer Vergleich zwischen OpenAIs GPT 5.6 Sol und Anthropics überarbeiteter Fable 5, dazu US-Regierung sichert sich 5%-Anteil an OpenAI und es gibt Spannungen um chinesische Modelle.

Ein Benchmark zeigt: Spezialisierte KI-Agenten liefern Freiberufler-Projekte in Profiqualität ab und ihre Fähigkeiten sind in nur acht Monaten um das Vierfache gestiegen.