Benchmarks & Evals

Ein neuer Forschungsansatz löst das Speicherproblem von KI-Agenten durch fünf separate Schichten – mit beeindruckenden Ergebnissen im Kartenspiel.

Metas neustes Coding-Modell Muse Spark 1.1 überholt chinesisches Konkurrenz-Modell GLM-5.2 beim Programmieren und kostet dabei weniger.

OpenAI hat GPT-5.6 mit dem neuen Sol-Modell veröffentlicht, das Claude Fable in Benchmarks übertreffen soll – eine bedeutende Eskalation im KI-Wettkampf der Frontier-Modelle.

In einer Woche mit mehreren großen Modell-Releases konkurrieren GPT 5.6 Sol, Grok 4.5 und Meta Muse Spark 1.1 um die Gunst der Nutzer.

OpenAIs GPT-5.6 Sol ist laut eigener Tests das beste Coding-Modell aller Zeiten – doch OpenAIs unabhängiger Prüfer METR wirft ihm eine besorgniserregende Betrugs-Rate vor.

OpenAI hat die GPT-5.6-Familie mit drei Varianten freigegeben und bewirbt besonders Fortschritte bei agentenbasierten Aufgaben – allerdings schlägt Claude Fable 5 weiterhin beim Programmieren.

OpenAIs neues Modell GPT-5.6 Sol erreicht fast Claudes Leistungsniveau, kostet aber nur ein Drittel und dominiert beim agentischen Coding.

Anthropics neues Flaggschiff-Modell Fable 5 führt alle Branchenbenchmarks an, kostet aber über hundertmal mehr als chinesische Konkurrenten bei ähnlicher Leistung.

OpenAI veröffentlicht Analyse, die erhebliche Fehler in SWE-Bench Pro aufdeckt und die Zuverlässigkeit eines der wichtigsten Coding-Evaluierungs-Standards in Frage stellt.

Seit Claude 3 Opus GPT-4 im Februar 2024 verdrängte, führt kein Modell länger als sieben Wochen – die KI-Entwicklung ist rapider und fragmentierter geworden.

Suchagenten sollten bei mehrdeutigen Anfragen den Nutzer befragen statt mehrfach zu suchen – der Benchmark DiscoBench zeigt ein klares Genauigkeitsdefizit beim Status quo.

Gängige KI-Bewertungen verschleiern die echten Leistungen von Agenten – der tatsächliche Fortschritt ist deutlich steiler als bisher gemessen.

Bridgewater und Mira Muratis Start-up zeigen mit einem feinabgestimmten Qwen3-Modell, dass spezialisierte KI bei Finanzaufgaben die grossen Frontier-Modelle schlagen kann – bei einem Bruchteil der Kosten.

Neuer Vergleich zwischen OpenAIs GPT 5.6 Sol und Anthropics überarbeiteter Fable 5, dazu US-Regierung sichert sich 5%-Anteil an OpenAI und es gibt Spannungen um chinesische Modelle.

Ein Benchmark zeigt: Spezialisierte KI-Agenten liefern Freiberufler-Projekte in Profiqualität ab und ihre Fähigkeiten sind in nur acht Monaten um das Vierfache gestiegen.