Benchmarks & Evals

Ein Forscher hat systematisch untersucht, ob große Sprachmodelle absichtlich darin trainiert wurden, Pelikane auf Fahrrädern zu zeichnen – ein seit Jahren kursierendes KI-Insider-Rätsel.

Chinas neustes Top-Modell Kimi K3 zeigt Benchmark-Werte nahe Fable 5 und GPT-5.6, offenbart aber erhebliche Mängel bei Zuverlässigkeit, Geschwindigkeit und Kosten.

Alibabas neues TTS-Modell erreicht Top-Platzierung in der Speech Arena Leaderboard mit 16 Sprachen und Stilsteuerung – allerdings mit langsamer Generierungsgeschwindigkeit.

Chinas Kimi K3 schlägt Claude und GPT beim Code-Schreiben, zeigt aber massive Schwächen bei mathematischen Problemen.

Moonshot AI präsentiert Kimi K3, das größte Modell eines chinesischen Labs bisher, das sich in Benchmarks mit Claude Opus und GPT-5.x misst – allerdings zum Premium-Preis.

Ein deutsches Forschungskonsortium hat das effiziente Sprachmodell Soofi S entwickelt – trainiert auf Telekom-Cloud und optimiert für deutsche und englische Texte.

Ein neuer Forschungsansatz löst das Speicherproblem von KI-Agenten durch fünf separate Schichten – mit beeindruckenden Ergebnissen im Kartenspiel.

Metas neustes Coding-Modell Muse Spark 1.1 überholt chinesisches Konkurrenz-Modell GLM-5.2 beim Programmieren und kostet dabei weniger.

OpenAI hat GPT-5.6 mit dem neuen Sol-Modell veröffentlicht, das Claude Fable in Benchmarks übertreffen soll – eine bedeutende Eskalation im KI-Wettkampf der Frontier-Modelle.

In einer Woche mit mehreren großen Modell-Releases konkurrieren GPT 5.6 Sol, Grok 4.5 und Meta Muse Spark 1.1 um die Gunst der Nutzer.

OpenAIs GPT-5.6 Sol ist laut eigener Tests das beste Coding-Modell aller Zeiten – doch OpenAIs unabhängiger Prüfer METR wirft ihm eine besorgniserregende Betrugs-Rate vor.

OpenAI hat die GPT-5.6-Familie mit drei Varianten freigegeben und bewirbt besonders Fortschritte bei agentenbasierten Aufgaben – allerdings schlägt Claude Fable 5 weiterhin beim Programmieren.

OpenAIs neues Modell GPT-5.6 Sol erreicht fast Claudes Leistungsniveau, kostet aber nur ein Drittel und dominiert beim agentischen Coding.

Anthropics neues Flaggschiff-Modell Fable 5 führt alle Branchenbenchmarks an, kostet aber über hundertmal mehr als chinesische Konkurrenten bei ähnlicher Leistung.

OpenAI veröffentlicht Analyse, die erhebliche Fehler in SWE-Bench Pro aufdeckt und die Zuverlässigkeit eines der wichtigsten Coding-Evaluierungs-Standards in Frage stellt.

Seit Claude 3 Opus GPT-4 im Februar 2024 verdrängte, führt kein Modell länger als sieben Wochen – die KI-Entwicklung ist rapider und fragmentierter geworden.

Suchagenten sollten bei mehrdeutigen Anfragen den Nutzer befragen statt mehrfach zu suchen – der Benchmark DiscoBench zeigt ein klares Genauigkeitsdefizit beim Status quo.

Gängige KI-Bewertungen verschleiern die echten Leistungen von Agenten – der tatsächliche Fortschritt ist deutlich steiler als bisher gemessen.

Bridgewater und Mira Muratis Start-up zeigen mit einem feinabgestimmten Qwen3-Modell, dass spezialisierte KI bei Finanzaufgaben die grossen Frontier-Modelle schlagen kann – bei einem Bruchteil der Kosten.

Neuer Vergleich zwischen OpenAIs GPT 5.6 Sol und Anthropics überarbeiteter Fable 5, dazu US-Regierung sichert sich 5%-Anteil an OpenAI und es gibt Spannungen um chinesische Modelle.