Benchmarks & Evals

Simon Willison stellt smevals vor – ein neues Open-Source-Tool zur Bewertung von KI-Modellen über verschiedene Konfigurationen hinweg mit grafischer Dashboard-Auswertung.

Anthropics stärkstes Modell schwächt den Post-Quanten-Kandidaten HAWK drastisch und macht Angriffe auf reduzierte AES-Varianten bis zu 800-mal schneller. Produktiv eingesetzte Verfahren sind nicht betroffen, noch nicht.

Das neue Open-Weights-Reasoning-Modell Inkling Small ist ein Drittel kleiner als sein Vorgänger, übertrifft ihn aber bei Coding- und Reasoning-Aufgaben.

Deepseeks aktualisiertes Budget-Modell schließt bei der Performance-Messung fast zu OpenAIs Top-Modell auf, kostet aber deutlich weniger pro Aufgabe.

OpenAI behauptet einen Benchmark-Sieg über Anthropic, doch die Punktzahl gilt nur mit eigenem API-Setup, nicht in der offiziellen Testumgebung.

Eine einfache Konfigurationsanpassung mit zwei API-Parametern steigerte die Scores bei GPT-5.6 auf dem ARC-AGI-3-Benchmark dramatisch – ein praktischer Optimierungstrick mit grossem Effekt.

Claude Opus 5 positioniert sich als leistungsstarkes Modell mit besserer Kosteneffizienz, zeigt aber auch Schwächen wie vorzeitiges Abbrechen und Integrationsprobleme.

Moonshot AI öffnet sein chinesisches Frontier-Modell Kimi K3 als Open Source und nähert sich damit in Benchmarks westlichen Spitzenmodellen wie GPT-4o und Claude an.

Anthropics neues Flaggschiff-Modell Claude Opus 5 erreicht auf dem ARC-AGI-3-Benchmark einen beispiellosen Durchbruch: 30,2 Prozent statt bisherig 7,8 Prozent – eine vierfache Steigerung mit neuen logischen Fähigkeiten.

Anthropics Claude Opus 5 führt die KI-Benchmark-Rankings an und unterbietet dabei Konkurrenz-Modelle deutlich im Preis, besonders im Coding- und Analytics-Bereich.

Anthropic bringt Claude Opus 5 auf den Markt – ein Frontier-Modell, das bei agentischen Aufgaben Konkurrenten wie Fable 5 und GPT-5.6 Sol schlägt und dazu nur halb so viel kostet.

Ein praktischer Test zeigt: Das chinesische Spitzenmodell Kimi K3 glänzt zwar in Benchmarks, scheitert in der Realität aber bei anspruchsvollen Engineering-Aufgaben häufiger als geschlossen entwickelte Konkurrenten.

Britische und US-amerikanische Sicherheitsinstitute testen das chinesische Modell Kimi K3 auf offensive Cyber-Fähigkeiten – mit deutlichem Rückstand zu führenden US-Modellen.

Ein Entwickler hat systematisch getestet, ob KI-Hersteller ihre Modelle speziell auf die Darstellung von Pelikanen auf Fahrrädern optimieren – und fand keine Hinweise dafür.

Ein Forscher hat systematisch untersucht, ob große Sprachmodelle absichtlich darin trainiert wurden, Pelikane auf Fahrrädern zu zeichnen – ein seit Jahren kursierendes KI-Insider-Rätsel.

Chinas neustes Top-Modell Kimi K3 zeigt Benchmark-Werte nahe Fable 5 und GPT-5.6, offenbart aber erhebliche Mängel bei Zuverlässigkeit, Geschwindigkeit und Kosten.

Alibabas neues TTS-Modell erreicht Top-Platzierung in der Speech Arena Leaderboard mit 16 Sprachen und Stilsteuerung – allerdings mit langsamer Generierungsgeschwindigkeit.

Chinas Kimi K3 schlägt Claude und GPT beim Code-Schreiben, zeigt aber massive Schwächen bei mathematischen Problemen.

Moonshot AI präsentiert Kimi K3, das größte Modell eines chinesischen Labs bisher, das sich in Benchmarks mit Claude Opus und GPT-5.x misst – allerdings zum Premium-Preis.

Ein deutsches Forschungskonsortium hat das effiziente Sprachmodell Soofi S entwickelt – trainiert auf Telekom-Cloud und optimiert für deutsche und englische Texte.