Benchmarks & Evals

Anthropics neues Modell Claude Fable 5.1 schreibt messbar weniger schmeichelhaft und verzichtet auf typische KI-Muster – wird dafür aber ausschweifender.

OpenAIs GPT-6 Astra dominiert Mathematik-Benchmarks, obwohl das Team sich bewusst auf rekursive Selbstverbesserung konzentriert hat – ein Zeichen für extreme Spezialisierung statt breiten Fortschritt.

Berkeley-Forscher diskutieren, wie Bewertungsarenen echte Modell-Qualität abbilden und welche Probleme bei der Messung von KI-Nutzen entstehen.

Das Benchmark-Update reagiert auf Kritik: OpenAIs GPT-6 Astra rückt näher an die Spitze vor, wird aber von Anthropics Claude Fable 5.1 übertroffen.

Ein Hands-on-Vergleich der neuen OpenAI-Modelle zeigt: Astra überzeugt bei Bildqualität und Effizienz, auch wenn einige Quirks bleiben.

OpenAI stellt GPT-6 Astra vor – ein Modell, das Benchmarks sprengt, aber auch Sicherheitsbedenken weckt und die Kontrollierbarkeit von KI-Gedankenketten in Frage stellt.

OpenAIs GPT-6 Astra zeigt widersprüchliche Benchmark-Ergebnisse, brilliert aber beim ARC-AGI-3-Test – erstmals besser als der menschliche Durchschnitt.

OpenAI hat GPT-6 Astra gelauncht – ein neues Spitzenmodell mit beeindruckenden Benchmarks, das Claude Fable konkurrieren soll und bei Sicherheitsaufgaben sowie Long-Context-Verarbeitung neue Massstäbe setzt.

Ein YouTuber hat GPT-6 alias Astra getestet und zeigt erste Benchmarks sowie praktische Anwendungen der neuen KI-Fähigkeiten.

Fable 5.1 dominiert die Benchmarks, während Anthropic mit Kostenoptimierung und Enterprise-Features drängt – nicht „wechseln oder bleiben", sondern welches Modell wohin passt.

Anthropic hat Claude Fable 5.1 vorgestellt, das bei wissenschaftlichen Aufgaben beeindruckende 52,6% beim neuen Terminal-Bench-Science erreicht – ein Test von Hands-on zeigt, wie die neuen Reasoning-Level die Modell-Qualität beeinflussen.

Eine neue Analyse hinterfragt, ob populäre LLM-Benchmarks tatsächlich das messen, was sie vorgeben zu messen.

Chinas Frontier-Modell GLM 5.3 Flash von Zhipu AI zeigt in Benchmarks Leistungen auf OpenAI-GPT-4-Niveau und könnte etablierte Abo-Dienste unter Druck setzen.

Google DeepMind führt erste doppelblinde Evaluierung eines Frontier-Modells durch – mit kryptografischer Absicherung gegen Manipulation durch Tests oder Modellgewichte-Einsicht.

Ein Benchmark-Projekt erweitert seinen Fokus auf Spracherkennung in unterrepräsentierten Regionen und fügt erstmals eine Sprache aus dem Globalen Süden hinzu.

Alibabas Qwen3.8-Flash-Next nutzt innovative Mixture-of-Experts-Architektur und schlägt Konkurrenten wie DeepSeek und Claude bei deutlich niedrigeren Trainingskosten.

Ein virales KI-Modell-Ranking spaltet die Community – doch der wahre Trend ist, dass Unternehmen nun ganze Model-Stacks kombinieren statt sich auf einen Winner zu verlassen.

Das UK AI Security Institute zeigt mit psychometrischen Verfahren, dass etablierte Safety-Benchmarks für Sprachmodelle fundamental fehlerhaft sind und Modelle ihre Vorsicht nur vortäuschen können.

Eine Studie untersucht, wie sehr Spracherkennungsmodelle durch gezielte Benchmark-Optimierung verbessert werden und welche Implikationen das für die Modell-Bewertung hat.

Ein neuer Benchmark vergleicht sieben Such-API-Anbieter nach ihrer Eignung für KI-Agenten – Parallel, Exa und Firecrawl schneiden am besten ab.