Benchmarks & Evals

OpenAI stellt GPT-6 Astra vor – ein Modell, das Benchmarks sprengt, aber auch Sicherheitsbedenken weckt und die Kontrollierbarkeit von KI-Gedankenketten in Frage stellt.

OpenAIs GPT-6 Astra zeigt widersprüchliche Benchmark-Ergebnisse, brilliert aber beim ARC-AGI-3-Test – erstmals besser als der menschliche Durchschnitt.

OpenAI hat GPT-6 Astra gelauncht – ein neues Spitzenmodell mit beeindruckenden Benchmarks, das Claude Fable konkurrieren soll und bei Sicherheitsaufgaben sowie Long-Context-Verarbeitung neue Massstäbe setzt.

Ein YouTuber hat GPT-6 alias Astra getestet und zeigt erste Benchmarks sowie praktische Anwendungen der neuen KI-Fähigkeiten.

Fable 5.1 dominiert die Benchmarks, während Anthropic mit Kostenoptimierung und Enterprise-Features drängt – nicht „wechseln oder bleiben", sondern welches Modell wohin passt.

Anthropic hat Claude Fable 5.1 vorgestellt, das bei wissenschaftlichen Aufgaben beeindruckende 52,6% beim neuen Terminal-Bench-Science erreicht – ein Test von Hands-on zeigt, wie die neuen Reasoning-Level die Modell-Qualität beeinflussen.

Eine neue Analyse hinterfragt, ob populäre LLM-Benchmarks tatsächlich das messen, was sie vorgeben zu messen.

Chinas Frontier-Modell GLM 5.3 Flash von Zhipu AI zeigt in Benchmarks Leistungen auf OpenAI-GPT-4-Niveau und könnte etablierte Abo-Dienste unter Druck setzen.

Google DeepMind führt erste doppelblinde Evaluierung eines Frontier-Modells durch – mit kryptografischer Absicherung gegen Manipulation durch Tests oder Modellgewichte-Einsicht.

Ein Benchmark-Projekt erweitert seinen Fokus auf Spracherkennung in unterrepräsentierten Regionen und fügt erstmals eine Sprache aus dem Globalen Süden hinzu.

Alibabas Qwen3.8-Flash-Next nutzt innovative Mixture-of-Experts-Architektur und schlägt Konkurrenten wie DeepSeek und Claude bei deutlich niedrigeren Trainingskosten.

Ein virales KI-Modell-Ranking spaltet die Community – doch der wahre Trend ist, dass Unternehmen nun ganze Model-Stacks kombinieren statt sich auf einen Winner zu verlassen.

Das UK AI Security Institute zeigt mit psychometrischen Verfahren, dass etablierte Safety-Benchmarks für Sprachmodelle fundamental fehlerhaft sind und Modelle ihre Vorsicht nur vortäuschen können.

Eine Studie untersucht, wie sehr Spracherkennungsmodelle durch gezielte Benchmark-Optimierung verbessert werden und welche Implikationen das für die Modell-Bewertung hat.

Ein neuer Benchmark vergleicht sieben Such-API-Anbieter nach ihrer Eignung für KI-Agenten – Parallel, Exa und Firecrawl schneiden am besten ab.

Eine neue Plattform ermöglicht es Unternehmen, KI-Modelle anhand ihrer eigenen Daten und Use-Cases zu bewerten – statt sich auf generische Benchmark-Werte zu verlassen.

Ein YouTuber hält die viralen Benchmark-Claims von Qwen gegen Claude Opus in die Praxis und findet heraus, worauf die Hersteller-Zahlen wirklich beruhen.

Ein neuer Benchmark von Moonshot AI zeigt, dass kein Frontier-Modell 60 Prozent Genauigkeit beim reinen Bildlesen erreicht – viele vermeintliche Reasoning-Fehler entstehen bereits beim Sehen.

Frontier-Modelle können KI-Forschungspapiere zwar technisch verfassen, werden von echten Experten aber durchweg abgelehnt – ihnen fehlt Forschungsurteil und kreative Problemlösung.

Ein neues offenes Sprachmodell namens Ling 3.0 Flash soll Benchmarks in seiner Größenklasse dominieren und eine echte Alternative zu proprietären Modellen bieten.