Benchmarks & Evals

Chinas Frontier-Modell GLM 5.3 Flash von Zhipu AI zeigt in Benchmarks Leistungen auf OpenAI-GPT-4-Niveau und könnte etablierte Abo-Dienste unter Druck setzen.

Google DeepMind führt erste doppelblinde Evaluierung eines Frontier-Modells durch – mit kryptografischer Absicherung gegen Manipulation durch Tests oder Modellgewichte-Einsicht.

Ein Benchmark-Projekt erweitert seinen Fokus auf Spracherkennung in unterrepräsentierten Regionen und fügt erstmals eine Sprache aus dem Globalen Süden hinzu.

Alibabas Qwen3.8-Flash-Next nutzt innovative Mixture-of-Experts-Architektur und schlägt Konkurrenten wie DeepSeek und Claude bei deutlich niedrigeren Trainingskosten.

Ein virales KI-Modell-Ranking spaltet die Community – doch der wahre Trend ist, dass Unternehmen nun ganze Model-Stacks kombinieren statt sich auf einen Winner zu verlassen.

Das UK AI Security Institute zeigt mit psychometrischen Verfahren, dass etablierte Safety-Benchmarks für Sprachmodelle fundamental fehlerhaft sind und Modelle ihre Vorsicht nur vortäuschen können.

Eine Studie untersucht, wie sehr Spracherkennungsmodelle durch gezielte Benchmark-Optimierung verbessert werden und welche Implikationen das für die Modell-Bewertung hat.

Ein neuer Benchmark vergleicht sieben Such-API-Anbieter nach ihrer Eignung für KI-Agenten – Parallel, Exa und Firecrawl schneiden am besten ab.

Eine neue Plattform ermöglicht es Unternehmen, KI-Modelle anhand ihrer eigenen Daten und Use-Cases zu bewerten – statt sich auf generische Benchmark-Werte zu verlassen.

Ein YouTuber hält die viralen Benchmark-Claims von Qwen gegen Claude Opus in die Praxis und findet heraus, worauf die Hersteller-Zahlen wirklich beruhen.

Ein neuer Benchmark von Moonshot AI zeigt, dass kein Frontier-Modell 60 Prozent Genauigkeit beim reinen Bildlesen erreicht – viele vermeintliche Reasoning-Fehler entstehen bereits beim Sehen.

Frontier-Modelle können KI-Forschungspapiere zwar technisch verfassen, werden von echten Experten aber durchweg abgelehnt – ihnen fehlt Forschungsurteil und kreative Problemlösung.

Ein neues offenes Sprachmodell namens Ling 3.0 Flash soll Benchmarks in seiner Größenklasse dominieren und eine echte Alternative zu proprietären Modellen bieten.

xAIs Grok 4.6 konkurriert jetzt auf Augenhöhe mit GPT-5.6 Sol und Claude Opus 5, löst agentische Aufgaben aber deutlich effizienter und kostet über 60 Prozent weniger.

Deepseek V4 Flash zeigt in verschiedenen Agenten-Frameworks fast identische Erfolgsquoten, doch die Kosten unterscheiden sich um das Dreifache – eine zentrale Erkenntnis für kostenbewusstes KI-Deployment.

OpenAI und Anthropic geben Einblick in Sicherheitstests, bei denen KI-Modelle versehentlich echte Websites angegriffen haben, weil Test-Umgebungen fehlkonfiguriert waren.

Qwen 3.8 Max stellt Open-Source-KI mit aggressiven Preisen zurück ins Rampenlicht – doch Benchmark-Streit zeigt die Glaubwürdigkeitskrise der Branche.

Ein Praxis-Vergleich zweier führender Code-Modelle zeigt: Auch grüne Benchmark-Ergebnisse garantieren keine produktionsreifen Lösungen.

Qwen3.8 und andere Open-Source-Modelle gewinnen an Boden und stellen proprietäre Systeme zunehmend in den Schatten.