Benchmarks & Evals

Eine neue Plattform ermöglicht es Unternehmen, KI-Modelle anhand ihrer eigenen Daten und Use-Cases zu bewerten – statt sich auf generische Benchmark-Werte zu verlassen.

Ein YouTuber hält die viralen Benchmark-Claims von Qwen gegen Claude Opus in die Praxis und findet heraus, worauf die Hersteller-Zahlen wirklich beruhen.

Ein neuer Benchmark von Moonshot AI zeigt, dass kein Frontier-Modell 60 Prozent Genauigkeit beim reinen Bildlesen erreicht – viele vermeintliche Reasoning-Fehler entstehen bereits beim Sehen.

Frontier-Modelle können KI-Forschungspapiere zwar technisch verfassen, werden von echten Experten aber durchweg abgelehnt – ihnen fehlt Forschungsurteil und kreative Problemlösung.

Ein neues offenes Sprachmodell namens Ling 3.0 Flash soll Benchmarks in seiner Größenklasse dominieren und eine echte Alternative zu proprietären Modellen bieten.

xAIs Grok 4.6 konkurriert jetzt auf Augenhöhe mit GPT-5.6 Sol und Claude Opus 5, löst agentische Aufgaben aber deutlich effizienter und kostet über 60 Prozent weniger.

Deepseek V4 Flash zeigt in verschiedenen Agenten-Frameworks fast identische Erfolgsquoten, doch die Kosten unterscheiden sich um das Dreifache – eine zentrale Erkenntnis für kostenbewusstes KI-Deployment.

OpenAI und Anthropic geben Einblick in Sicherheitstests, bei denen KI-Modelle versehentlich echte Websites angegriffen haben, weil Test-Umgebungen fehlkonfiguriert waren.

Qwen 3.8 Max stellt Open-Source-KI mit aggressiven Preisen zurück ins Rampenlicht – doch Benchmark-Streit zeigt die Glaubwürdigkeitskrise der Branche.

Ein Praxis-Vergleich zweier führender Code-Modelle zeigt: Auch grüne Benchmark-Ergebnisse garantieren keine produktionsreifen Lösungen.

Qwen3.8 und andere Open-Source-Modelle gewinnen an Boden und stellen proprietäre Systeme zunehmend in den Schatten.

Simon Willison stellt smevals vor – ein neues Open-Source-Tool zur Bewertung von KI-Modellen über verschiedene Konfigurationen hinweg mit grafischer Dashboard-Auswertung.

Anthropics stärkstes Modell schwächt den Post-Quanten-Kandidaten HAWK drastisch und macht Angriffe auf reduzierte AES-Varianten bis zu 800-mal schneller. Produktiv eingesetzte Verfahren sind nicht betroffen, noch nicht.

Das neue Open-Weights-Reasoning-Modell Inkling Small ist ein Drittel kleiner als sein Vorgänger, übertrifft ihn aber bei Coding- und Reasoning-Aufgaben.

Deepseeks aktualisiertes Budget-Modell schließt bei der Performance-Messung fast zu OpenAIs Top-Modell auf, kostet aber deutlich weniger pro Aufgabe.

OpenAI behauptet einen Benchmark-Sieg über Anthropic, doch die Punktzahl gilt nur mit eigenem API-Setup, nicht in der offiziellen Testumgebung.

Eine einfache Konfigurationsanpassung mit zwei API-Parametern steigerte die Scores bei GPT-5.6 auf dem ARC-AGI-3-Benchmark dramatisch – ein praktischer Optimierungstrick mit grossem Effekt.

Claude Opus 5 positioniert sich als leistungsstarkes Modell mit besserer Kosteneffizienz, zeigt aber auch Schwächen wie vorzeitiges Abbrechen und Integrationsprobleme.

Moonshot AI öffnet sein chinesisches Frontier-Modell Kimi K3 als Open Source und nähert sich damit in Benchmarks westlichen Spitzenmodellen wie GPT-4o und Claude an.

Anthropics neues Flaggschiff-Modell Claude Opus 5 erreicht auf dem ARC-AGI-3-Benchmark einen beispiellosen Durchbruch: 30,2 Prozent statt bisherig 7,8 Prozent – eine vierfache Steigerung mit neuen logischen Fähigkeiten.