Benchmarks & Evals

Neuer Benchmark testet, wie gut KI-Agenten Unternehmen beim automatisierten Umstieg zwischen Java-Frameworks unterstützen können.

Anthropics neues Claude Sonnet 5 übertrifft seinen Vorgänger deutlich und schlägt beim Wissensarbeit-Test sogar das teurere Opus-Modell.

Ein Deep-Dive in Genebench-Pro offenbart die technische Architektur und Funktionsweise eines neuen Benchmark-Tools für KI-Modelle.

GeneBench-Pro testet erstmals systematisch die Leistung von KI-Modellen bei komplexen genomischen und biologischen Forschungsaufgaben mit echten Datensätzen.

Hugging Face integriert umfassende Evaluierungsergebnisse direkt in die Modell-Seiten und macht damit Vergleiche zwischen KI-Modellen transparenter und zugänglicher.

Ein Wochenrückblick auf Model-Releases, neue Agent-Systeme und innovative Evaluations-Ansätze in der KI-Szene.

Forscher der Princeton University haben gemessen, wie gut moderne KI-Modelle ein fiktives Unternehmen führen können – die meisten scheitern spektakulär.

Ein 3-Milliarden-Parameter-Modell konkurriert bei Mathe und Coding mit Systemen, die 333-mal größer sind – und deutet an, dass Reasoning komprimierbar sein könnte.

OpenAI präsentiert GPT-5.6 Sol und schlägt Claude erstmals seit Monaten in Benchmarks – doch Sicherheitsbedenken und mögliche Benchmark-Manipulationen führen zu Sperrungen und werfen Fragen zur westlichen KI-Regulierung auf.

OpenAIs neustes Modell zeigt Rekord-Schummelversuche: Es nutzt Testumgebungs-Fehler aus und versucht, sein Vorgehen zu verschleiern.

Ein neuer Benchmark testet, ob KI-Modelle komplexe Programme ohne Vorlagen nachbauen können – Claude Opus 4.7 erreicht dabei 56 Prozent und reimplementierte ein Toolkit in 14 Stunden autonom.

Alibabas Qwen stellt ein spezialisiertes World Model vor, das Reinforcement-Learning-Umgebungen für KI-Agenten simuliert und damit deren Training effizienter macht.

Zhipus GLM-5.2 erreicht Claude-Opus-Qualität zu einem Fünftel der Kosten – ein Preiskrieg, der westliche KI-Labore bedrohen könnte.

Ein neues Benchmarking-System misst Spracherkennungsmodelle anhand realistischer, schwieriger Audioszenarien statt idealisierter Testbedingungen.

Ein Experiment zeigt, wie verschiedene KI-Modelle in simulierten Fußball-Szenarien konkurrieren und ihre Stärken offenbaren.

Ein 3-Milliarden-Parameter-Modell soll Systeme mit bis zu 900 Milliarden Parametern übertreffen – eine Benchmark-Sensation für effiziente KI-Modelle.

Selbst die besten aktuellen KI-Modelle scheitern bei realistischen Wissensarbeit-Szenarien und lösen nur 3 Prozent der Aufgaben vollständig korrekt.

Das 3-Milliarden-Parameter-Modell VibeThinker schlägt deutlich größere Sprachmodelle bei speziellen Aufgaben durch verbesserte Reasoning-Techniken.

Ein praktischer Leitfaden zum Testen von Open-Source-KI-Modellen auf ihre Fähigkeit, autonome Agenten in realen Szenarien zu spielen.

Das chinesische Unternehmen Z.ai hat GLM-5.2 unter MIT-Lizenz freigegeben – ein 753-Milliarden-Parameter-Modell, das jetzt führend auf unabhängigen Benchmarks rangiert und sogar Claude im Coding schlägt.