Benchmarks & Evals

Ein neuer Benchmark misst, wie hilfreich und sicher KI-Systeme in realistische Gespräche zur psychischen Gesundheit reagieren.

UK AISI und EvalEval arbeiten zusammen, um Benchmark-Tests standardisierter und nachvollziehbar zu machen.

xAI stellt mit Grok 4.7 sein stärkstes Modell vor, das im Performance-Ranking aber nur Mittelfeld erreicht und bei Coding-Aufgaben deutlich schwächer als Konkurrenten abschneidet.

Ein Video-Test zeigt sieben Open-Source-Implementierungen von Jev-Modellen und bewertet deren Fähigkeiten anhand eines neuen Benchmarks.

Ein Hands-on-Test prüft, ob das ternäre Bonsai-2-Modell wirklich 98% der Leistung von Qwen 3.8 erreicht – mit Fokus auf Inferenzgeschwindigkeit und agentengestützte Code-Generierung auf lokaler Hardware.

OpenAIs neues Flaggschiff-Modell GPT-6 zeigt beeindruckende Fähigkeiten bei extremen Kontextaufgaben – ein qualitativer Sprung bei der Needlein-a-Haystack-Benchmark.

Führende KI-Labore einigen sich auf einen gemeinsamen Standard zur Bewertung durch externe Evaluatoren – ein Schritt für mehr Transparenz und Vergleichbarkeit.

Ein praktischer Guide, welche fünf Benchmarks wirklich zählen, um Agentic-KI-Modelle richtig zu bewerten – jenseits von Leaderboard-Schlagzeilen.

Ein Benchmark-Test zeigt, dass das chinesische KI-Modell DeepSeek in der Ausführungsgeschwindigkeit deutlich schneller als Konkurrenten arbeitet.

Das chinesische KI-Labor AllSpark hat zwei offene Suchagenten-Modelle freigegeben, die in ihren Größenklassen führende Benchmark-Ergebnisse erreichen und nebenbei auch Werkzeugnutzung verbessern.

Schnellere Modelle, KI-gestützte Genomprädiktion und OpenAIs Fortschritt bei mathematischen Beweisen prägen die KI-Woche.

OpenAIs GPT-6 Astra übertrifft erstmals in allen Drohnenaufgaben die menschliche Leistung und verdient als autonomer Händler deutlich mehr als Konkurrenten – wirft aber Fragen zu Überwachung und KI-Ethik auf.

Ein Test zeigt: DeepSeeks Modell kann komplexe räumliche Probleme wie Rubik's Cube nicht zuverlässig lösen.

OpenAIs GPT-6 Astra zeigt beeindruckende Fähigkeiten beim räumlichen Verständnis und löst als erstes Modell komplexe Robotik-Tasks mit zweiarmigen Systemen.

Anthropics neues Modell Claude Fable 5.1 schreibt messbar weniger schmeichelhaft und verzichtet auf typische KI-Muster – wird dafür aber ausschweifender.

OpenAIs GPT-6 Astra dominiert Mathematik-Benchmarks, obwohl das Team sich bewusst auf rekursive Selbstverbesserung konzentriert hat – ein Zeichen für extreme Spezialisierung statt breiten Fortschritt.

OpenBMB stellt MiniCPM5-2B vor – ein hochoptimiertes 2-Milliarden-Parameter-Modell, das bei Agent-Tasks neue Benchmarks setzt.

Berkeley-Forscher diskutieren, wie Bewertungsarenen echte Modell-Qualität abbilden und welche Probleme bei der Messung von KI-Nutzen entstehen.

Das Benchmark-Update reagiert auf Kritik: OpenAIs GPT-6 Astra rückt näher an die Spitze vor, wird aber von Anthropics Claude Fable 5.1 übertroffen.

Ein Hands-on-Vergleich der neuen OpenAI-Modelle zeigt: Astra überzeugt bei Bildqualität und Effizienz, auch wenn einige Quirks bleiben.