Benchmarks & Evals

Ein neues, skalierbares Evaluierungs-Framework ermöglicht standardisierte Benchmarks für Text-to-Speech-Systeme und Voice-Cloning-Technologien über mehrere Sprachen hinweg.

NVIDIA präsentiert Kumo Tabular, ein Modell das Genauigkeit und Recheneffizienz bei der Vorhersage auf Tabellendaten neu definiert.

Anthropic ergänzt die Claude-5.5-Familie um Sonnet 5.5 mit deutlich besserer Performance beim Coding – ein direkter Konkurrent zu OpenAIs GPT-6-Linie.

Ein neuer Benchmark misst, wie hilfreich und sicher KI-Systeme in realistische Gespräche zur psychischen Gesundheit reagieren.

UK AISI und EvalEval arbeiten zusammen, um Benchmark-Tests standardisierter und nachvollziehbar zu machen.

xAI stellt mit Grok 4.7 sein stärkstes Modell vor, das im Performance-Ranking aber nur Mittelfeld erreicht und bei Coding-Aufgaben deutlich schwächer als Konkurrenten abschneidet.

Ein Video-Test zeigt sieben Open-Source-Implementierungen von Jev-Modellen und bewertet deren Fähigkeiten anhand eines neuen Benchmarks.

Ein Hands-on-Test prüft, ob das ternäre Bonsai-2-Modell wirklich 98% der Leistung von Qwen 3.8 erreicht – mit Fokus auf Inferenzgeschwindigkeit und agentengestützte Code-Generierung auf lokaler Hardware.

OpenAIs neues Flaggschiff-Modell GPT-6 zeigt beeindruckende Fähigkeiten bei extremen Kontextaufgaben – ein qualitativer Sprung bei der Needlein-a-Haystack-Benchmark.

Führende KI-Labore einigen sich auf einen gemeinsamen Standard zur Bewertung durch externe Evaluatoren – ein Schritt für mehr Transparenz und Vergleichbarkeit.

Ein praktischer Guide, welche fünf Benchmarks wirklich zählen, um Agentic-KI-Modelle richtig zu bewerten – jenseits von Leaderboard-Schlagzeilen.

Ein Benchmark-Test zeigt, dass das chinesische KI-Modell DeepSeek in der Ausführungsgeschwindigkeit deutlich schneller als Konkurrenten arbeitet.

Das chinesische KI-Labor AllSpark hat zwei offene Suchagenten-Modelle freigegeben, die in ihren Größenklassen führende Benchmark-Ergebnisse erreichen und nebenbei auch Werkzeugnutzung verbessern.

Schnellere Modelle, KI-gestützte Genomprädiktion und OpenAIs Fortschritt bei mathematischen Beweisen prägen die KI-Woche.

OpenAIs GPT-6 Astra übertrifft erstmals in allen Drohnenaufgaben die menschliche Leistung und verdient als autonomer Händler deutlich mehr als Konkurrenten – wirft aber Fragen zu Überwachung und KI-Ethik auf.

Ein Test zeigt: DeepSeeks Modell kann komplexe räumliche Probleme wie Rubik's Cube nicht zuverlässig lösen.

OpenAIs GPT-6 Astra zeigt beeindruckende Fähigkeiten beim räumlichen Verständnis und löst als erstes Modell komplexe Robotik-Tasks mit zweiarmigen Systemen.

Anthropics neues Modell Claude Fable 5.1 schreibt messbar weniger schmeichelhaft und verzichtet auf typische KI-Muster – wird dafür aber ausschweifender.

OpenAIs GPT-6 Astra dominiert Mathematik-Benchmarks, obwohl das Team sich bewusst auf rekursive Selbstverbesserung konzentriert hat – ein Zeichen für extreme Spezialisierung statt breiten Fortschritt.

OpenBMB stellt MiniCPM5-2B vor – ein hochoptimiertes 2-Milliarden-Parameter-Modell, das bei Agent-Tasks neue Benchmarks setzt.