Benchmarks & Evals

Googles neues Frontier-Modell dominiert unabhängige Evaluationen und wird anfangs nur vertrauenswürdigen Verteidigern im Cyber-Sektor zugänglich gemacht.

Google DeepMind stellt Gemini 4 Carbon vor – ein Spitzenmodell für langwierige Agent-Workflows und Cyberabwehr, das sofort im Benchmark-Ranking führt.

Der überarbeitete Ranking-Index von Artificial Analysis zeigt eine wachsende Leistungskluft zwischen proprietären und Open-Source-Modellen.

Eine neue Studie untersucht, ob Sprachmodelle zuverlässig bewerten können, ob Forschungsideen tatsächlich innovativ sind.

Kimi 3.1 Pro mit 104 Milliarden Parametern soll Fable-5.1-Niveau erreichen und die Lücke zu geschlossenen Modellen auf etwa einen Monat verkürzen.

KI-Modelle lösen zunehmend komplexere mathematische Probleme, und Forscher erkennen Muster, die vorhersagen könnten, welche Aufgaben als nächstes gemeistert werden.

IBM präsentiert eine Ensemble-Methode für seine Granite-Modelle zur verbesserten Vorhersage von Zeitreihen-Daten.

Inception präsentiert Mercury 3 als schnellstes Diffusions-Sprachmodell – Anspruch: vier- bis achtfach schneller, schlägt GPT-6 Luna in acht von zwölf Benchmarks.

Während KI-Fähigkeiten gleicher werden, kämpfen Unternehmen um Unterscheidung durch Charakter und Persönlichkeit statt reine Rechenpower.

Ein Vergleichstest zeigt, dass die neue DeepSeek-Flash-Version 1017 beim Konvertieren von Grundrissen in 3D-Wohnungen schlechter abschneidet als das Vorgängermodell – weil sie weniger Zeit für die Bildanalyse investiert.

DeepSeek bewirbt sein Update V4.1 Flash 1017 mit kürzeren Antworten, doch ein praktischer Test zeigt das Gegenteil: Das neue Modell schreibt etwa 8 % mehr Text als die Vorgängerversion.

ElevenLabs lanciert Modelle für Echtzeitsprach-Umwandlung mit unter 0,6 Sekunden Latenz und Top-Benchmark-Leistung.

Ein spezialisiertes System mit gelernen Memory-Mechanismen erreicht Top-Rankings in Kundenservice-Benchmarks ohne auf große Frontier-Modelle angewiesen zu sein.

Inceptions neues Diffusion-LLM Mercury 3 soll über 1.000 Token pro Sekunde verarbeiten – ein Hands-on-Test zeigt, wie es gegen etablierte Modelle abschneidet und wie schnell die Technologie wirklich ist.

MiniMax präsentiert M3.1 Flash – ein Reasoning-Modell, das DeepSeek übertrifft, aber zum halben Preis angeboten wird und damit den Preiswettbewerb bei KI-Modellen weiter verschärft.

Ein Viral-Video behauptet, Gemini 4 Argon könne nur starre Figuren erzeugen – eigene Tests widerlegen das und zeigen interessante Unterschiede zwischen Google und Anthropics Modellen bei 3D-Generierung.

Ein Praktiker hat DeepSeek V4.1 Flash 1017 in 60 direkten Tests gegen die alte Version verglichen und prüft, ob die versprochenen Verbesserungen halten.

Ein neuer Benchmark zeigt: Selbst fortgeschrittene KI-Modelle scheitern bei strategischen Langzeit-Entscheidungen – auch GPT-5.6 Sol wählt bei einfachen Abwägungen nur zu 60 Prozent richtig.

Google Deepminds neues Modell Gemini 4 Argon erreicht im ARC-AGI-3-Benchmark 97,5 Prozent – doch die Leistung schwankt stark je nach Test-Setup.

Googles neues Robotik-Modell Gemini 4 Argon soll Roboter steuern, Simulationen aus Bildern und Skizzen erstellen und Trainingsvideos bewerten, erreicht aber im eigenen Benchmark nur mit erheblichem Prompt-Engineering seine Ergebnisse.