Benchmarks & Evals

Neues Benchmark-Dataset für die Evaluierung von KI-Agenten über drei Domänen mit über 100 Tools und realistischen Szenarien.

Ideogram veröffentlicht sein Text-zu-Bild-Modell 4.0 als Open-Weight-Modell mit 2K-Auflösung und präziser Textdarstellung – führend unter offenen Systemen.

Das neue chinesische Modell MiniMax M3 verspricht überlegene Coding-Performance, 1 Million Token Context und sensationelle Preise – ein Hands-on-Test mit ehrlicher Einordnung.

Ein bekanntes Benchmark-System für Software-Engineering-KI-Modelle wird als obsolet erklärt – möglicherweise weil neue Systeme es übertroffen haben.

Nvidias Nemotron 3 Ultra ist laut Artificial Analysis das stärkste offene KI-Modell aus den USA und verfügt über 550 Milliarden Parameter.

Führende KI-Suchagenten recherchieren auf etablierten Benchmarks kaum wirklich – sie bestätigen mit Websuche vor allem ihr bereits vorhandenes Trainings-Wissen.

DeepSWE-Benchmark offenbart Leistungslücken bei komplexen Coding-Aufgaben, während Tokenknappheit und Finanzierungsdruck das Marktmodell unter Druck setzen.