Benchmarks & Evals

Andon Labs zeigt, wie man robuste Benchmark-Suites für Claude und andere Frontier-Modelle von Grund auf entwickelt.

Neues Benchmark-Dataset für die Evaluierung von KI-Agenten über drei Domänen mit über 100 Tools und realistischen Szenarien.

Ideogram veröffentlicht sein Text-zu-Bild-Modell 4.0 als Open-Weight-Modell mit 2K-Auflösung und präziser Textdarstellung – führend unter offenen Systemen.

Das neue chinesische Modell MiniMax M3 verspricht überlegene Coding-Performance, 1 Million Token Context und sensationelle Preise – ein Hands-on-Test mit ehrlicher Einordnung.

Ein bekanntes Benchmark-System für Software-Engineering-KI-Modelle wird als obsolet erklärt – möglicherweise weil neue Systeme es übertroffen haben.

Nvidias Nemotron 3 Ultra ist laut Artificial Analysis das stärkste offene KI-Modell aus den USA und verfügt über 550 Milliarden Parameter.