Der Artikel kritisiert, dass aggregierte Benchmark-Indizes (wie der Artificial Analysis Index) wichtige Unterschiede zwischen KI-Modellen verschleiern. Der Autor schlägt stattdessen vor, gezielt fünf spezialisierte Benchmarks zu nutzen: Terminal-Bench v4.0 für reines Agentic Coding, APEX Agents für Knowledge-Worker-Aufgaben, AutomationBench für Domain-Vielfalt und Alignment, AA-Omniscience für Halluzinationen und DeepSWE v1.1 für realistische Software-Engineering-Prompts. Der zentrale Punkt: Modell-Auswahl ist dreidimensional (Performance, Kosten, Geschwindigkeit), und echte Varianz in den Benchmarks offenbart Alpha, den standardisierte Indizes verstecken. Das ist relevant für alle, die KI-Agenten produktiv einsetzen.
