Alibaba
Alle gespeicherten Werte, nach Themengebiet gruppiert. Das Leaderboard zeigt je Ansicht nur einen davon.
| Benchmark | Wert | Gemessen | Quelle |
|---|---|---|---|
| MMLU-Pro Schwerere MMLU-Variante mit 10 Antwort-Optionen statt 4. | 82.4 | 12.09.2026 | Beleg |
| AA Intelligence Index Aggregat von Artificial Analysis aus 7+ Benchmarks (MMLU-Pro, GPQA, HLE, LiveCodeBench, AIME, TerminalBench-Hard, Tau2). | 11.2 | 12.09.2026 | Beleg |
| Benchmark | Wert | Gemessen | Quelle |
|---|---|---|---|
| GPQA Diamond 198 Graduate-level Bio/Physik/Chemie-Fragen, leak-protected. | 75.9 | 12.09.2026 | Beleg |
| LCR Long-Context-Reasoning-Benchmark (langer Kontext + Logik). | 63.7 | 12.09.2026 | Beleg |
| Humanity's Last Exam 2158 Multi-Domain-Fragen, eine der schwersten Suiten. | 12.6 | 12.09.2026 | Beleg |
| Benchmark | Wert | Gemessen | Quelle |
|---|---|---|---|
| LiveCodeBench Code-Generation, leak-resistent durch laufende Aktualisierung. | 78.4 | 12.09.2026 | Beleg |
| SciCode Wissenschafts-Codierungsaufgaben (Physik/Chemie/Bio). | 38.8 | 04.09.2026 | Beleg |
| AA Coding Index Aggregat aus LiveCodeBench, Tau2 und SciCode. Coding-spezifisches Pendant zum Intelligence-Index. | 17.4 | 12.09.2026 | Beleg |
| Benchmark | Wert | Gemessen | Quelle |
|---|---|---|---|
| IFBench Instruction-Following-Benchmark (Befolgen komplexer Vorgaben). | 60.7 | 12.09.2026 | Beleg |
| TAU2 Tool-/Agent-Use-Benchmark Variante 2. | 41.5 | 12.09.2026 | Beleg |
| Terminal-Bench 2.0 Terminal-basierte Agent-Aufgaben (SysAdmin + Coding). | 9.8 | 12.09.2026 | Beleg |
| Terminal-Bench 2.1 Terminal-basierte Agent-Aufgaben, neuere Fassung neben 2.0. | 6.7 | 12.09.2026 | Beleg |
| TAU Banking Tool-/Agent-Use im Banking-Szenario. | 6.2 | 12.09.2026 | Beleg |
| Benchmark | Wert | Gemessen | Quelle |
|---|---|---|---|
| AIME 2026 American Invitational Math Examination 2026. | 84.3 | 12.09.2026 | Beleg |
| AA Math Index Aggregat aus AIME-25 und MATH-500. | 84.3 | 12.09.2026 | Beleg |
Wie viel Videospeicher das Modell je Quantisierung belegt — die Größe entscheidet, ob es auf eine vorhandene Grafikkarte passt.