Mistral
Europäische Alternative; gute multilingual coverage, schwächer bei Code als US-Konkurrenz.
Alle gespeicherten Werte, nach Themengebiet gruppiert. Das Leaderboard zeigt je Ansicht nur einen davon.
| Benchmark | Wert | Gemessen | Quelle |
|---|---|---|---|
| MMLU 57 Faecher Multiple-Choice. Saturiert (Top alle ~88-90). | 84.5 | — | Beleg |
| MMLU-Pro Schwerere MMLU-Variante mit 10 Antwort-Optionen statt 4. | 80.7 | 12.09.2026 | Beleg |
| AA Intelligence Index Aggregat von Artificial Analysis aus 7+ Benchmarks (MMLU-Pro, GPQA, HLE, LiveCodeBench, AIME, TerminalBench-Hard, Tau2). | 9.7 | 12.09.2026 | Beleg |
| Benchmark | Wert | Gemessen | Quelle |
|---|---|---|---|
| GPQA Diamond 198 Graduate-level Bio/Physik/Chemie-Fragen, leak-protected. | 68.0 | 12.09.2026 | Beleg |
| LCR Long-Context-Reasoning-Benchmark (langer Kontext + Logik). | 36.0 | 12.09.2026 | Beleg |
| Humanity's Last Exam 2158 Multi-Domain-Fragen, eine der schwersten Suiten. | 4.2 | 12.09.2026 | Beleg |
| Benchmark | Wert | Gemessen | Quelle |
|---|---|---|---|
| LiveCodeBench Code-Generation, leak-resistent durch laufende Aktualisierung. | 46.5 | 12.09.2026 | Beleg |
| SciCode Wissenschafts-Codierungsaufgaben (Physik/Chemie/Bio). | 36.6 | 12.09.2026 | Beleg |
| AA Coding Index Aggregat aus LiveCodeBench, Tau2 und SciCode. Coding-spezifisches Pendant zum Intelligence-Index. | 20.1 | 12.09.2026 | Beleg |
| Benchmark | Wert | Gemessen | Quelle |
|---|---|---|---|
| IFBench Instruction-Following-Benchmark (Befolgen komplexer Vorgaben). | 36.2 | 12.09.2026 | Beleg |
| TAU2 Tool-/Agent-Use-Benchmark Variante 2. | 24.6 | 12.09.2026 | Beleg |
| Terminal-Bench 2.0 Terminal-basierte Agent-Aufgaben (SysAdmin + Coding). | 15.9 | 12.09.2026 | Beleg |
| Terminal-Bench 2.1 Terminal-basierte Agent-Aufgaben, neuere Fassung neben 2.0. | 12.0 | 12.09.2026 | Beleg |
| TAU Banking Tool-/Agent-Use im Banking-Szenario. | 5.8 | 12.09.2026 | Beleg |
| AA Agentic Index Aggregat aus GDPval-AA und Tau-Banking fuer agentische Arbeit (Werkzeugnutzung, Planung, Autonomie). Kommt vom Free-Endpoint und deckt nur einen Teil der Modelle ab. | 2.4 | 12.09.2026 | Beleg |
| Benchmark | Wert | Gemessen | Quelle |
|---|---|---|---|
| AIME 2026 American Invitational Math Examination 2026. | 38.0 | 12.09.2026 | Beleg |
| AA Math Index Aggregat aus AIME-25 und MATH-500. | 38.0 | 12.09.2026 | Beleg |
| Einheit | USD | Anbieter | Stand | Quelle |
|---|---|---|---|---|
| USD pro 1 Mio Input-Tokens | 0,50 | Artificial Analysis (median) | 12.09.2026 | Beleg |
| USD pro 1 Mio Input-Tokens | 2,00 | (initial YAML) | 20.03.2026 | Beleg |
| USD pro 1 Mio Output-Tokens | 1,50 | Artificial Analysis (median) | 12.09.2026 | Beleg |
| USD pro 1 Mio Output-Tokens | 6,00 | (initial YAML) | 20.03.2026 | Beleg |