← Zurück zum Leaderboard

Llama 3.3 Nemotron Super 49B v1 (Reasoning)

NVIDIA

Open-Weights Text-LLM
Parameter
49B
Veröffentlicht
18.03.2025
Messwerte
14

Benchmarks

Alle gespeicherten Werte, nach Themengebiet gruppiert. Das Leaderboard zeigt je Ansicht nur einen davon.

Allgemein-Wissen

Benchmark Wert Gemessen Quelle
MMLU-Pro Schwerere MMLU-Variante mit 10 Antwort-Optionen statt 4. 78.5 12.09.2026 Beleg
AA Intelligence Index Aggregat von Artificial Analysis aus 7+ Benchmarks (MMLU-Pro, GPQA, HLE, LiveCodeBench, AIME, TerminalBench-Hard, Tau2). 8.9 12.09.2026 Beleg

Reasoning / Wissenschaft

Benchmark Wert Gemessen Quelle
GPQA Diamond 198 Graduate-level Bio/Physik/Chemie-Fragen, leak-protected. 64.3 12.09.2026 Beleg
LCR Long-Context-Reasoning-Benchmark (langer Kontext + Logik). 18.3 12.09.2026 Beleg
Humanity's Last Exam 2158 Multi-Domain-Fragen, eine der schwersten Suiten. 5.6 12.09.2026 Beleg

Coding / Engineering

Benchmark Wert Gemessen Quelle
SciCode Wissenschafts-Codierungsaufgaben (Physik/Chemie/Bio). 28.2 04.09.2026 Beleg
LiveCodeBench Code-Generation, leak-resistent durch laufende Aktualisierung. 27.7 12.09.2026 Beleg
AA Coding Index Aggregat aus LiveCodeBench, Tau2 und SciCode. Coding-spezifisches Pendant zum Intelligence-Index. 9.4 19.06.2026 Beleg

Agent / Tool-Use

Benchmark Wert Gemessen Quelle
IFBench Instruction-Following-Benchmark (Befolgen komplexer Vorgaben). 38.1 12.09.2026 Beleg
TAU2 Tool-/Agent-Use-Benchmark Variante 2. 26.9 12.09.2026 Beleg
Terminal-Bench 2.0 Terminal-basierte Agent-Aufgaben (SysAdmin + Coding). 0.0 12.09.2026 Beleg

Mathematik

Benchmark Wert Gemessen Quelle
MATH 12 500 Wettbewerbs-Mathematik-Probleme. 95.9 12.09.2026 Beleg
AA Math Index Aggregat aus AIME-25 und MATH-500. 54.7 12.09.2026 Beleg
AIME 2026 American Invitational Math Examination 2026. 54.7 12.09.2026 Beleg

Preise

Einheit USD Anbieter Stand Quelle
USD pro 1 Mio Input-Tokens 0,00 Artificial Analysis (median) 12.09.2026 Beleg
USD pro 1 Mio Output-Tokens 0,00 Artificial Analysis (median) 12.09.2026 Beleg

Speicherbedarf

Wie viel Videospeicher das Modell je Quantisierung belegt — die Größe entscheidet, ob es auf eine vorhandene Grafikkarte passt.

Variante Bedarf Quelle
Q4_K_M (Standard 4-bit) 27,6 GB geschätzt Beleg
Q5_K_M 32,5 GB geschätzt Beleg
Q8_0 48,5 GB geschätzt Beleg
BF16 (unquantisiert) 91,3 GB geschätzt Beleg