Quantisierung verkleinert ein Modell, indem seine Parameter mit weniger Bits gespeichert werden (etwa Q4 = 4 Bit) — das spart Speicher, bei meist geringem Qualitätsverlust.
Standardmäßig werden Gewichte mit 16 oder 32 Bit gespeichert. Quantisierung rundet sie auf gröbere Stufen mit z. B. 8 oder 4 Bit. Das Modell wird dadurch deutlich kleiner und schneller, weil weniger Daten bewegt werden müssen.
Die gröbere Speicherung kostet etwas Genauigkeit — bei moderater Quantisierung ist der Verlust meist klein, bei sehr starker wächst er. Es ist eine Abwägung zwischen Größe und Güte.
Quantisierung macht große Modelle auf Laptops, Handys oder günstigen Servern überhaupt erst lauffähig. Formate wie GGUF speichern Modelle direkt quantisiert.
Der Begriff bezeichnet zwei verwandte, aber verschiedene Dinge. Beim Speicherformat geht es darum, wie viele Bits ein Parameter im Speicher belegt — das entscheidet, ob ein Modell auf eine vorhandene GPU passt. Beim Rechenformat geht es darum, in welcher Genauigkeit das Rechenwerk die Multiplikationen ausführt; gebräuchlich sind hier FP16, BF16, FP8 und FP4. Beides hängt zusammen, fällt aber nicht zusammen: Ein Modell kann in 4 Bit gespeichert und für die Rechnung wieder in ein größeres Format entpackt werden.
Für Leistungsangaben ist die Unterscheidung wesentlich. Weil ein Rechenwerk pro Takt umso mehr Werte verarbeitet, je kompakter das Format ist, steigt die genannte FLOPS-Zahl mit jedem Halbieren der Bitbreite, ohne dass die Hardware schneller geworden wäre. Eine Angabe ohne genanntes Rechenformat ist deshalb nicht vergleichbar.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
