Parameter sind die lernbaren Gewichte eines Modells. Ihre Anzahl (etwa '8B' für 8 Milliarden) ist ein grobes Maß für Größe und Fähigkeit.
Was sie sind
Jede Verbindung im neuronalen Netz hat ein Gewicht — diese Gewichte sind die Parameter. Im Training werden sie justiert; zusammen bilden sie das gesamte 'Wissen' des Modells.
Was die Zahl aussagt
Mehr Parameter bedeuten tendenziell mehr Kapazität, aber auch mehr Speicher- und Rechenbedarf. Die Zahl allein sagt jedoch nicht alles: Datenqualität, Architektur und Training entscheiden mit — ein gut trainiertes kleineres Modell kann ein größeres schlagen.
Bezug zur Praxis
Weil große Parameterzahlen viel Speicher fordern, macht Quantisierung Modelle durch sparsamere Speicherung der Parameter auf bescheidener Hardware lauffähig.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
