Sampling bezeichnet das zufällige Ziehen des nächsten Tokens gemäß den Wahrscheinlichkeiten des Modells, statt stets das wahrscheinlichste zu nehmen — das macht Antworten vielfältiger.
Das Modell liefert für jedes mögliche nächste Token eine Wahrscheinlichkeit. Beim Sampling wird zufällig gezogen: Wahrscheinlichere Tokens werden öfter gewählt, aber auch seltenere kommen vor. So entstehen bei gleicher Eingabe unterschiedliche Ausgaben.
Wie breit die Auswahl streut, regeln die Temperatur sowie Verfahren wie Top-k (nur die k wahrscheinlichsten zulassen) oder Top-p (die wahrscheinlichsten, bis ein Anteil p erreicht ist). So balanciert man Vielfalt gegen Verlässlichkeit.
Gegenstück ist das Greedy Decoding, das immer das wahrscheinlichste Token nimmt und daher vorhersehbar, aber oft eintönig ist.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
