Prefill bezeichnet die erste Phase der Inferenz, in der das Modell den gesamten Eingabetext auf einmal verarbeitet, bevor es das erste Token seiner Antwort erzeugt.
Wenn ein Sprachmodell antwortet, geschieht das in zwei ungleichen Abschnitten. Zuerst liest es die gesamte Eingabe, also Systemanweisung, bisherigen Verlauf und Frage, und berechnet daraus die Zwischenergebnisse, die im KV-Cache abgelegt werden. Das ist der Prefill. Erst danach folgt die Ausgabephase, in der ein Token nach dem anderen entsteht; sie wird zur Unterscheidung Decode-Phase genannt.
Beide Phasen beanspruchen den Rechner verschieden. Der Prefill verarbeitet alle Eingabe-Token gleichzeitig und ist dadurch rechenlastig: Er lastet die Recheneinheiten aus und wird schneller, wenn deren Leistung steigt. Die Decode-Phase erzeugt Token einzeln und wartet dabei überwiegend auf den Speicher; dort begrenzt die Speicherbandbreite, nicht die Rechenleistung.
Die Dauer des Prefill bestimmt, wie lange es bis zum ersten sichtbaren Zeichen dauert, und sie wächst mit der Länge der Eingabe. Bei kurzen Fragen fällt sie kaum ins Gewicht. Bei langen Eingaben, etwa wenn ein Agent den bisherigen Arbeitsverlauf, Dateiinhalte und Werkzeugausgaben mitschickt, kann der Prefill den größeren Teil der Wartezeit ausmachen.
Aus dem Unterschied folgt eine praktische Regel. Systeme mit viel Speicher, aber begrenzter Rechenleistung können große Modelle laden und liefern eine brauchbare Ausgabegeschwindigkeit, brauchen für lange Eingaben aber spürbar länger. Anwendungen mit kurzen Prompts merken davon wenig, agentische Anwendungen mit umfangreichem Kontext dagegen deutlich.
Der Begriff bezeichnet eine Phase im Betrieb und hat nichts mit dem Decoder der Transformer-Architektur zu tun, obwohl die zweite Phase Decode-Phase heißt. Verfahren wie Speculative Decoding setzen an dieser zweiten Phase an, nicht am Prefill.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
