Das Kontextfenster ist die maximale Menge an Tokens, die ein Modell gleichzeitig im Blick hat (Eingabe plus Ausgabe) — der Arbeitsspeicher des Sprachmodells.
Alles, was ein Modell für eine Antwort berücksichtigen kann, muss ins Kontextfenster passen: die Frage, vorherige Gesprächsschritte, beigefügte Dokumente und die entstehende Antwort. Was nicht hineinpasst, existiert für das Modell nicht.
Der Rechenaufwand der Attention wächst stark mit der Länge, und der KV-Cache belegt Speicher. Daher hat jedes Modell ein festes Maximum — von einigen tausend bis zu mehreren Millionen Tokens bei neueren Modellen.
Bei langen Gesprächen oder großen Dokumenten 'vergisst' ein Modell den Anfang, sobald das Fenster überläuft. Techniken wie RAG oder Zusammenfassungen helfen, mit begrenztem Kontext umzugehen.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
