In-Context Learning ist die Fähigkeit eines Sprachmodells, eine Aufgabe allein aus Beispielen oder Anweisungen im Prompt zu übernehmen — ohne dass seine Parameter verändert werden.
Ein Sprachmodell kann ein Aufgabenmuster übernehmen, das ihm erst zur Laufzeit gezeigt wird: Stehen im Prompt einige Beispiele der Form Eingabe → Ausgabe, wendet das Modell das Muster auf neue Fälle an. Die Parameter bleiben dabei unverändert — das 'Gelernte' lebt nur im Kontextfenster und ist nach der Sitzung wieder verschwunden.
In-Context Learning wurde mit GPT-3 (2020) als Fähigkeit großer Sprachmodelle bekannt: Sie war nicht eigens antrainiert, sondern stellte sich mit wachsender Modell- und Datengröße ein. Sie ist die Grundlage des Few-Shot-Promptings und ein Hauptgrund, warum sich viele Aufgaben heute ohne eigenes Training lösen lassen.
Beim Fine-Tuning wird das Modell tatsächlich nachtrainiert: Die Parameter ändern sich, das Gelernte bleibt dauerhaft. In-Context Learning ist flüchtig — dafür sofort, ohne Trainingsdaten und ohne Rechenaufwand einsetzbar.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
