Instruction Tuning ist das Nachtrainieren eines Basismodells auf Anweisung-Antwort-Paaren, damit es Instruktionen befolgt, statt Text bloß fortzusetzen.
Ein Foundation Model setzt Text fort — es hat nie gelernt, dass eine Frage eine Antwort verlangt und eine Anweisung ihre Ausführung.
Man trainiert es überwacht (Supervised Fine-Tuning, kurz SFT) auf zehntausenden Beispielen der Form 'Anweisung → gute Antwort': Erkläre dies, fasse das zusammen, schreibe jenes. Das Modell lernt das Befolgen von Anweisungen als Muster: Frage erkennen, Antwort liefern, Aufgabe ausführen.
Die 'Instruct'- oder 'Chat'-Variante eines Modells: Sie führt Dialoge, folgt Formatvorgaben und nimmt Rollen an. Die meisten Modelle, mit denen man im Alltag spricht, sind genau solche Varianten.
Instruction Tuning ist die zweite von drei Trainingsstufen (Pretraining → Instruction Tuning → RLHF) und technisch ein Spezialfall des Fine-Tunings.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
