Fine-Tuning bedeutet, ein vortrainiertes Modell mit zusätzlichen, spezifischen Daten nachzutrainieren, um es auf eine Aufgabe oder einen Stil zu spezialisieren.
Die Idee
Ein großes Modell von Grund auf zu trainieren ist enorm teuer. Beim Fine-Tuning nimmt man ein bereits fähiges Modell und trainiert es mit einer vergleichsweise kleinen, gezielten Datenmenge weiter — so erbt es das allgemeine Können und lernt obendrauf das Spezielle.
Wofür man es nutzt
Etwa um einen festen Ton zu treffen, ein Fachgebiet zu vertiefen oder ein bestimmtes Ausgabeformat zuverlässig zu liefern. Sparsame Varianten (z. B. LoRA) ändern nur wenige Zusatz-Parameter statt des ganzen Modells.
Abgrenzung zu RAG
Fine-Tuning ändert die Gewichte und backt Wissen oder Verhalten fest ein. RAG dagegen lässt das Modell unverändert und reicht Wissen erst zur Laufzeit in den Prompt. Für aktuelles Faktenwissen ist meist RAG die bessere Wahl, für Stil und Verhalten das Fine-Tuning.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
