Fine-Tuning bedeutet, ein vortrainiertes Modell mit zusätzlichen, spezifischen Daten nachzutrainieren, um es auf eine Aufgabe oder einen Stil zu spezialisieren.
Ein großes Modell von Grund auf zu trainieren ist enorm teuer. Beim Fine-Tuning nimmt man ein bereits fähiges Modell und trainiert es mit einer vergleichsweise kleinen, gezielten Datenmenge weiter — so erbt es das allgemeine Können und lernt zusätzlich das Spezielle.
Etwa um einen festen Ton zu treffen, ein Fachgebiet zu vertiefen oder ein bestimmtes Ausgabeformat zuverlässig zu liefern. Sparsame Varianten (z. B. LoRA) ändern nur wenige Zusatz-Parameter statt des ganzen Modells.
Fine-Tuning ändert die Gewichte und verankert Wissen oder Verhalten dauerhaft im Modell. RAG dagegen lässt das Modell unverändert und reicht Wissen erst zur Laufzeit in den Prompt. Für aktuelles Faktenwissen ist meist RAG die bessere Wahl, für Stil und Verhalten das Fine-Tuning.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
