Unter Generalisierung versteht man die Fähigkeit eines Modells, auf neuen, im Training nicht gesehenen Daten zu funktionieren — das eigentliche Ziel jedes Lernverfahrens.
Ein Modell soll nicht die Trainingsdaten wiedergeben, sondern die dahinterliegende Regelmäßigkeit erfassen. Ob das gelungen ist, zeigt sich erst an Daten, die im Training nicht vorkamen. Deshalb ist ein niedriger Trainingsfehler für sich genommen keine Aussage über die Güte eines Modells — er lässt sich immer erreichen, notfalls durch Auswendiglernen.
Um Generalisierung zu prüfen, werden die verfügbaren Daten aufgeteilt: Die Trainingsdaten dienen dem Lernen, die Validierungsdaten der Einstellung der Hyperparameter, die Testdaten der abschließenden Bewertung und werden bis dahin nicht angefasst. Die Differenz zwischen Trainings- und Testfehler heißt Generalisierungslücke. Bei knappen Datenmengen wird stattdessen kreuzvalidiert: Die Daten werden mehrfach unterschiedlich aufgeteilt und die Ergebnisse gemittelt.
Generalisierung misslingt auf zwei Weisen. Beim Overfitting ist das Modell zu genau an die Trainingsdaten angepasst und hat auch deren Zufälligkeiten und Rauschen mitgelernt. Beim Underfitting (deutsch Unteranpassung) ist es zu einfach, um die Struktur überhaupt abzubilden, und liegt schon im Training daneben. Dazwischen liegt der brauchbare Bereich; die zugehörige Abwägung zwischen systematischem Fehler und Streuung heißt Bias-Varianz-Dilemma.
Gegen mangelnde Generalisierung helfen mehr und vielfältigere Trainingsdaten, künstliche Datenerweiterung (Spiegeln, Zuschneiden, Verrauschen), Regularisierung, das Ausschalten zufälliger Neuronen während des Trainings (Dropout) und der rechtzeitige Trainingsabbruch, sobald der Validierungsfehler wieder steigt.
Bei LLM ist die Prüfung schwieriger, weil die Trainingskorpora einen großen Teil des öffentlich verfügbaren Textes umfassen. Ein guter Wert auf einem Benchmark kann echte Generalisierung anzeigen — oder darauf beruhen, dass die Testfragen im Training enthalten waren (Datenkontamination). Deshalb werden zunehmend Benchmarks verwendet, die nach dem Trainingsstichtag entstanden sind.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
