Trainingsdaten

Die Dreiteilung

Die verfügbaren Daten werden vor dem Training in drei getrennte Teile zerlegt.

• Die Trainingsmenge ist der Anteil, aus dem das Modell lernt; hier werden die Gewichte angepasst.
• Die Validierungsmenge dient dazu, während der Entwicklung zwischen Varianten zu wählen und die Hyperparameter einzustellen — etwa die Lernrate oder die Zahl der Schichten.
• Die Testmenge wird bis zum Schluss nicht angerührt und beantwortet genau einmal die Frage, wie gut das fertige Modell auf unbekannten Daten arbeitet.

Übliche Aufteilungen liegen bei etwa 70 zu 15 zu 15 Prozent, ohne dass diese Werte festgelegt wären.

Der Grund für die Trennung

Auf den Trainingsdaten ist ein Modell fast immer gut — notfalls, weil es sie auswendig gelernt hat. Erst unbekannte Daten zeigen, ob es die zugrunde liegende Regelmäßigkeit erfasst hat; genau das meint Generalisierung. Ein hoher Trainings- bei niedrigem Testerfolg ist das Kennzeichen von Overfitting.

Unberührtheit der Testmenge

Wer die Testmenge wiederholt zur Auswahl heranzieht, passt das Modell indirekt an sie an. Der Testwert wird dann zu optimistisch und verliert seine Aussagekraft. Deshalb die getrennte Validierungsmenge für alle Entscheidungen während der Entwicklung.

Kreuzvalidierung

Bei knappen Daten ist eine feste Aufteilung verschwenderisch. Stattdessen teilt man die Daten in k gleich große Teile, trainiert k-mal und nutzt jedes Mal einen anderen Teil zur Bewertung. Der Mittelwert der Durchgänge ist belastbarer als eine einzelne Aufteilung; das Verfahren heißt k-fache Kreuzvalidierung.

Datenqualität

Die Zusammensetzung der Trainingsdaten bestimmt, was ein Modell kann — und welche Verzerrungen es übernimmt. Sind bestimmte Gruppen oder Fälle unterrepräsentiert, schlägt sich das in den Vorhersagen nieder; dieser Zusammenhang ist der Kern des Themas Bias. Bei LLM kommt hinzu, dass Testfragen unbemerkt im Trainingskorpus enthalten sein können, was Benchmark-Ergebnisse entwertet (Datenkontamination).