Unter Overfitting (deutsch Überanpassung) versteht man, dass ein Modell seine Trainingsdaten auswendig lernt, statt zu verallgemeinern — es schneidet im Training gut ab, versagt aber bei neuen Daten.
Der Fehler auf den Trainingsdaten sinkt immer weiter, aber auf zurückgehaltenen Testdaten steigt er wieder. Genau deshalb trennt man Daten in Trainings- und Testmenge: Nur die Leistung auf ungesehenen Daten zählt.
Ein Modell mit viel Kapazität kann sich statt der allgemeinen Regel auch die Eigenheiten und das Rauschen der Trainingsbeispiele merken — vor allem, wenn die Daten knapp oder einseitig sind oder zu lange trainiert wird.
Mehr und vielfältigere Daten, früher aufhören zu trainieren, Regularisierung (die Modellkomplexität gezielt begrenzen) — und ehrliche Messung auf Daten, die das Modell nie gesehen hat.
Auch LLMs können Trainingstexte wörtlich memorieren. Ein verwandter Effekt ist die Benchmark-Kontamination: Stand der Test im Trainingsmaterial, misst der gute Wert nur Auswendiggelerntes.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
