Verlustfunktion

Zweck

Ein Lernverfahren braucht ein Maß dafür, wie gut es gerade ist. Die Verlustfunktion liefert es: Sie vergleicht die Ausgabe des Modells mit der erwünschten Ausgabe und gibt einen Zahlenwert zurück — je größer, desto schlechter. Damit wird Lernen zu einem Optimierungsproblem: Gesucht sind die Gewichte, bei denen der Verlust am kleinsten ist.

Übliche Verlustfunktionen

Welche Funktion passt, hängt von der Aufgabe ab. Bei der Regression, wo eine Zahl vorhergesagt wird, nimmt man meist den mittleren quadratischen Fehler: die Abweichungen werden quadriert und gemittelt, wodurch große Fehler stärker ins Gewicht fallen. Bei der Klassifikation, wo eine Kategorie vorhergesagt wird, verwendet man die Kreuzentropie — sie bestraft nicht nur die falsche Wahl, sondern auch, wie zuversichtlich das Modell dabei war. Sprachmodelle werden über Cross-Entropy auf das jeweils nächste Token trainiert.

Verbindung zum Lernschritt

Die Verlustfunktion ist der Ausgangspunkt von Backpropagation: Vom Verlust aus wird rückwärts berechnet, welchen Anteil jedes Gewicht am Fehler hat. Der Gradientenabstieg verschiebt die Gewichte anschließend in die Richtung, die den Verlust verringert. Damit das möglich ist, muss die Verlustfunktion differenzierbar sein.

Regularisierung

Häufig wird der Verlustfunktion ein Zusatzterm beigefügt, der große Gewichte bestraft. Das Modell wird dadurch zu einfacheren Lösungen gedrängt, was Overfitting entgegenwirkt. Dieses Vorgehen heißt Regularisierung; bei Russell und Norvig steht dafür der Ausdruck Gewichtsabschwächung (englisch weight decay).

Abgrenzung

Der Verlust ist nicht dasselbe wie die Bewertungsgröße, die am Ende zählt. Trainiert wird auf eine differenzierbare Größe wie die Kreuzentropie; beurteilt wird das Modell danach oft an Genauigkeit, Trefferquote oder einem Benchmark — Maße, auf die sich nicht direkt optimieren lässt.