Gradientenabstieg

Der Gradient

Der Gradient ist ein Vektor, der für jedes Gewicht angibt, wie stark und in welche Richtung sich der Verlust ändert, wenn man dieses Gewicht ein wenig verstellt. Er zeigt in die Richtung des steilsten Anstiegs. Weil der Fehler kleiner werden soll, geht das Verfahren in die Gegenrichtung — daher Abstieg.

Das Bild vom Tal

Man stellt sich die Verlustfunktion als Landschaft über dem Raum aller Gewichte vor: Jeder Punkt ist eine Gewichtskombination, die Höhe ist der Fehler. Gesucht ist der tiefste Punkt. Das Verfahren tastet nur die lokale Steigung ab und macht einen Schritt bergab. Diese Anschauung hat ihre Grenzen: Ein Netz mit Millionen Gewichten spannt keinen dreidimensionalen Raum auf.

Die Schrittweite

Wie weit ein Schritt geht, steuert die Lernrate (englisch learning rate), einer der wichtigsten Hyperparameter. Ist sie zu klein, dauert das Training übermäßig lange; ist sie zu groß, springt das Verfahren über das Minimum hinweg und der Fehler kann anwachsen statt sinken.

Stochastisch statt vollständig

Den Gradienten über den gesamten Datensatz zu berechnen, ist bei großen Datenmengen zu aufwendig. In der Praxis wird er deshalb auf einer zufälligen kleinen Stichprobe geschätzt, dem Minibatch. Das Ergebnis ist ungenauer, aber wesentlich schneller und in der Summe wirksamer; dieses Vorgehen heißt stochastischer Gradientenabstieg (SGD) und ist heute der Normalfall.

Lokale Minima

Das Verfahren findet nicht garantiert den tiefsten Punkt, sondern kann in einem Tal hängenbleiben, das nicht das tiefste ist. In der Praxis erweist sich das bei großen Netzen als weniger hinderlich als lange befürchtet. Verbreitete Erweiterungen wie Momentum oder Adam glätten die Schrittfolge und beschleunigen die Annäherung.

Einordnung

Backpropagation und Gradientenabstieg werden oft in einem Atemzug genannt, sind aber zwei Dinge: Backpropagation berechnet den Gradienten, der Gradientenabstieg nutzt ihn für den Schritt.