Die Belohnung (englisch reward) ist das Rückmeldesignal im bestärkenden Lernen: eine Zahl, die dem handelnden System sagt, wie gut die letzte Handlung war. Das Lernziel ist die über die Zeit summierte Belohnung.
Überwachtes Lernen setzt zu jedem Beispiel die korrekte Lösung voraus. Bestärkendes Lernen hat sie nicht: Das System erfährt nur, ob eine Handlung sich gelohnt hat, nicht, welche Handlung richtig gewesen wäre. Aus vielen solchen Rückmeldungen muss es selbst erschließen, welches Verhalten sich auszahlt.
Maximiert wird nicht die einzelne Belohnung, sondern ihre Summe über den weiteren Verlauf. Spätere Belohnungen werden dabei üblicherweise geringer gewichtet als frühe — der Faktor dafür heißt Diskontierungsfaktor. Das hält die Summe bei unbegrenzt langem Verlauf endlich und bildet ab, dass ein sicherer Gewinn heute mehr wert ist als ein unsicherer später.
Die zentrale Schwierigkeit ist die zeitliche Lücke: Ein Zug im Schach entscheidet die Partie vielleicht dreißig Züge später. Welcher Handlung ein Erfolg zuzuschreiben ist, muss das Verfahren erst ermitteln — dieses Problem trägt den Namen Credit Assignment.
Wer eine Belohnung festlegt, legt das Ziel fest. Eine ungeschickt gewählte Funktion führt zu Verhalten, das die Zahl maximiert, aber die Absicht verfehlt — ein Reinigungsroboter, der für aufgesammelten Schmutz belohnt wird, könnte Schmutz verteilen, um ihn erneut aufzusammeln. Diese Fehlerklasse ist der praktische Kern des Alignment-Problems. Beim RLHF stammt das Belohnungssignal aus menschlichen Bewertungen: Ein eigenes Modell lernt, menschliche Präferenzen vorherzusagen, und liefert damit die Belohnung.
Russell und Norvig verwenden in der deutschen Ausgabe „Belohnung"; im Fachgespräch ist ebenso der englische Ausdruck reward üblich.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
