Eine Policy (deutsch Strategie) ist die Regel, die einem handelnden System sagt, welche Handlung es in welcher Situation ausführt. Sie ist das Ergebnis, das bestärkendes Lernen hervorbringt.
Eine Policy ordnet jedem Zustand der Umgebung eine Handlung zu. Sie ist damit das vollständige Verhalten des Systems: Wer die Policy kennt, weiß, was in jedem Zustand geschieht. Bestärkendes Lernen gibt sie nicht vor, sondern bringt sie hervor — Ziel des Trainings ist die Policy, die die summierte Belohnung maximiert.
Eine deterministische Policy nennt zu jedem Zustand genau eine Handlung. Eine stochastische gibt stattdessen Wahrscheinlichkeiten an und würfelt daraus. Das ist kein Mangel: Zufall im Verhalten ist nötig, um Neues auszuprobieren, und in Situationen mit Gegenspielern sogar die einzig sinnvolle Wahl — wer beim Schere-Stein-Papier vorhersagbar spielt, verliert.
Eine Policy, die immer die derzeit beste bekannte Handlung wählt, lernt nichts Neues mehr hinzu. Deshalb muss ein lernendes System zwischen dem Ausnutzen des Bekannten und dem Erkunden des Unbekannten abwägen — im Fachjargon Exploitation und Exploration. Ein einfaches Mittel ist, mit kleiner Wahrscheinlichkeit zufällig zu handeln.
Manche Verfahren lernen zuerst, wie wertvoll die einzelnen Zustände sind, und leiten die Policy daraus ab — dazu gehört das Q-Lernen. Andere passen die Policy unmittelbar an, ohne den Umweg über Wertschätzungen; diese Gruppe heißt Strategiesuche oder Policy-Gradient-Verfahren. Bei großen Zustandsräumen wird die Policy selbst durch ein Neuronales Netz dargestellt.
Im deutschen Fachgespräch ist „Policy" die gebräuchliche Form. Russell und Norvig übersetzen durchgehend mit „Strategie" (Strategie-Iteration, Strategiesuche); die 3. Auflage von 2012 schwankte noch zwischen „Strategie", „Taktik" und „Policy".
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
