Entropie

Die Grundidee

Ein sicherer Ausgang trägt keine Information: Wer weiß, dass die Münze auf Kopf fällt, erfährt durch den Wurf nichts. Je unsicherer der Ausgang, desto mehr Information steckt in seiner Mitteilung. Die Entropie fasst das in eine Zahl — den mittleren Informationsgehalt, gemessen in Bit.

Ein Beispiel

Eine faire Münze hat die Entropie 1 Bit: Zwei gleich wahrscheinliche Ausgänge, ein Bit genügt zur Mitteilung. Eine Münze, die zu 90 Prozent Kopf zeigt, hat rund 0,47 Bit — der Ausgang ist meist schon vorher klar. Eine Münze, die immer Kopf zeigt, hat 0 Bit. Das Maximum liegt stets bei der Gleichverteilung.

Verwendung beim Lernen

Entropie liefert das Auswahlkriterium beim Aufbau von Entscheidungsbäumen. Geprüft wird für jedes Merkmal, wie stark die Ungewissheit über die Zielgröße sinkt, wenn man danach aufteilt; diese Differenz heißt Informationsgewinn, und das Merkmal mit dem größten Gewinn kommt an die Verzweigung.

Kreuzentropie

Die in der Praxis häufigste Anwendung ist die Cross-Entropy: Sie misst nicht die Ungewissheit einer einzelnen Verteilung, sondern den Abstand zwischen zwei — der vorhergesagten und der tatsächlichen. Als Verlustfunktion ist sie der Standard bei der Klassifikation und beim Training von Sprachmodellen.

Perplexität

Ein Sprachmodell lässt sich über die Perplexität bewerten. Sie ist die potenzierte Kreuzentropie und lässt sich als effektive Zahl der Wörter lesen, zwischen denen das Modell an jeder Stelle im Mittel schwankt. Ein niedrigerer Wert bedeutet ein sichereres Modell.