Verborgene Schicht

Lage im Netz

Ein Neuronales Netz besteht aus einer Eingabeschicht, die die Daten aufnimmt, einer Ausgabeschicht, die das Ergebnis liefert, und beliebig vielen Schichten dazwischen. Nur die äußeren beiden sind von außen sichtbar: Man kennt die Eingabe und liest die Ausgabe ab. Was in den Schichten dazwischen geschieht, wird nicht vorgegeben und nicht direkt abgelesen — daher der Name.

Zwischendarstellungen

Jede verborgene Schicht wandelt die Werte der vorigen Schicht in eine neue Darstellung um. Diese Darstellungen sind der eigentliche Ertrag des Lernens: Bei der Bilderkennung reagieren frühe Schichten auf Kanten, mittlere auf Formen und Objektteile, späte auf ganze Objekte. Niemand legt diese Stufen fest; sie entstehen im Training. Fachlich heißen die so gelernten Größen Feature.

Notwendigkeit

Ein Netz ganz ohne verborgene Schicht kann nur linear trennbare Aufgaben lösen. An dieser Grenze scheiterte das Perzeptron: Die XOR-Funktion lässt sich ohne Zwischenschicht nicht darstellen. Erst eine verborgene Schicht zusammen mit einer nichtlinearen Aktivierungsfunktion macht ein Netz zum universellen Näherungsverfahren: Mit genügend Neuronen lässt sich damit im Prinzip jede stetige Funktion beliebig genau annähern (universelles Approximationstheorem, Cybenko 1989).

Tiefe

Die Zahl der verborgenen Schichten ist genau das, was Deep Learning meint. Netze der 1980er- und 1990er-Jahre hatten meist eine; heutige Architekturen stapeln Dutzende bis Hunderte. Mehr Schichten erlauben abstraktere Merkmale, erschweren aber das Training — das Fehlersignal wird auf dem Rückweg durch viele Schichten schwächer (verschwindender Gradient).

Sprachgebrauch

Russell und Norvig verwenden in der deutschen Ausgabe „verborgene Schicht"; ebenso verbreitet ist der englische Ausdruck hidden layer. „Versteckte Schicht" kommt vor, ist aber seltener.