Ein LSTM ist ein rekurrentes neuronales Netz, das Sequenzen Schritt für Schritt liest und dabei ein Gedächtnis mitführt. Vor den Transformern war es der Standard für Text.
Text und Sprache sind Folgen, bei denen frühe Teile spätere beeinflussen. Klassische Netze haben kein Gedächtnis. Rekurrente Netze (RNNs) reichen einen Zustand von Schritt zu Schritt weiter — verlieren über lange Folgen jedoch Information.
Das LSTM (1997) führt eine Gedächtniszelle mit 'Toren' ein, die steuern, was behalten, vergessen und ausgegeben wird. So bewahrt es Information über viele Schritte hinweg — etwa den Satzanfang bis zum Satzende.
LSTMs verarbeiten Sequenzen zwangsläufig nacheinander, was langsam ist und sehr lange Abhängigkeiten weiter schwierig macht. Der Transformer (2017) löste das mit Attention, die alle Positionen parallel betrachtet — seither spielen LSTMs in der Textverarbeitung kaum noch eine Rolle.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
