Ein LSTM ist ein rekurrentes neuronales Netz, das Sequenzen Schritt für Schritt liest und dabei ein Gedächtnis mitführt. Vor den Transformern war es der Standard für Text.
Das Problem mit Sequenzen
Text und Sprache sind Folgen, bei denen frühe Teile spätere beeinflussen. Klassische Netze haben kein Gedächtnis. Rekurrente Netze (RNNs) reichen einen Zustand von Schritt zu Schritt weiter — verlieren aber bei langen Folgen schnell den Faden.
Die LSTM-Lösung
Das LSTM (1997) führt eine Gedächtniszelle mit 'Toren' ein, die steuern, was behalten, vergessen und ausgegeben wird. So bewahrt es Information über viele Schritte hinweg — etwa den Satzanfang bis zum Satzende.
Warum es abgelöst wurde
LSTMs verarbeiten Sequenzen zwangsläufig nacheinander, was langsam ist und sehr lange Abhängigkeiten weiter schwierig macht. Der Transformer (2017) löste das mit Attention, die alle Positionen parallel betrachtet — seither sind LSTMs für Text weitgehend Geschichte.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
