Der Encoder ist der Teil eines Transformers, der eine Eingabe liest und in eine Bedeutungsrepräsentation verdichtet. Modelle wie BERT bestehen nur aus Encodern.
Aufgabe
Ein Encoder nimmt die ganze Eingabe auf einmal und wandelt sie in eine Folge von Vektoren um, die die Bedeutung im Kontext erfassen. Er darf dabei nach links und rechts schauen — jedes Token sieht den vollständigen Satz.
Wofür er gut ist
Dieses beidseitige Verstehen macht Encoder stark beim Einordnen von Text: Klassifikation, Stimmungsanalyse, Suche. Er erzeugt selbst keinen fließenden neuen Text — dafür ist der Decoder zuständig.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
