Der Decoder ist der Teil eines Transformers, der Token für Token neuen Text erzeugt. GPT-artige Sprachmodelle bestehen nur aus Decodern.
Aufgabe
Ein Decoder sagt fortlaufend das nächste Token voraus und hängt es an das bereits Erzeugte an. Anders als der Encoder darf er nur nach links schauen (auf das schon Geschriebene) — sonst könnte er beim Training spicken, was als Nächstes kommt.
Warum er heute dominiert
Weil sich erstaunlich viele Aufgaben als 'sage den Text fort' formulieren lassen — Fragen beantworten, übersetzen, zusammenfassen — sind reine Decoder-Modelle (die GPT-Familie, Claude) zur Grundform heutiger LLMs geworden.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
