Der Decoder ist der Teil eines Transformers, der Token für Token neuen Text erzeugt. GPT-artige Sprachmodelle bestehen nur aus Decodern.
Ein Decoder sagt fortlaufend das nächste Token voraus und hängt es an das bereits Erzeugte an. Anders als der Encoder darf er nur nach links schauen (auf das schon Geschriebene) — sonst sähe er beim Training bereits, was als Nächstes kommt.
Weil sich viele Aufgaben als Textfortsetzung formulieren lassen — Fragen beantworten, übersetzen, zusammenfassen — sind reine Decoder-Modelle (die GPT-Familie, Claude) zur Grundform heutiger LLMs geworden.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
