BERT (2018) ist ein einflussreiches Encoder-Modell, das Text beidseitig betrachtet — links und rechts vom Wort. Es ist stark im Verstehen, nicht im freien Erzeugen von Text.
BERT (von Google) wurde darauf trainiert, im Text maskierte Wörter zu erraten — und durfte dabei den Kontext von beiden Seiten nutzen. Dieses beidseitige Lesen gab ihm ein tieferes Sprachverständnis als frühere Modelle, die nur in eine Richtung lasen.
BERT eignet sich besonders für Verstehens-Aufgaben: Suche, Klassifikation, Bedeutungen vergleichen. Es erzeugt keinen fließenden Text — es ist ein reiner Encoder und steht damit für die andere Hälfte der Transformer-Welt neben den generativen Decoder-Modellen wie GPT.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
