BERT (2018) ist ein einflussreiches Encoder-Modell, das Text beidseitig betrachtet — links und rechts vom Wort. Es ist stark im Verstehen, nicht im freien Erzeugen von Text.
Was es besonders machte
BERT (von Google) wurde darauf trainiert, im Text maskierte Wörter zu erraten — und durfte dabei den Kontext von beiden Seiten nutzen. Dieses beidseitige Lesen gab ihm ein tieferes Sprachverständnis als frühere Modelle, die nur in eine Richtung lasen.
Wozu man es nutzt
BERT glänzt bei Verstehens-Aufgaben: Suche, Klassifikation, Bedeutungen vergleichen. Es erzeugt keinen fließenden Text — es ist ein reiner Encoder und steht damit für die andere Hälfte der Transformer-Welt neben den generativen Decoder-Modellen wie GPT.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
