word2vec (2013) ordnet Wörter als Vektoren so an, dass ähnliche Bedeutungen räumlich nah beieinanderliegen — der Vorläufer moderner Embeddings.
word2vec lernt aus großen Textkorpora, welche Wörter in ähnlichen Zusammenhängen auftauchen. Wörter, die oft in gleicher Umgebung stehen ('Hund', 'Katze'), bekommen ähnliche Vektoren — Bedeutung wird zu Lage im Raum.
Weil Bedeutung zu Geometrie wird, lassen sich mit den Vektoren sogar Analogien rechnen: 'König − Mann + Frau' landet nahe bei 'Königin'. Das zeigte erstmals, dass ein Modell sprachliche Beziehungen erfasst.
word2vec machte Embeddings populär und ebnete den Weg zu allem, was heute auf Vektoren beruht — von semantischer Suche bis zu den Eingaberepräsentationen großer Sprachmodelle.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
