Ein Embedding ist die Darstellung von Text (oder Bildern, Audio) als Vektor aus Zahlen, der Bedeutung einfängt: Inhaltlich Ähnliches liegt im Vektorraum nah beieinander.
Ein Embedding ordnet jedem Stück Inhalt einen Punkt in einem hochdimensionalen Raum zu. Die Lage ist nicht zufällig: 'Arzt' und 'Ärztin' liegen nah, 'Banane' weit weg. So wird semantische Ähnlichkeit messbar — als Abstand zwischen Punkten.
Embeddings sind die Grundlage semantischer Suche (finde inhaltlich Passendes, nicht nur Wortgleiches) und von RAG. Auch in Sprachmodellen werden Tokens zunächst in Embeddings übersetzt, bevor sie verarbeitet werden.
Ein Modell lernt Embeddings aus großen Datenmengen. Frühe Verfahren wie word2vec erzeugten ein festes Embedding pro Wort; moderne Modelle berechnen sie kontextabhängig — dasselbe Wort kann je nach Satz anders eingebettet werden.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
