Eine Vektordatenbank speichert Embeddings (Vektoren) und findet blitzschnell die ähnlichsten dazu. Sie ist das Herzstück des Retrieval-Schritts bei RAG.
Wozu sie da ist
Klassische Datenbanken finden exakte Treffer ('alle Kunden in Berlin'). Eine Vektordatenbank findet inhaltlich Ähnliches: Zu einem Anfrage-Vektor liefert sie die nächstgelegenen gespeicherten Vektoren — also die semantisch verwandtesten Inhalte.
Wie sie das schnell schafft
Bei Millionen Vektoren wäre ein Vergleich mit allen zu langsam. Spezielle Indexverfahren (ANN, 'approximate nearest neighbor') finden die nächsten Nachbarn näherungsweise, aber sehr schnell.
Im Zusammenspiel
Bei RAG werden Dokumente vorab in Embeddings umgerechnet und hier abgelegt. Zur Anfragezeit wird die Frage ebenfalls eingebettet, und die Datenbank liefert die passenden Textstücke.