Eine Vektordatenbank ist eine Datenbank, die Embeddings speichert und zu einer Anfrage schnell die ähnlichsten findet. Sie übernimmt den Retrieval-Schritt in RAG-Systemen.
Klassische Datenbanken finden exakte Treffer ('alle Kunden in Berlin'). Eine Vektordatenbank findet inhaltlich Ähnliches: Zu einem Anfrage-Vektor liefert sie die nächstgelegenen gespeicherten Vektoren — also die semantisch verwandtesten Inhalte.
Bei Millionen Vektoren wäre ein Vergleich mit allen zu langsam. Spezielle Indexverfahren (ANN, 'approximate nearest neighbor') finden die nächsten Nachbarn näherungsweise, aber sehr schnell.
Bei RAG werden Dokumente vorab in Embeddings umgerechnet und hier abgelegt. Zur Anfragezeit wird die Frage ebenfalls eingebettet, und die Datenbank liefert die passenden Textstücke.