Unter Retrieval versteht man den Suchschritt, der zu einer Anfrage die passenden Stellen aus einer Wissensbasis heraussucht, ohne selbst eine Antwort zu formulieren.
Retrieval liefert Material, keine Antwort. Es beantwortet die Frage, welche Textstellen zu einer Anfrage gehören, und übergibt sie unverändert. Erst wenn ein Sprachmodell diese Stellen liest und daraus eine formulierte Antwort erzeugt, liegt RAG vor. Das Zusammenführen von Aussagen aus mehreren Dokumenten leistet dabei das Modell, nicht die Suche.
Der Suchschritt ist an kein bestimmtes Verfahren gebunden. Gebräuchlich sind die Lexikalische Suche über wörtliche Übereinstimmung, die Semantische Suche über Bedeutungsähnlichkeit und die Hybridsuche als Kombination beider. Auch eine gewöhnliche Datenbankabfrage oder der Aufruf eines Fremddienstes kann den Suchschritt übernehmen. Die verbreitete Gleichsetzung von Retrieval mit einer Vektordatenbank trifft daher nur einen von mehreren Wegen.
Neben dem Text selbst tragen Dokumente Metadaten: Ablageort, Datum, Kategorie, Freigabestatus. Sie erlauben, den Suchraum vor dem Suchlauf zu begrenzen, etwa auf ein Projekt oder auf Dokumente eines Jahres. Bedeutungsähnlichkeit allein kann solche Anforderungen nicht abbilden.
Suchsysteme geben zu jedem Treffer einen Relevanzwert aus. Dieser Wert ist keine Wahrscheinlichkeit und kein Beleg für Richtigkeit; er ordnet die Kandidaten innerhalb eines Suchlaufs. Zwischen verschiedenen Verfahren sind die Werte nicht unmittelbar vergleichbar, weil sie unterschiedlich berechnet und normiert werden. Ob ein Retrieval taugt, zeigt daher erst die Prüfung an einem festen Satz realer Fragen, für die vorher feststeht, welche Quellen gefunden werden müssten.