Reranking ist ein zweiter Schritt nach dem Retrieval: Die grob gefundenen Treffer werden präziser neu sortiert, sodass die wirklich relevantesten oben landen.
Die schnelle Ähnlichkeitssuche in der Vektordatenbank ist gut, aber grob — sie holt etwa die 50 ungefähr passenden Stücke, aber nicht unbedingt in der besten Reihenfolge.
Ein genaueres (aber langsameres) Modell betrachtet Frage und jeden Kandidaten gemeinsam und vergibt eine präzise Relevanznote. Damit werden die Treffer neu geordnet; nur die obersten Treffer gehen schließlich in den Prompt.
Die Kombination 'schnell viele holen, dann genau wenige auswählen' hebt die Antwortqualität bei RAG spürbar — das Modell bekommt am Ende wirklich die relevantesten Stücke.