Als Hybridsuche bezeichnet man die Kombination von lexikalischer und semantischer Suche: Beide Verfahren durchsuchen den Bestand unabhängig voneinander, ihre Trefferlisten werden anschließend zu einer gemeinsamen Rangfolge verschmolzen.
Die beiden Suchverfahren scheitern an unterschiedlichen Anfragen. Die Lexikalische Suche verfehlt Umschreibungen, die Semantische Suche verfehlt seltene Zeichenfolgen wie Fehlercodes oder Artikelnummern. Da die Schwächen nicht dieselben sind, deckt die Vereinigung beider Trefferlisten mehr Anfragetypen ab als jedes Verfahren allein.
Die Bewertungszahlen der beiden Verfahren sind nicht vergleichbar: Ein BM25-Wert ist nach oben offen, ein Ähnlichkeitsmaß liegt zwischen festen Grenzen. Zusammengeführt wird deshalb meist über die Rangposition statt über die Werte. Das gebräuchliche Verfahren heißt Reciprocal Rank Fusion: Jeder Treffer erhält aus jeder Liste einen Beitrag von 1 geteilt durch die Summe aus einer Dämpfungskonstante (häufig 60) und seiner Rangposition; die Beiträge werden addiert. Ein Dokument, das in beiden Listen weit oben steht, setzt sich damit gegen eines durch, das nur in einer Liste vorkommt.
Die verschmolzene Liste ist eine Vorauswahl. Ein Reranking prüft die verbliebenen Kandidaten einzeln gegen die Anfrage und ordnet sie neu; erst diese Reihenfolge bestimmt, was in den Prompt gelangt. Häufig wird die Anfrage zusätzlich vorab um Umformulierungen erweitert (Query Expansion).
Anthropic hat den Aufbau im September 2024 an mehreren Textsammlungen vermessen. Bezogen auf die zwanzig besten Treffer sank der Anteil der Suchläufe, in denen die benötigte Stelle fehlte, von 5,7 % auf 2,9 %, als beide Indizes kontextangereichert wurden (siehe Contextual Retrieval), und auf 1,9 % mit anschließendem Reranking. Die Größenordnung ist an eigenen Daten zu prüfen, weil Chunk-Größe, Embedding-Modell und Trefferzahl das Ergebnis verschieben.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
