Lexikalische Suche

Funktionsweise

Gezählt wird nicht allein, ob ein Suchwort vorkommt. Zwei Größen bestimmen das Gewicht: die Termfrequenz, also wie oft der Begriff im Dokument steht, und die inverse Dokumentfrequenz, also wie selten er im gesamten Bestand ist. Ein seltener Fachausdruck trägt damit mehr zur Bewertung bei als ein Allerweltswort. BM25 ergänzt zwei Korrekturen: Die Wirkung häufiger Wiederholung läuft in eine Sättigung, und lange Dokumente werden gegenüber kurzen normiert, damit Länge allein keinen Vorteil verschafft.

Herkunft des Namens

BM steht für „Best Matching"; die Ziffer bezeichnet eine von mehreren Ranking-Formeln einer Versuchsreihe, die Stephen Robertson, Karen Spärck Jones und Kollegen in den 1990er Jahren für das Suchsystem Okapi an der City University London entwickelten. Trotz des Alters ist BM25 in Suchmaschinen und in den Volltextindizes von Datenbanken weiterhin verbreitet.

Stärken

Die lexikalische Suche ist dort treffsicher, wo die genaue Zeichenfolge zählt: Eigennamen, Abkürzungen, Fehlercodes, Artikel- und Modellnummern, Dateiformate, wörtliche Zitate. Sie braucht kein Modell, sie ist schnell, und ihr Ergebnis ist nachvollziehbar, weil sich jeder Treffer auf ein vorhandenes Wort zurückführen lässt.

Grenzen

Wer nach „Urlaubsplanung" sucht, findet damit keine Notiz mit dem Titel „Reisevorbereitung Italien": Es gibt keine gemeinsame Zeichenfolge. Umschreibungen, Synonyme und fremdsprachige Entsprechungen bleiben unentdeckt. Diese Lücke schließt die Semantische Suche, die Bedeutungen vergleicht statt Zeichenfolgen; die Hybridsuche setzt beide Verfahren nebeneinander.

Abgrenzung

In der englischen Fachsprache heißt das Verfahren auch sparse retrieval, weil es jedes Dokument als einen sehr langen, überwiegend mit Nullen besetzten Vektor über dem Wortschatz behandelt. Das Gegenstück, dense retrieval, arbeitet mit den kompakten Zahlenreihen der Embedding-Verfahren.