Contextual Retrieval bezeichnet ein Verfahren zur Vorbereitung einer Wissensbasis, bei dem jedem Textabschnitt vor der Indexierung eine kurze, von einem Sprachmodell erzeugte Einordnung vorangestellt wird, damit der Abschnitt auch außerhalb seines Dokuments verständlich bleibt.
Beim Chunking verliert ein Abschnitt den Zusammenhang, in dem er stand. Der Satz „Der Umsatz des Unternehmens wuchs gegenüber dem Vorquartal um 3 Prozent." ist als Suchtreffer wertlos, weil weder das Unternehmen noch der Zeitraum darin vorkommt. Weder ein Embedding noch eine Lexikalische Suche kann diesen Abschnitt einer Anfrage nach einem bestimmten Unternehmen zuordnen.
Vor der Indexierung erhält ein Sprachmodell das vollständige Dokument und den einzelnen Abschnitt mit der Aufgabe, den Abschnitt in einem oder zwei Sätzen einzuordnen. Diese Einordnung von etwa 50 bis 100 Token wird dem Abschnitt vorangestellt, und zwar für beide Indizes: vor der Berechnung des Embeddings und vor dem Aufbau des lexikalischen Index. Der Abschnitt aus dem Beispiel beginnt danach mit der Angabe von Unternehmen, Quartal und Vorquartalsumsatz.
Die Anreicherung fällt einmalig beim Import an, nicht bei jeder Anfrage. Anthropic gibt die Kosten mit etwa einem US-Dollar je Million Dokument-Token an, sofern der Dokumenttext im Zwischenspeicher des Modells wiederverwendet wird (Prompt Caching). Dafür wächst der Index, und jede Änderung an einem Dokument erfordert eine erneute Anreicherung der betroffenen Abschnitte.
In der Untersuchung von Anthropic (September 2024) fehlte die benötigte Stelle unter den zwanzig besten Treffern in 5,7 Prozent der Suchläufe. Mit kontextangereicherten Embeddings sank der Wert auf 3,7 Prozent, zusammen mit einem ebenso angereicherten lexikalischen Index auf 2,9 Prozent und mit nachgeschaltetem Reranking auf 1,9 Prozent. Die Ergebnisse blieben über Programmcode, Belletristik und wissenschaftliche Arbeiten hinweg ähnlich; Anthropic empfiehlt dennoch, den Effekt an den eigenen Daten zu messen.
Contextual Retrieval verbessert nicht die Schnittstellen zwischen den Abschnitten, sondern gleicht deren Folgen aus: Der Abschnitt bleibt derselbe, er trägt seinen Zusammenhang nun mit sich. Beide Maßnahmen ergänzen sich, weil eine vorangestellte Einordnung einen mitten im Satz getrennten Gedanken nicht wiederherstellt.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
