Hybride Suche: Stichwort- und Vektorsuche für RAG kombinieren

Hybride Suche verbindet zwei Verfahren: die klassische Stichwortsuche, die nach exakten Begriffen sucht, und die Vektorsuche, die nach Bedeutung sucht. In RAG-Systemen liefert diese Kombination oft deutlich bessere Treffer als jedes Verfahren allein.

Stärken und Schwächen der Vektorsuche

Die Vektorsuche vergleicht Embeddings, also Zahlenvektoren, die die Bedeutung eines Textes abbilden. Sie findet „Urlaubsanspruch“, auch wenn im Dokument „Anzahl der freien Tage“ steht. Wie die Ähnlichkeit berechnet wird, lässt sich mit dem Werkzeug Kosinus-Ähnlichkeit nachvollziehen.

Schwach ist sie bei allem, was keine allgemeine Bedeutung hat:

• Artikelnummern, Vertragsnummern, Fehlercodes
• Eigennamen, Produktnamen, Abkürzungen
• seltene Fachbegriffe, die das Embedding-Modell kaum kennt
• exakte Zitate oder Paragrafen

Eine Frage nach „Fehler E-4711“ kann in der Vektorsuche bei irgendeinem anderen Fehler landen, weil sich die Texte ähneln.

Stärken der Stichwortsuche

Die Stichwortsuche, meist nach dem bewährten Verfahren BM25, zählt, wie oft Suchbegriffe in einem Abschnitt vorkommen und wie selten sie insgesamt sind. Seltene, exakte Begriffe gewichtet sie stark. Dafür versteht sie keine Synonyme und scheitert, wenn Nutzer andere Wörter verwenden als das Dokument.

So funktioniert die Kombination

1. Beide Suchen laufen parallel und liefern je eine Trefferliste.
2. Die Listen werden zusammengeführt. Verbreitet ist die Reciprocal Rank Fusion: Jeder Treffer bekommt Punkte nach seiner Platzierung in jeder Liste, die Punkte werden addiert.
3. Optional sortiert ein Reranker die vereinten Treffer noch einmal; siehe Reranking erklärt.
4. Die besten Treffer gehen in den Prompt.

Der Vorteil der Rangfusion: Die Punktwerte der beiden Verfahren sind nicht vergleichbar, die Platzierungen schon. Alternativ lassen sich normierte Werte gewichtet addieren, was aber mehr Abstimmung erfordert.

Umsetzung in der Praxis

• Viele Suchmaschinen und Vektordatenbanken bieten hybride Suche inzwischen eingebaut an. Prüfen Sie das, bevor Sie zwei Systeme betreiben.
• Für die Stichwortsuche auf Deutsch sind Wortstämme und zusammengesetzte Wörter wichtig: „Urlaubsantrag“ sollte auch bei der Suche nach „Antrag“ gefunden werden. Achten Sie auf einen deutschen Analysator mit Kompositazerlegung.
• Die Gewichtung zwischen beiden Verfahren lässt sich anpassen. Bei technischen Dokumenten mit vielen Nummern lohnt mehr Gewicht auf Stichworten.

Grundlagen zu den Datenbanken stehen unter Vektordatenbanken erklärt.

Lohnt sich der Aufwand?

Ob hybride Suche in Ihrem Fall hilft, zeigt nur ein Test mit echten Fragen. Sammeln Sie typische Suchanfragen, darunter bewusst solche mit Namen und Nummern, und messen Sie, wie oft die richtige Stelle unter den ersten Treffern landet. In vielen Unternehmensdokumenten mit Produktbezeichnungen und Kennziffern ist der Gewinn deutlich; bei reinem Fließtext ohne Fachbegriffe kann er gering sein.

Weitere Stellschrauben

Bevor Sie an der Suche feilen, lohnt ein Blick auf die Abschnitte selbst: Gute Chunking-Strategien verbessern beide Suchverfahren. Auch das Umformulieren der Nutzerfrage durch das Modell, etwa das Ergänzen von Synonymen oder das Aufteilen in Teilfragen, kann Treffer verbessern. Den Gesamtaufbau beschreibt RAG-Pipeline bauen.