Der Vorschlag, über den ich in diesem Artikel sprechen werde, ist etwas, das ich bereits umgesetzt habe und das ich derzeit in einem persönlichen Projekt teste.
Hybride Suche im Kontext von RAG und Vektordatenbank bedeutet das Durchsuchen von Dokumentenblöcken, die zur Beantwortung einer Frage beitragen können, indem sowohl eine semantische Suche basierend auf Einbettungen als auch eine Volltextsuche auf dem Inhalt dieser Blöcke verwendet wird.
Die Einschränkungen
Während die Hybridsuche bessere Ergebnisse liefern sollte als ein rein semantischer Ansatz, da sie relevantere Textabschnitte liefert, indem sie diejenigen hervorhebt, die einige in der Recherche vorhandene Schlüsselwörter enthalten, gibt es noch Raum für Verbesserungen.
Da Schlüsselwörter im selben Textual content gesucht werden, der zur Berechnung der Einbettung verwendet wurde, was passiert, wenn a Stück A Ein Dokument enthält die Schlüsselwörter, während ein anderes Dokument die Schlüsselwörter enthält Stück B des gleichen Dokuments liegt semantisch nahe an der Anfrage und sollte daher bei der Beantwortung helfen?
Wir hätten gerne Stück B Teil der vom Retriever zurückgegebenen Dokumente sein, bei einer Commonplace-Hybridsuche ist dies jedoch möglicherweise nicht der Fall.
Selbstfragender Retriever
Diese Artwork von Retriever basiert auf der Metadatenfilterung. Wichtige Informationen, die beim Filtern des Vektors hilfreich sein könnten …