Wir beginnen mit einer kurzen Erinnerung an die Probleme, die mit RAG gelöst werden können, bevor wir uns mit den Verbesserungen bei LLMs und deren Auswirkungen befassen brauchen RAG verwenden.

RAG ist nicht wirklich neu

Die Idee, einen Kontext einzufügen, um einem Sprachmodell Zugriff auf aktuelle Daten zu ermöglichen, ist ziemlich „alt“ (auf LLM-Ebene). Es wurde erstmals vom Fb-KI/Meta-Forscher in diesem Artikel aus dem Jahr 2020 vorgestellt „Retrieval-Augmented Era für wissensintensive NLP-Aufgaben“. Im Vergleich dazu wurde die erste Model von ChatGPT erst im November 2022 veröffentlicht.

In dieser Arbeit unterscheiden sie zwei Arten von Gedächtnis:

• Die parametrisch eins, das dem LLM innewohnt, was es gelernt hat während man während des Trainings mit vielen, vielen Texten gefüttert wird,
• Die nicht parametrisch Eins, das ist der Speicher, den Sie bereitstellen können Einspeisen eines Kontexts in die Eingabeaufforderung.

Hybride Suche im Kontext von RAG und Vektordatenbank bedeutet das Durchsuchen von Dokumentenblöcken, die zur Beantwortung einer Frage beitragen können, indem sowohl eine semantische Suche basierend auf Einbettungen als auch eine Volltextsuche auf dem Inhalt dieser Blöcke verwendet wird.

Die Einschränkungen

Während die Hybridsuche bessere Ergebnisse liefern sollte als ein rein semantischer Ansatz, da sie relevantere Textabschnitte liefert, indem sie diejenigen hervorhebt, die einige in der Recherche vorhandene Schlüsselwörter enthalten, gibt es noch Raum für Verbesserungen.

Da Schlüsselwörter im selben Textual content gesucht werden, der zur Berechnung der Einbettung verwendet wurde, was passiert, wenn a Stück A Ein Dokument enthält die Schlüsselwörter, während ein anderes Dokument die Schlüsselwörter enthält Stück B des gleichen Dokuments liegt semantisch nahe an der Anfrage und sollte daher bei der Beantwortung helfen?

Wir hätten gerne Stück B Teil der vom Retriever zurückgegebenen Dokumente sein, bei einer Commonplace-Hybridsuche ist dies jedoch möglicherweise nicht der Fall.

Selbstfragender Retriever

Diese Artwork von Retriever basiert auf der Metadatenfilterung. Wichtige Informationen, die beim Filtern des Vektors hilfreich sein könnten …