100 % Genauigkeit ist nicht alles: Den Benutzern bei der Navigation durch das Dokument zu helfen, ist der wahre Wert
Sie bauen additionally ein RAG-System auf oder verwenden ein LLM zum Chatten mit Dokumenten. Aber Benutzer fragen oft: Wie können wir den Antworten vertrauen?
Darüber hinaus hören wir häufig von Halluzinationen, die das Vertrauen der Nutzer untergraben.
Wenn wir eine Anwendung erstellen, den Benutzern aber nicht zeigen, woher die Antworten kommen, kann die Anwendung in manchen Fällen unbrauchbar werden.
In diesem Artikel werde ich einen Ansatz zur Lösung dieses Issues vorstellen. Indem wir jede vom LLM generierte Antwort mit ihrem Quelltext im Dokument verknüpfen, können wir Transparenz und Vertrauen aufbauen. Diese Methode liefert nicht nur eindeutige Beweise für die Antworten, sondern ermöglicht es Benutzern auch, die Ergebnisse direkt im PDF zu überprüfen.
Manchmal ist die generierte Antwort möglicherweise nicht ganz genau, aber die Möglichkeit, den richtigen Quelltext zu finden, ist für den Benutzer bereits hilfreich.
Nehmen wir ein Beispiel dieses Papier von arxiv.org. Wir können uns diesen Anwendungsfall vorstellen:
Der erste Schritt bei diesem Ansatz besteht darin, den Textual content in einem strukturierten Format aus dem PDF zu extrahieren.