Beispiele zum besseren Verständnis des GraphRAG-Mechanismus
Einen Chatbot zu entwickeln, der echte Fragen beantworten und angemessene, präzise Antworten geben kann, ist wirklich eine schwierige Aufgabe. Zwar wurden bei großen Sprachmodellen bemerkenswerte Fortschritte erzielt, aber eine offene Herausforderung besteht darin, diese Modelle mit Wissensdatenbanken zu koppeln, um zuverlässige und kontextreiche Antworten zu liefern.
Die Hauptprobleme sind quick immer auf Trugbilder zurückzuführen (das Modell erzeugt falsche oder nicht vorhandene Informationen) und Kontextverständnis, wenn das Modell die nuancierten Beziehungen zwischen verschiedenen Informationen nicht versteht. Andere haben versucht, robuste Frage-und-Antwort-Systeme zu entwickeln, jedoch ohne großen Erfolg, da die Modelle oft dürftige Antworten liefern, obwohl sie mit umfassenden Wissensdatenbanken verbunden sind.
Während RAG Halluzinationen reduzieren kann, indem es die generierte Antwort mit realen Daten verknüpft, ist die genaue Beantwortung komplexer Fragen eine ganz andere Sache. Benutzer werden oft mit Antworten wie „Das xx-Thema wird im abgerufenen Textual content nicht explizit behandelt„selbst wenn die Wissensbasis die Informationen eindeutig enthält, wenn auch auf weniger offensichtliche Weise. Hier kommt GraphRAG (Graph Retrieval-Augmented Era) ins Spiel, das die Fähigkeit des Modells verbessert, präzise und kontextreiche Antworten zu liefern, indem es strukturierte Wissensgraphen nutzt.
RAG: Brücke zwischen Rückgewinnung und Erzeugung
RAG battle ein wichtiger Schritt, um die Vorteile sowohl abruf- als auch generierungsbasierter Methoden zu kombinieren. Bei einer Abfrage ruft RAG relevante Dokumente oder Passagen aus einem großen Korpus ab und generiert dann die Antwort mit diesen Informationen. Man kann daher sicher sein, dass der generierte Textual content informativ und kontextrelevant sein kann, da er auf Faktendaten basiert.
Zum Beispiel bei einer Frage wie „Was ist die Hauptstadt von Frankreich?“ Das RAG-System sucht in seinem Korpus nach Dokumenten, die sich auf das Land Frankreich und die Erwähnung seiner Hauptstadt Paris beziehen. Es ruft relevante Passagen ab und generiert eine Antwort wie: „Die Hauptstadt von Frankreich ist Paris.“ Dieser Stil passt sehr intestine zu einer einfachen Abfrage und klar dokumentierten Antworten.
RAG schwächelt jedoch bei komplexeren Abfragen, insbesondere bei solchen, bei denen man die Beziehungen zwischen Entitäten verstehen muss, wenn diese Beziehungen in den abgerufenen Dokumenten nicht explizit sind. Das System kommt bei Fragen wie diesen zum Erliegen und gerät ins Wanken. „Welchen Einfluss hatten die wissenschaftlichen Beiträge des 17. Jahrhunderts auf die Physik des frühen 20. Jahrhunderts?“ (mehr zu diesem Beispiel später).
GraphRAG: Die Leistungsfähigkeit von Wissensgraphen nutzen
GraphRAG, wie erstmals im Microsoft Analysis Weblog beschrieben Hierversucht, diese Einschränkungen zu umgehen, indem graphenbasierte Abfragemechanismen in das Modell integriert werden. Im Grunde wird der unstrukturierte Textual content der Wissensbasis in einen strukturierten Wissensgraphen umorganisiert, in dem Knoten Entitäten (z. B. Personen, Orte, Konzepte) und Kanten Beziehungen zwischen Entitäten darstellen. Dieses strukturierte Format ermöglicht es dem Modell, die Wechselbeziehungen zwischen verschiedenen Informationen besser zu verstehen und zu nutzen.
Lassen Sie uns nun etwas mehr ins Element gehen, um das Konzept von GraphRAG im Vergleich mit RAG auf einfache Weise zu verstehen.
Nehmen wir als Ausgangspunkt eine hypothetische Wissensbasis, die aus Sätzen aus verschiedenen wissenschaftlichen und historischen Texten besteht:
1. „Albert Einstein entwickelte die Relativitätstheorie, die die theoretische Physik und Astronomie revolutionierte.“
2. „Die Relativitätstheorie wurde Anfang des 20. Jahrhunderts formuliert und hatte einen tiefgreifenden Einfluss auf unser Verständnis von Raum und Zeit.“
3. „Isaac Newton, bekannt für seine Bewegungsgesetze und die universelle Gravitation, legte den Grundstein für die klassische Mechanik.“
4. „Im Jahr 1915 stellte Einstein die allgemeine Relativitätstheorie vor und baute damit auf seinen früheren Arbeiten zur speziellen Relativitätstheorie auf.“
5. „Newtons Arbeiten im 17. Jahrhundert bildeten die Grundlage für einen Großteil der modernen Physik.“
In einem RAG-System würden diese Sätze als unstrukturierter Textual content gespeichert. Und die Frage „Welchen Einfluss hatten die wissenschaftlichen Beiträge des 17. Jahrhunderts auf die Physik des frühen 20. Jahrhunderts?“hätte das System beispielsweise in eine schwierige Lage bringen können, wenn die genaue Formulierung und Abrufqualität der Dokumente verbanden nicht der Einfluss des 17. Jahrhunderts direkt mit der Physik des frühen 20. Jahrhunderts. RAG könnte Antworten geben wie „Isaac Newtons Arbeiten im 17. Jahrhundert bildeten die Grundlage für einen Großteil der modernen Physik. Albert Einstein entwickelte im frühen 20. Jahrhundert die Relativitätstheorie“, da der Mechanismus zwar relevante Informationen abrufen konnte, den Einfluss der Physik des 17. Jahrhunderts auf die Entwicklungen des frühen 20. Jahrhunderts jedoch nicht klar erklären kann.
GraphRAG hingegen verwandelt diesen Textual content in einen strukturierten Wissensgraphen. Ein Wissensgraph stellt dar, wie verschiedene Dinge miteinander in Beziehung stehen. Er verwendet eine Reihe von Ontologien, additionally Regeln, die dabei helfen, die Informationen zu organisieren. Auf diese Weise kann er nicht nur die offensichtlichen, sondern auch versteckte Verbindungen finden.
Mithilfe des GraphRAG-Programs wird die vorherige Wissensbasis wie folgt in Knoten und Kanten umgewandelt.
Nodes: Albert Einstein, idea of relativity, theoretical physics, astronomy, early twentieth century, house, time, Isaac Newton, legal guidelines of movement, common gravitation, classical mechanics, 1915, normal idea of relativity, particular relativity, seventeenth century, trendy physics.
Edges:
- (Albert Einstein) - (developed) → (idea of relativity)
- (idea of relativity) - (revolutionized) → (theoretical physics)
- (idea of relativity) - (revolutionized) → (astronomy)
- (idea of relativity) - (formulated in) → (early twentieth century)
- (idea of relativity) - (impacted) → (understanding of house and time)
- (Isaac Newton) - (recognized for) → (legal guidelines of movement)
- (Isaac Newton) - (recognized for) → (common gravitation)
- (Isaac Newton) - (laid the groundwork for) → (classical mechanics)
- (normal idea of relativity) - (offered by) → (Albert Einstein)
- (normal idea of relativity) - (expanded on) → (particular relativity)
- (Newton's work) - (offered basis for) → (trendy physics)
Wenn Sie dazu aufgefordert werden, Frage „Welchen Einfluss hatten die wissenschaftlichen Beiträge des 17. Jahrhunderts auf die Physik des frühen 20. Jahrhunderts?“ Der auf GraphRAG basierende Retriever kann den Fortschritt von Newtons Arbeit zu Einsteins Fortschritten erkennen und den Einfluss der Physik des 17. Jahrhunderts auf die Entwicklung des frühen 20. Jahrhunderts hervorheben. Diese strukturierte Abfrage ermöglicht eine kontextbezogene und genaue Antwort.: „Isaac Newtons im 17. Jahrhundert formulierte Gesetze der Bewegung und der universellen Gravitation bildeten die Grundlage der klassischen Mechanik. Diese Prinzipien beeinflussten Albert Einsteins Entwicklung der Relativitätstheorie im frühen 20. Jahrhundert, die unser Verständnis von Raum und Zeit erweiterte.“