In den letzten Jahren folgte die KI-Welt einer einfachen Regel: Wenn Sie möchten, dass ein Giant Language Mannequin (LLM) ein schwierigeres Drawback löst, erstellen Sie es Gedankenkette (CoT) länger. Aber neue Forschungsergebnisse aus dem Universität von Virginia Und Google beweist, dass „langes Nachdenken“ nicht dasselbe ist wie „starkes Nachdenken“.

Das Forschungsteam zeigt, dass durch einfaches Hinzufügen weiterer Token zu einer Antwort tatsächlich eine KI entstehen kann weniger genau. Statt Wörter zu zählen, führen die Google-Forscher eine neue Messung ein: die Deep-Considering-Verhältnis (DTR).

Das Scheitern von „Token Maxing“.‚

Ingenieure verwenden die Token-Zählung häufig als Indikator für den Aufwand, den eine KI für eine Aufgabe aufwendet. Die Forscher fanden jedoch heraus, dass die reine Tokenanzahl eine durchschnittliche Korrelation von aufweist r= -0,59 mit Genauigkeit.

Diese adverse Zahl bedeutet, dass die Wahrscheinlichkeit größer ist, dass das Modell falsch ist, je mehr Textual content es generiert. Dies geschieht aufgrund von „Überdenken“, bei dem das Modell in Schleifen stecken bleibt, überflüssige Schritte wiederholt oder seine eigenen Fehler verstärkt. Wenn man sich allein auf die Länge verlässt, wird teure Rechenleistung für nicht informative Token verschwendet.

Was sind Deep-Considering-Token?

Das Forschungsteam argumentierte, dass echtes „Denken“ innerhalb der Schichten des Modells stattfindet und nicht nur in der Endausgabe. Wenn ein Modell ein Token vorhersagt, verarbeitet es Daten über eine Reihe von Transformatorschichten (L).

1. Flache Token: Bei einfachen Worten stabilisiert sich die Vorhersage des Modells frühzeitig. Die „Vermutung“ ändert sich von Schicht 5 bis Schicht 36 nicht wesentlich.
2. Tiefdenkende Token: Bei schwierigen logischen oder mathematischen Symbolen verschiebt sich die Vorhersage erheblich in die tieferen Schichten.

So messen Sie die Tiefe

Um diese Token zu identifizieren, verwendet das Forschungsteam eine Technik, um einen Blick auf die internen „Entwürfe“ des Modells auf jeder Ebene zu werfen. Sie projizieren die verborgenen Zwischenzustände (h_tl) mithilfe des Modells in den Vokabularraum einzufügen nicht einbettende Matrix (W_U). Dadurch entsteht eine Wahrscheinlichkeitsverteilung (S_t,l) für jede Ebene.

Anschließend berechnen sie die Jensen-Shannon-Divergenz (JSD) zwischen der Zwischenschichtverteilung und der Endschichtverteilung (S_t,L):

D_t,l := JSD(S_t,L || P_t,l)

Ein Token ist ein tiefgründiges Zeichen wenn sich seine Vorhersage nur im „späten Regime“ einpendelt – definiert durch a Tiefenanteil (⍴). In ihren Assessments stellten sie fest ⍴= 0,85, was bedeutet, dass sich der Token nur in den letzten 15 % der Schichten stabilisiert hat.

Der Deep-Considering-Verhältnis (DTR) ist der Prozentsatz dieser „harten“ Token in einer vollständigen Sequenz. Modellübergreifend wie DeepSeek-R1-70B, Qwen3-30B-DenkenUnd GPT-OSS-120BDTR zeigte eine starke durchschnittliche optimistic Korrelation von r = 0,683 mit Genauigkeit.

Suppose@n: Höhere Genauigkeit bei 50 % der Kosten

Das Forschungsteam nutzte diesen innovativen Ansatz zur Erstellung Suppose@neine neue Möglichkeit, die KI-Leistung während der Inferenz zu skalieren.

Die meisten Entwickler verwenden Selbstkonsistenz (Cons@n)wo sie probieren 48 Geben Sie verschiedene Antworten ein und nutzen Sie die Mehrheitsentscheidung, um die beste Antwort auszuwählen. Das ist sehr aufwendig, da man für jede Antwort jedes einzelne Token generieren muss.

Suppose@n verändert das Spiel durch den Einsatz von „frühem Anhalten“:

• Das Modell beginnt mit der Generierung mehrerer Kandidatenantworten.
• Nach gerade 50 Präfix-Tokenberechnet das System die DTR für jeden Kandidaten.
• Es stoppt sofort die Generierung der „aussichtslosen“ Kandidaten mit niedrigem DTR.
• Es beendet die Kandidaten nur mit hohen Werten für tiefes Denken.

Die Ergebnisse zu AIME 2025

Verfahren	Genauigkeit	Durchschn. Kosten (ok Token)
Nachteile@n (Mehrheitsabstimmung)	92,7 %	307,6
Suppose@n (DTR-basierte Auswahl)	94,7 %	155,4

Auf der ZIEL 25 Mathe-Benchmark, Suppose@n erreicht höhere Genauigkeit als bei der Standardabstimmung, während die Inferenzkosten um reduziert werden 49 %^.

Wichtige Erkenntnisse

• Die Anzahl der Token ist ein schlechter Indikator für die Genauigkeit: Die Länge der Rohausgabe weist eine durchschnittliche adverse Korrelation (r = -0,59) mit der Leistung auf, was bedeutet, dass längere Argumentationsspuren oft eher auf „Überdenken“ als auf höhere Qualität hinweisen.
• Tiefdenkende Token definieren wahre Anstrengung: Im Gegensatz zu einfachen Token, die sich in frühen Schichten stabilisieren, handelt es sich bei Deep-Considering-Token um solche, deren interne Vorhersagen in tieferen Modellschichten erheblich überarbeitet werden, bevor sie konvergieren.
• Die Deep-Considering Ratio (DTR) ist eine überlegene Messgröße: DTR misst den Anteil von Deep-Considering-Tokens in einer Sequenz und weist eine robuste optimistic Korrelation mit der Genauigkeit auf (durchschnittliches r = 0,683) und übertrifft durchweg längenbasierte oder konfidenzbasierte Basislinien.
• Suppose@n ermöglicht eine effiziente Testzeitskalierung: Indem nur die Stichproben mit hohen Deep-Considering-Verhältnissen priorisiert und abgeschlossen werden, erreicht oder übertrifft die Suppose@n-Strategie die Leistung der Standardmehrheitsabstimmung (Cons@n).
• Huge Kostenreduzierung durch frühzeitiges Anhalten: Da die DTR anhand eines kurzen Präfixes von nur 50 Token geschätzt werden kann, können aussichtslose Generationen frühzeitig abgelehnt werden, wodurch die gesamten Inferenzkosten um etwa 50 % gesenkt werden.

---

Schauen Sie sich das an Papier. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Daniel D. Gutierrez, Chefredakteur und ansässiger Datenwissenschaftler bei insideAI Information, ist ein praktizierender Datenwissenschaftler, der schon lange mit Daten gearbeitet hat, bevor das Fachgebiet in Mode kam. Er freut sich besonders darauf, die stattfindende generative KI-Revolution genau zu verfolgen. Als Technologiejournalist hat er Freude daran, den Puls dieser schnelllebigen Branche zu verfolgen.

Generative KI (GenAI) hat in den letzten Jahren ein exponentielles Wachstum erlebt, das vor allem durch die Entwicklung großer Sprachmodelle (LLMs) vorangetrieben wurde. Diese Modelle verfügen über die bemerkenswerte Fähigkeit, menschenähnlichen Textual content zu generieren und Antworten auf eine Reihe von Fragen zu geben, was Innovationen in verschiedenen Bereichen vorantreibt, vom Kundenservice bis zur medizinischen Diagnostik. Trotz ihrer beeindruckenden Sprachkenntnisse stoßen LLMs jedoch mit gewissen Einschränkungen in Bezug auf die Genauigkeit konfrontiert, insbesondere in komplexen oder speziellen Wissensgebieten. Hier können fortschrittliche RAG-Techniken (Retrieval-Augmented Technology), insbesondere solche mit graphbasierter Wissensdarstellung, ihre Leistung erheblich steigern. Eine dieser innovativen Lösungen ist GraphRAG, das die Leistungsfähigkeit von Wissensgraphen mit LLMs kombiniert, um die Genauigkeit und das Kontextverständnis zu steigern.

Der Aufstieg generativer KI und LLMs

Große Sprachmodelle, die typischerweise auf riesigen Datensätzen aus dem Web trainiert werden, lernen Muster im Textual content und können so kohärente und kontextrelevante Antworten generieren. Während LLMs zwar in der Lage sind, allgemeine Informationen bereitzustellen, haben sie jedoch Schwierigkeiten mit sehr spezifischen Abfragen, seltenen Ereignissen oder Nischenthemen, die in ihren Trainingsdaten nicht so intestine repräsentiert sind. Darüber hinaus neigen LLMs zu „Halluzinationen“, bei denen sie plausibel klingende, aber ungenaue oder völlig erfundene Antworten generieren. Diese Halluzinationen können bei anspruchsvollen Anwendungen problematisch sein, bei denen es auf Präzision und Zuverlässigkeit ankommt.

Um diesen Herausforderungen zu begegnen, setzen Entwickler und Forscher zunehmend auf RAG-Methoden, bei denen das Sprachmodell während der Inferenz durch externe Wissensquellen ergänzt wird. In RAG-Frameworks ist das Modell in der Lage, relevante Informationen aus Datenbanken, strukturierten Dokumenten oder anderen Repositories abzurufen, was dazu beiträgt, seine Antworten auf Sachdaten zu stützen. Herkömmliche RAG-Implementierungen basierten hauptsächlich auf Textdatenbanken. Allerdings hat sich GraphRAG, das graphbasierte Wissensdarstellungen nutzt, als ausgefeilterer Ansatz herausgestellt, der eine weitere Verbesserung der Leistung von LLMs verspricht.

Retrieval-Augmented Technology (RAG) verstehen

Im Kern handelt es sich bei RAG um eine Technik, die Abruf- und Generierungsaufgaben in LLMs integriert. Wenn herkömmlichen LLMs eine Frage gestellt wird, generieren sie Antworten ausschließlich auf der Grundlage ihres internen Wissens, das sie aus ihren Trainingsdaten gewonnen haben. Bei RAG ruft das LLM jedoch zunächst relevante Informationen von einer externen Wissensquelle ab, bevor es eine Antwort generiert. Dieser Abrufmechanismus ermöglicht es dem Modell, Informationen „nachzuschlagen“, wodurch die Wahrscheinlichkeit von Fehlern aufgrund veralteter oder unzureichender Trainingsdaten verringert wird.

In den meisten RAG-Implementierungen basiert der Informationsabruf auf semantischen Suchtechniken, bei denen das Modell eine Datenbank oder einen Korpus nach den relevantesten Dokumenten oder Passagen durchsucht. Dieser abgerufene Inhalt wird dann zurück in das LLM eingespeist, um dessen Reaktion zu gestalten. Obwohl dieser Ansatz effektiv ist, kann er dennoch ungenügend sein, wenn die Komplexität der Informationsverbindungen über einfache textbasierte Suchen hinausgeht. In diesen Fällen müssen die semantischen Beziehungen zwischen verschiedenen Informationen strukturiert dargestellt werden – hier kommen Wissensgraphen ins Spiel.

Was ist GraphRAG?

GraphRAG (Graph-based Retrieval-Augmented Technology) baut auf dem RAG-Konzept auf, indem es anstelle eines Standardtextkorpus Wissensgraphen als Abrufquelle einbezieht. Ein Wissensgraph ist ein Netzwerk von Einheiten (z. B. Personen, Orte, Organisationen oder Konzepte), die durch Beziehungen miteinander verbunden sind. Diese Struktur ermöglicht eine differenziertere Darstellung von Informationen, bei der Entitäten nicht nur isolierte Datenknoten sind, sondern in einen Kontext sinnvoller Beziehungen eingebettet sind.

Durch die Nutzung von Wissensgraphen ermöglicht GraphRAG LLMs, Informationen auf eine Weise abzurufen, die die Vernetzung des realen Wissens widerspiegelt. In einer medizinischen Anwendung könnte beispielsweise ein herkömmliches textbasiertes Abrufmodell Passagen zu Symptomen oder Behandlungsoptionen unabhängig voneinander abrufen. Ein Wissensgraph hingegen würde es dem Modell ermöglichen, auf Informationen über Symptome, Diagnosen und Behandlungspfade zuzugreifen, sodass die Beziehungen zwischen diesen Entitäten offengelegt werden. Diese kontextbezogene Tiefe verbessert die Genauigkeit und Relevanz der Antworten, insbesondere bei komplexen oder vielschichtigen Abfragen.

Wie GraphRAG die LLM-Genauigkeit verbessert

1. Verbessertes Kontextverständnis: Die Wissensdiagramme von GraphRAG stellen Kontext bereit, den LLMs nutzen können, um die Nuancen einer Abfrage besser zu verstehen. Anstatt einzelne Fakten als isolierte Punkte zu behandeln, kann das Modell die Beziehungen zwischen ihnen erkennen und so zu Antworten führen, die nicht nur sachlich korrekt, sondern auch kontextuell kohärent sind.
2. Reduzierung von Halluzinationen: Indem GraphRAG seine Antworten auf eine strukturierte Wissensbasis stützt, verringert es die Wahrscheinlichkeit von Halluzinationen. Da das Modell relevante Entitäten und ihre Beziehungen aus einem kuratierten Diagramm abruft, ist es weniger anfällig für die Generierung unbegründeter oder spekulativer Informationen.
3. Verbesserte Effizienz in spezialisierten Bereichen: Wissensgraphen können für bestimmte Branchen oder Themen wie Finanzen, Recht oder Gesundheitswesen angepasst werden, sodass LLMs domänenspezifische Informationen effizienter abrufen können. Diese Anpassung ist besonders wertvoll für Unternehmen, die auf Spezialwissen angewiesen sind, wo herkömmliche LLMs aufgrund von Lücken in ihren allgemeinen Schulungsdaten möglicherweise nicht ausreichen.
4. Bessere Handhabung komplexer Abfragen: Herkömmliche RAG-Methoden können bei komplexen, mehrteiligen Abfragen Probleme bereiten, bei denen die Beziehungen zwischen verschiedenen Konzepten für eine genaue Antwort entscheidend sind. GraphRAG bietet mit seiner Fähigkeit, vernetztes Wissen zu navigieren und abzurufen, einen ausgefeilteren Mechanismus zur Erfüllung dieser komplexen Informationsbedürfnisse.

Anwendungen von GraphRAG in der Industrie

GraphRAG ist besonders vielversprechend für Anwendungen, bei denen Genauigkeit und Kontextverständnis unerlässlich sind. Im Gesundheitswesen kann es Ärzten helfen, indem es genauere Informationen zu Behandlungen und den damit verbundenen Risiken liefert. Im Finanzbereich kann es Einblicke in miteinander verbundene Markttrends und wirtschaftliche Faktoren bieten. Auch Bildungsplattformen können von GraphRAG profitieren, indem sie den Schülern reichhaltigere und kontextbezogenere Lernmaterialien anbieten.

Die Zukunft von GraphRAG und generativer KI

Während sich LLMs ständig weiterentwickeln, stellt die Integration von Wissensgraphen durch GraphRAG einen entscheidenden Schritt nach vorne dar. Dieser hybride Ansatz verbessert nicht nur die sachliche Genauigkeit von LLMs, sondern richtet ihre Antworten auch besser an der Komplexität realer Informationen aus. Für Unternehmen und Forscher gleichermaßen bietet GraphRAG ein leistungsstarkes Software, um das volle Potenzial generativer KI auf eine Weise zu nutzen, bei der sowohl Genauigkeit als auch kontextbezogene Tiefe im Vordergrund stehen.

Zusammenfassend lässt sich sagen, dass GraphRAG ein innovativer Fortschritt im GenAI-Ökosystem ist, der die Lücke zwischen umfangreichen Sprachmodellen und dem Bedarf an präziser, zuverlässiger und kontextbezogener KI schließt. Durch die Verknüpfung der Stärken von LLMs und strukturierten Wissensgraphen ebnet GraphRAG den Weg für eine Zukunft, in der generative KI sowohl vertrauenswürdiger als auch wirkungsvoller in entscheidungskritischen Anwendungen ist.

Melden Sie sich für die kostenlosen insideAI-Information an Publication.

Begleiten Sie uns auf Twitter: https://twitter.com/InsideBigData1

Treten Sie uns auf LinkedIn bei: https://www.linkedin.com/firm/insideainews/

Begleiten Sie uns auf Fb: https://www.fb.com/insideAINEWSNOW

Schauen Sie bei uns vorbei YouTube!