Bild vom Herausgeber

# Einführung

Halluzinationen sind nicht nur ein Modellproblem. In der Produktion stellen sie ein Systemdesignproblem dar. Die zuverlässigsten Groups reduzieren Halluzinationen, indem sie das Modell auf vertrauenswürdige Daten stützen, die Rückverfolgbarkeit erzwingen und die Ergebnisse mit automatisierten Prüfungen und kontinuierlicher Auswertung steuern.

In diesem Artikel behandeln wir sieben bewährte und praxiserprobte Strategien, die Entwickler und KI-Groups heute nutzen, um Halluzinationen in LLM-Anwendungen (Massive Language Mannequin) zu reduzieren.

# 1. Erdungsantworten mittels Retrieval-Augmented Technology

Wenn Ihre Anwendung in Bezug auf interne Richtlinien, Produktspezifikationen oder Kundendaten korrekt sein muss, lassen Sie nicht zu, dass das Modell aus dem Gedächtnis antwortet. Verwenden Retrieval-Augmented Technology (RAG) um relevante Quellen (z. B. Dokumente, Tickets, Wissensdatenbankartikel oder Datenbankeinträge) abzurufen und Antworten aus diesem spezifischen Kontext zu generieren.

Zum Beispiel:

• Der Benutzer fragt: „Wie lauten unsere Rückerstattungsrichtlinien für Jahrespläne?“
• Ihr System ruft die aktuelle Richtlinienseite ab und fügt sie in die Eingabeaufforderung ein
• Der Assistent antwortet und zitiert den genauen Satz, der verwendet wurde

# 2. Erfordernis von Zitaten für wichtige Ansprüche

Eine einfache Betriebsregel, die in vielen Produktionsassistenten verwendet wird, ist: Keine Quellen, keine Antwort.

Die Leitplankenführung von Anthropic empfiehlt ausdrücklich, die Ergebnisse überprüfbar zu machen, indem Zitate gefordert werden und das Modell jede Behauptung überprüfen lässt, indem es ein unterstützendes Zitat findet, und alle Behauptungen, die es nicht unterstützen kann, zurückzieht. Diese einfache Technik reduziert Halluzinationen drastisch.

Zum Beispiel:

• Zu jedem Sachaufzählungspunkt muss das Modell ein Zitat aus dem abgerufenen Kontext anhängen
• Wenn es kein Zitat finden kann, muss es mit „Ich habe nicht genügend Informationen in den bereitgestellten Quellen“ antworten.

# 3. Software Calling anstelle von Freiform-Antworten verwenden

Für transaktionale oder sachliche Abfragen ist das sicherste Muster: LLM – Software/API – Verified System of Document – Antwort.

Zum Beispiel:

• Preise: Abrechnungsdatenbank abfragen
• Ticketstatus: Interne Anwendungsprogrammierschnittstelle (API) für Buyer Relationship Administration (CRM) aufrufen
• Richtlinienregeln: Versionskontrollierte Richtliniendatei abrufen

Anstatt das Modell Fakten „abrufen“ zu lassen, ruft es sie ab. Der LLM wird zum Router und Formatierer, nicht zur Quelle der Wahrheit. Diese einzige Designentscheidung eliminiert eine große Klasse von Halluzinationen.

# 4. Hinzufügen eines Verifizierungsschritts nach der Generierung

Viele Produktionssysteme umfassen mittlerweile ein „Richter“- oder „Grader“-Modell. Der Workflow folgt normalerweise diesen Schritten:

1. Antwort generieren
2. Senden Sie Antwort- und Quelldokumente an ein Verifizierermodell
3. Werten Sie nach Bodenständigkeit oder sachlicher Unterstützung
4. Wenn der Schwellenwert unterschritten wird, regenerieren oder verwerfen

Einige Groups führen auch einfache lexikalische Prüfungen durch (z. B. Schlüsselwortüberschneidungen oder BM25 Scoring), um zu überprüfen, ob behauptete Fakten im Quelltext vorkommen. Ein viel zitierter Forschungsansatz ist Verifizierungskette (CoVe): Entwerfen Sie eine Antwort, erstellen Sie Überprüfungsfragen, beantworten Sie diese unabhängig und erstellen Sie dann eine endgültige überprüfte Antwort. Diese mehrstufige Validierungspipeline reduziert nicht unterstützte Ansprüche erheblich.

# 5. Zitieren statt paraphrasieren

Paraphrasierungen erhöhen die Wahrscheinlichkeit einer subtilen sachlichen Abweichung. Eine praktische Leitplanke ist:

• Fordern Sie für Sachbehauptungen direkte Zitate an
• Zusammenfassung nur zulassen, wenn Anführungszeichen vorhanden sind
• Lehnen Sie Ausgaben ab, die nicht unterstützte Nummern oder Namen einführen

Dies funktioniert besonders intestine in Rechts-, Gesundheits- und Compliance-Anwendungsfällen, bei denen es auf Genauigkeit ankommt.

# 6. Unsicherheit kalibrieren und elegant scheitern

Halluzinationen können nicht vollständig beseitigt werden. Stattdessen sind Produktionssysteme auf einen sicheren Ausfall ausgelegt. Zu den gängigen Techniken gehören:

• Vertrauensbewertung
• Unterstützen Sie Wahrscheinlichkeitsschwellenwerte
• „Nicht genügend Informationen verfügbar“-Fallback-Antworten
• Human-in-the-Loop-Eskalation für Antworten mit geringem Vertrauen

Die Rückkehr der Unsicherheit ist sicherer als die Rückkehr der selbstbewussten Fiktion. In Unternehmensumgebungen ist diese Designphilosophie oft wichtiger als die Erzielung geringfügiger Genauigkeitsgewinne.

# 7. Kontinuierliche Bewertung und Überwachung

Die Reduzierung der Halluzination ist keine einmalige Lösung. Selbst wenn Sie die Halluzinationsraten heute verbessern, können sie morgen aufgrund von Modellaktualisierungen, Dokumentänderungen und neuen Benutzeranfragen abweichen. Produktionsteams führen kontinuierliche Evaluierungspipelines durch, um:

• Bewerten Sie jede N-te Anfrage (oder alle Anfragen mit hohem Risiko)
• Verfolgen Sie die Halluzinationsrate, die Zitatabdeckung und die Richtigkeit der Ablehnungen
• Warnen Sie, wenn sich die Metriken verschlechtern, und setzen Sie Eingabeaufforderungs- oder Abrufänderungen zurück

Auch Benutzer-Feedbackschleifen sind von entscheidender Bedeutung. Viele Groups protokollieren jeden Halluzinationsbericht und geben ihn an die Feinabstimmung oder sofortige Anpassung weiter. Das ist der Unterschied zwischen einer Demo, die genau aussieht, und einem System, das genau bleibt.

# Zusammenfassung

Bei der Reduzierung von Halluzinationen in Produktions-LLMs geht es nicht darum, eine perfekte Eingabeaufforderung zu finden. Wenn man es als architektonisches Downside betrachtet, verbessert sich die Zuverlässigkeit. Um die Genauigkeit zu gewährleisten:

• Bodenantworten in realen Daten
• Bevorzugen Sie Instruments gegenüber Speicher
• Fügen Sie Überprüfungsebenen hinzu
• Design für sicheren Ausfall
• Kontinuierlich überwachen

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und ein technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Technology Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Variety in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.

von Vögeln im Flug.

Es gibt keinen Anführer. Kein zentrales Kommando. Jeder Vogel richtet sich nach seinen Nachbarn aus – passt die Richtung an, passt die Geschwindigkeit an und erhält die Kohärenz durch rein lokale Koordination aufrecht. Das Ergebnis ist eine globale Ordnung, die aus lokaler Konsistenz entsteht.

Stellen Sie sich nun einen Vogel vor, der mit der gleichen Überzeugung fliegt wie die anderen. Seine Flügelschläge sind souverän. Seine Geschwindigkeit stimmt. Aber seine Richtung stimmt nicht mit der seiner Nachbarn überein. Es ist der rote Vogel.

Es ist nicht verloren. Es ist kein Zögern. Es gehört einfach nicht zur Herde.

Halluzinationen bei LLMs sind rote Vögel.

Das Drawback, das wir tatsächlich zu lösen versuchen

LLMs erzeugen flüssige, sichere Texte, die erfundene Informationen enthalten können. Sie erfinden Rechtsfälle, die es nicht gibt. Sie zitieren Arbeiten, die nie geschrieben wurden. Sie geben Tatsachen im gleichen Ton an, unabhängig davon, ob diese Tatsachen wahr oder vollständig erfunden sind.

Der Standardansatz, dies zu erkennen, besteht darin, ein anderes Sprachmodell zu bitten, die Ausgabe zu überprüfen. LLM-als-Richter. Man sieht das Drawback sofort: Wir verwenden ein System, das halluziniert, um Halluzinationen zu erkennen. Es ist, als würde man jemanden, der Farben nicht unterscheiden kann, bitten, Farbmuster zu sortieren. Sie werden Ihnen eine Antwort geben. Manchmal könnte es sogar richtig sein. Aber sie sehen nicht wirklich das, was Sie von ihnen erwarten.

Die Frage, die wir gestellt haben, battle anders: Können wir Halluzinationen anhand der geometrischen Struktur des Textes selbst erkennen, ohne die Meinung eines anderen Sprachmodells zu benötigen?

Was Einbettungen eigentlich bewirken

Bevor ich zur Erkennungsmethode komme, möchte ich einen Schritt zurücktreten und herausfinden, womit wir arbeiten.

Wenn Sie Textual content in einen Satzkodierer eingeben, erhalten Sie einen Vektor zurück – einen Punkt im hochdimensionalen Raum. Texte, die semantisch ähnlich sind, landen nahe beieinander. Texte, die nichts miteinander zu tun haben, liegen weit auseinander. Dafür optimiert kontrastives Coaching. Aber es gibt eine subtilere Struktur als nur „Ähnliche Dinge liegen nahe beieinander“.

Überlegen Sie, was passiert, wenn Sie eine Frage und die dazugehörige Antwort einbetten. Die Frage landet irgendwo in diesem Einbettungsraum. Die Antwort landet woanders. Der Vektor, der sie verbindet – was wir nennen Verschiebung– zeigt in eine bestimmte Richtung. Wir haben einen Vektor: einen Betrag und einen Winkel.

Das haben wir auch beobachtet Bei geerdeten Antworten innerhalb eines bestimmten Bereichs zeigen diese Verschiebungsvektoren in konsistente Richtungen. Wir haben eine Gemeinsamkeit gefunden: Winkel.

Wenn Sie fünf ähnliche Fragen stellen und fünf fundierte Antworten erhalten, sind die Verschiebungen von Frage zu Antwort ungefähr parallel. Nicht identisch – die Größen variieren, die genauen Winkel unterscheiden sich geringfügig –, aber die Gesamtrichtung ist konsistent.

Wenn ein Mannequin halluziniert, passiert etwas anderes. Die Antwort landet immer noch irgendwo im Einbettungsraum. Es ist immer noch fließend. Es klingt immer noch nach einer Antwort. Aber die Verschiebung folgt nicht dem lokalen Muster. Es weist auf etwas anderes hin. Ein Vektor mit einem völlig anderen Winkel.

Der rote Vogel fliegt selbstbewusst. Aber nicht mit der Herde. Fliegt in die entgegengesetzte Richtung mit einem völlig anderen Winkel als der Relaxation der Vögel.

Verschiebungskonsistenz (DC)

Wir formalisieren dies als Displacement Consistency (DC). Die Idee ist einfach:

1. Erstellen Sie einen Referenzsatz fundierter Frage-Antwort-Paare aus Ihrer Area
2. Suchen Sie für ein neues Frage-Antwort-Paar nach den benachbarten Fragen im Referenzsatz
3. Berechnen Sie die mittlere Verschiebungsrichtung dieser Nachbarn
4. Messen Sie, wie intestine die neue Verschiebung mit dieser mittleren Richtung übereinstimmt

Bodenständige Antworten passen intestine zusammen. Halluzinierte Reaktionen nicht. Das ist es. Eine Kosinusähnlichkeit. Zum Zeitpunkt der Inferenz sind keine Quelldokumente erforderlich. Keine mehreren Generationen. Keine Modellinterna.

Und es funktioniert bemerkenswert intestine. Über fünf architektonisch unterschiedliche Einbettungsmodelle und mehrere Halluzinations-Benchmarks, darunter HaluEval und TruthfulQA, erreicht DC eine nahezu perfekte Unterscheidung. Die Verteilungen überschneiden sich kaum.

Der Haken: Area-Lokalität

Wir haben DC anhand von fünf Einbettungsmodellen getestet, die ausgewählt wurden, um die Architekturvielfalt abzudecken: MPNet-basierte kontrastive Feinabstimmung (all-mpnet-base-v2), schwach überwachtes Vortraining (E5-large-v2), anweisungsgesteuertes Coaching mit harten Negativen (BGE-large-en-v1.5), Encoder-Decoder-Anpassung (GTR-T5-large) und effiziente Architekturen mit langem Kontext (nomic-embed-text-v1.5). Wenn DC nur mit einer Architektur arbeiten würde, könnte es sich um ein Artefakt dieses bestimmten Modells handeln. Konsistente Ergebnisse über architektonisch unterschiedliche Modelle hinweg lassen darauf schließen, dass die Struktur grundlegend ist.

Die Ergebnisse waren konsistent. DC erreichte in unserem synthetischen Benchmark bei allen fünf Modellen einen AUROC von 1,0. Aber synthetische Benchmarks können irreführend sein – möglicherweise sind nach Domänen gemischte Antworten einfach zu leicht zu erkennen.

Deshalb haben wir anhand etablierter Halluzinationsdatensätze validiert: HaluEval-QA, das LLM-generierte Halluzinationen enthält, die speziell darauf ausgelegt sind, subtil zu sein; HaluEval-Dialog, mit Antworten, die vom Gesprächskontext abweichen; und TruthfulQA, das häufige Missverständnisse testet, an die Menschen häufig glauben.

DC wahrte bei allen eine perfekte Unterscheidung. Keine Verschlechterung von synthetischen zu realistischen Benchmarks.

Zum Vergleich: Verhältnisbasierte Methoden, die messen, wo Antworten im Verhältnis zu Anfragen landen (und nicht die Richtung, in die sie sich bewegen), erreichten einen AUROC von etwa 0,70–0,81. Der Abstand – etwa 0,20 absolute AUROC – ist beträchtlich und bei allen getesteten Modellen gleichbleibend.

Die Punkteverteilungen erzählen die Geschichte visuell. Bei hohen DC-Werten (ca. 0,9) häufen sich geerdete Antworten stark. Halluzinierte Reaktionen breiten sich bei niedrigeren Werten (ca. 0,3) aus. Die Verteilungen überschneiden sich kaum.

DC erreicht eine perfekte Erkennung innerhalb eine enge Domäne. Wenn Sie jedoch versuchen, einen Referenzsatz aus einer Domäne zu verwenden, um Halluzinationen in einer anderen Domäne zu erkennen, sinkt die Leistung auf zufällig – AUROC etwa 0,50. Dies verrät uns etwas Grundlegendes darüber, wie Einbettungen die Erdung kodieren. Es ist gleichbedeutend damit, verschiedene Schwärme am Himmel zu sehen: Jeder Schwarm wird eine andere Richtung haben.

Bei LLMs lässt sich dies am einfachsten anhand der Vorstellung dessen verstehen, was in der Geometrie als „Faserbündel“ bezeichnet wird.

Die Fläche in Abbildung 1 ist die Basismannigfaltigkeit, die alle möglichen Fragen darstellt. An jedem Punkt dieser Oberfläche gibt es eine Faser: eine Linie, die in die Richtung zeigt, in die sich geerdete Reaktionen bewegen. Innerhalb eines lokalen Bereichs der Oberfläche (einer bestimmten Domäne) zeigen alle Fasern ungefähr in die gleiche Richtung. Deshalb funktioniert DC vor Ort so intestine.

Aber international gesehen, über verschiedene Regionen hinweg, weisen die Fasern in unterschiedliche Richtungen. Die „grundlegende Richtung“ für rechtliche Fragen unterscheidet sich von der „grundlegenden Richtung“ für medizinische Fragen. Es gibt kein einheitliches globales Muster. Nur lokale Kohärenz.

Schauen Sie sich nun das folgende Video an. Vogelflugrouten, die Europa und Afrika verbinden. Wir können die Faserbündel sehen. Verschiedene Vögel (mittelgroß/groß, klein, Insekten) haben unterschiedliche Richtungen.

In der Differentialgeometrie heißt diese Struktur lokale Trivialität ohne globale Trivialität. Jeder Patch des Verteilers sieht im Inneren einfach und konsistent aus. Die Patches können jedoch nicht in einem globalen Koordinatensystem zusammengefügt werden.

Dies hat eine bemerkenswerte Auswirkung:

Erdung ist keine universelle geometrische Eigenschaft

Es gibt keine einheitliche „Richtung der Wahrhaftigkeit“ beim Einbetten von Raum. Jede Domäne – jeder Aufgabentyp, jedes LLM – entwickelt während des Trainings sein eigenes Verschiebungsmuster. Die Muster sind actual und erkennbar, aber sie sind domänenspezifisch. Vögel wandern nicht in die gleiche Richtung.

Was das praktisch bedeutet

Für die Bereitstellung bedeutet die Domänenlokalitätsfindung, dass Sie einen kleinen Kalibrierungssatz (ca. 100 Beispiele) benötigen, der auf Ihren spezifischen Anwendungsfall abgestimmt ist. Ein juristisches Frage-und-Antwort-System braucht juristische Beispiele. Ein medizinischer Chatbot braucht medizinische Beispiele. Dabei handelt es sich um einmalige Vorabkosten – die Kalibrierung erfolgt offline –, die jedoch nicht übersprungen werden können.

Für das Verständnis von Einbettungen legen die Ergebnisse nahe, dass diese Modelle eine umfassendere Struktur kodieren, als wir normalerweise annehmen. Sie lernen nicht nur „Ähnlichkeit“. Sie lernen domänenspezifische Zuordnungen, deren Störung zuverlässig Halluzinationen signalisiert.

Der rote Vogel tut es nicht

Die halluzinierte Reaktion hat keinen Marker, der besagt: „Ich bin erfunden.“ Es ist fließend. Es ist zuversichtlich. Es sieht genau wie eine fundierte Antwort auf jede oberflächliche Metrik aus.

Aber es bewegt sich nicht mit der Herde. Und jetzt können wir das messen.

Die Geometrie battle schon immer da und spiegelt sich in der Artwork und Weise wider, wie kontrastierendes Coaching den eingebetteten Raum formt. Wir lernen gerade, es zu lesen.

---

Hinweise:

Das vollständige Papier finden Sie unter https://cert-framework.com/docs/analysis/dc-paper.

Wenn Sie Fragen zu den besprochenen Themen haben, können Sie mich gerne unter kontaktieren (e-mail protected)

SAN FRANCISCO-27. Juni 2025-CTGT, mit dem Unternehmen KI für Hochrisiko-Anwendungsfälle einsetzen können, kündigte heute ein Improve auf der Plattform an, mit der Verzerrungen, Halluzinationen und andere unerwünschte Modellfunktionen von Deepseek und anderen Open-Supply-KI-Modellen entfernt werden sollen. Bei der Prüfung struggle CTGT nachweislich, dass Deepseek 96 Prozent der sensiblen Fragen beantworten kann, verglichen mit 32 Prozent ursprünglich.

CTGT demonstrierte seine neuen Plattform-Upgrades zum ersten Mal bei VentureBeat Remodel 2025, das vom 24. bis 25. Juni in San Francisco stattfand. CTGT struggle einer von nur sieben Finalisten für das VentureBeat Innovation Showcase und wurde zum Abschluss der Veranstaltung von den Richtern zum Prime -Gewinner des Showcases ernannt.

In den letzten Monaten hat CTGT eine Infrastruktur für einen führenden Versicherer aufgebaut, um sicherzustellen, dass ihre KI -korrekte komplexe Ansprüche ordnungsgemäß kodiert, was dazu führte, dass der Versicherer in nur einer Woche ein finanzielles Engagement in Höhe von über 1 Mio. USD vermeidet. CTGT architektiert auch das Schiff der Genai -E -Mail -Einhaltung einer großen Financial institution, indem sie die Compliance -Modelle des Unternehmens automatisch in der Produktion aktualisiert, ohne sie offline machen zu müssen.

Laut McKinsey wurden im Jahr 2024 globale Verluste in Höhe von 67,4 Milliarden US -Greenback an AI -Halluzinationen in Branchen in Verbindung gebracht. Deloitte -Daten haben gezeigt, dass 47 Prozent der KI -Nutzer von Unternehmen zugegeben haben, mindestens eine wichtige Geschäftsentscheidung auf der Grundlage hallukinierter Produktion zu treffen. Das Drawback scheint sich zu verschlechtern, wobei neuere Versionen einiger Modelle mehr als die älteren halluzinieren. Das kürzlich gestartete Chatgpt 4.5 -Modell hat eine Halluzinationsrate von 30 Prozent – die schlechteste aller Zeiten. Die Halluzinationsrate von Deepseek R1 beträgt 14,9 Prozent, und ein Großteil seiner Fehlinformationen ist beabsichtigt und von der chinesischen Regierung in das Modell codiert.

In einer Umgebung mit hoher Einsätze können diese Modelle nicht vertrauen.

CTGT startete im Februar 2025 mit 7 Mio. USD für die Finanzierung von Gradienten (Google-KI-Fonds im Frühstadium), Common Catalyst, Y Combinator, Liquid 2, Deepwater und bemerkenswerte Engel, darunter François Chollet (Google, Schöpfer von Keras), Michael Seibin (Y-Kombinator, Co-Fundure-Twitch) und Paul Graham (y Combinator). Zunächst konzentrierte sich CTGT auf die Reduzierung des zum Trainieren und Einsatzes von AI-Modellen erforderlichen Berechnung-etwas, das es recht intestine abschneidet, und die Berechnung um eine Größenordnung reduziert, indem es die Notwendigkeit von Feinabstimmung, schneller Ingenieurwesen und Backpropagation beseitigt.

„Deepseeks Einführung von R1 hat viele Unternehmen dazu veranlasst, um Hilfe zu suchen-sie waren daran interessiert, die niedrigen Kosten und die Geschwindigkeit von Deepseek zu nutzen, aber besorgt über Voreingenommenheit“, sagte Cyril Gorlla, Mitbegründerin und CEO von CTGT. „Beim Testen struggle CTGT in der Lage, die genauen Modellmerkmale zu identifizieren, die eine Verzerrung verursachen und entfernen, so dass Deepseek R1 ohne Voreingenommenheit funktionieren konnte. CTGT hat inzwischen die gleichen Exams an anderen Open-Supply-Modellen durchgeführt, darunter Lama, was beweist, dass es zu erkennen und zu entfernen kann, dass Tendenz, Halluzinationen und andere unerwünschte Merkmale in Minuten, ohne dass es zu den maßgeblichen und kostspieligen, und kostspieligen Fitern, und das Erzielen, und das Abzügeln, die zugänglich sind, und es zu kostspieligen und kostspieligem und ordnungsgemäßen Abzügen. CTGT -Plattform. “

„Die Vertrauenswürdigkeit des KI -Modells ist ein großes Hindernis für Unternehmen, die ihre KI -Investitionen Rendite erzielen“, sagte Gorlla. „Jede Woche habe ich Anrufe von Fortune 500 -Führungskräften vorgenommen, die Ratschläge zur Lösung dieses Issues wünschen. Nachdem wir in den letzten Monaten kundenspezifische Arbeiten in diesem Bereich geleistet haben, haben wir unseren Ansatz jetzt in die CTGT -Plattform produziert und es jedem zur Verfügung gestellt.“