# Einführung

Abruf-erweiterte Era (RAG) hat sich als Standardansatz für die Verbindung von Dokumenten mit großen Sprachmodellen (LLMs) herausgestellt.

Das Muster ist einfach: Betten Sie einen Korpus ein, rufen Sie die relevantesten Teile anhand der Vektorähnlichkeit ab und fügen Sie sie in eine Eingabeaufforderung ein. Es funktioniert intestine in Demos und vielen Produktionssystemen. Es scheitert auch auf vorhersehbare und dokumentierte Weise, die sich erst im großen Maßstab zeigt.

Hier sehen Sie, wie diese Fehlermodi aussehen und nach welchen Alternativen Ingenieure suchen, um sie zu beheben.

# Wenn RAG in der Produktion ausfällt

Das häufigste Fehlermuster ist die Irrelevanz des Abrufs. Ein Benutzer fragt eine Elternurlaubsrichtlinie ab. Der Retriever gibt die Model 2022, die Model 2024 und einen kulturellen Blogbeitrag zurück. Jeder Chunk erzielt eine hohe Einbettungsdistanz, da er das Vokabular mit der Abfrage teilt. Keiner von ihnen beantwortet die Frage, die der Benutzer tatsächlich gestellt hat.

Das Modell weiß nicht, dass der abgerufene Inhalt veraltet oder nicht zum Thema gehört. Es fügt die einzelnen Teile zu einer sicheren, detaillierten Antwort zusammen, die sachlich falsch ist. Hierbei handelt es sich um eine thematische Ähnlichkeit ohne sachliche Relevanz, und es handelt sich um den vorherrschenden Fehlermodus in Produktions-RAG-Systemen.

Eine subtilere Variante ist die Kontextvergiftung. Wissensdatenbanken für Unternehmen Oftmals gibt es dasselbe Richtliniendokument in mehreren Versionen. Wenn der Retriever Blöcke von beiden zurückgibt, deckt das Modell den Widerspruch nicht auf. Es wählt eines aus, mischt beides oder präsentiert eine selbstbewusste Synthese. Der Leser bekommt eine Antwort. Die Antwort könnte falsch sein. Weder der Benutzer noch das Modell wissen es.

Die zugrunde liegende Ursache ist ein struktureller Konflikt in der Chunk-Embed-Retrieve-Pipeline. Für einen guten Abruf sind kleine Stücke, etwa 100 bis 256 Token, für einen gezielten Abruf erforderlich. Für ein gutes Kontextverständnis sind für die Kohärenz große Blöcke, 1.024 Token oder mehr, erforderlich. Jeder RAG-Designer wählt einen aus und akzeptiert den Kompromiss.

# Die häufigste (falsche) Lösung: Over-Engineering

Wenn die Normal-RAG eine unzureichende Leistung erbringt, besteht die übliche Lösung darin, sie komplizierter zu machen: höherdimensionale Einbettungen, anspruchsvolleres Reranking, mehrstufiger Abruf. Dies verschärft das Drawback.

A globales Produktionsunternehmen hat für sein RAG-System 400.000 US-Greenback veranschlagt. Das erste Jahr kostete 1,2 Millionen US-Greenback. Endgültige Genauigkeit bei Fragen zur technischen Dokumentation: 23 %. Das Projekt wurde beendet. Ein Unternehmen im Gesundheitswesen verzeichnete im sechsten Monat Kosten für Vektordatenbanken in Höhe von 75.000 US-Greenback professional Monat. Diese Ergebnisse spiegeln ein breiteres Muster wider: RAG-Implementierungen in Unternehmen hatten im Jahr 2025 eine Ausfallrate von 72 % im ersten Jahr.

Höhere Einbettungsdimensionen und ausgefeiltere Vektormodelle verbessern nicht automatisch die Leistung. Sie erhöhen die Rechenkosten und verzögern die sinnvollere Frage, ob die Retrieval-Architektur struggle überhaupt die richtige Wahl.

# Alternativen, wenn RAG ausfällt

// Eingabeaufforderung mit langem Kontext

Die direkteste Various zum Over-Engineering einer angeschlagenen RAG-Pipeline besteht darin, den Abruf vollständig zu überspringen.

Wenn der Korpus in das Kontextfenster des Modells passt, laden Sie ihn und lassen Sie das Modell lesen. A Benchmark-Studie fanden heraus, dass LLMs mit langem Kontext RAG bei QS-Aufgaben durchweg übertrafen, wenn Rechenleistung verfügbar struggle, wobei der Chunk-basierte Abruf am meisten hinterherhinkte.

Der Kostenkompromiss ist erheblich. Bei 1 Mio. Token ist die Latenz 30- bis 60-mal langsamer als bei einer RAG-Pipeline, was etwa dem 1.250-fachen der Kosten professional Abfrage entspricht. Durch schnelles Caching für Anwendungen mit hohem Datenverkehr können lange Kontexte kostengünstiger werden.

Eine gängige Entscheidungsregel: Wenn das Korpus in das Kontextfenster passt und das Abfragevolumen moderat ist, ist die Eingabeaufforderung mit langem Kontext der sauberere Ausgangspunkt. Fügen Sie den Abruf nur hinzu, wenn der Korpus das Fenster überschreitet, die Latenz gegen Service Stage Goals (SLOs) verstößt oder das Abfragevolumen den wirtschaftlichen Break-Even-Punkt überschreitet.

// Speicherkomprimierung

Wenn der Korpus zu groß für das Kontextfenster ist, fassen Sie ihn vor dem Abrufen zusammen. Beim auf Zusammenfassungen basierenden Abruf werden Dokumente vor dem Einfügen komprimiert, anstatt Rohteile abzurufen. Benchmarks zeigen Die Leistung dieses Ansatzes ist vergleichbar mit vollständigen Lengthy-Context-Methoden, während der Chunk-basierte Abruf durchweg hinter beiden zurückbleibt.

Eins konkretes Ergebnis: Ein reihenfolgeerhaltender RAG-Ansatz mit 48.000 sorgfältig ausgewählten Token übertraf den Vollkontextabruf mit 117.000 Token um 13 F1-Punkte, bei einem Siebtel des Token-Budgets. Ein intestine komprimiertes relevantes Dokument ist besser als ein roher Dump aus tangential zusammenhängenden Teilen.

// Strukturierter Abruf

Wenn der Abruf die richtige Architektur ist, besteht die Lösung darin, nach Abfragetyp weiterzuleiten, anstatt bessere Einbettungen einheitlich anzuwenden.

Forschung von EMNLP 2024 führte Self-Route ein, mit dem das Modell vor der Ausführung klassifizieren kann, ob eine Abfrage den vollständigen Kontext oder einen gezielten Abruf benötigt. Einfache sachliche Nachschlagewerke gehen an die fokussierte RAG. Komplexe Multi-Hop-Fragen, die ein globales Verständnis erfordern, beziehen sich auf einen langen Kontext.

Das Ergebnis: eine bessere Gesamtgenauigkeit bei geringerem Rechenaufwand. Adaptive Systeme, die diesen Hybridansatz nutzen gezeigt haben 15 bis 30 % höhere Abrufgenauigkeit durch Hybridsuche und Reranking.

Die wichtigste Änderung besteht darin, das Routing explizit zu machen. Jede Abfrage wird klassifiziert, bevor ein Abruf ausgeführt wird, und das System behandelt nicht mehr alle Abfragen als identische Einbettungsprobleme.

// Graphbasiertes Denken

Bei Abfragen, bei denen es darum geht, Beziehungen innerhalb eines Datensatzes zu verstehen, anstatt eine bestimmte Passage abzurufen, schlägt der Vektorabruf konstruktionsbedingt fehl.

Dies sind die Multi-Hop-Fragen: Welche Entscheidungen hat der Vorstand im dritten Quartal rückgängig gemacht und was struggle jeweils der angegebene Grund? Kein einzelner Brocken beantwortet diese Frage. Die Antwort liegt in den Verbindungen zwischen Dokumenten.

Microsoft Analysis vorgestellt GraphRAG im Jahr 2024. Das System erstellt einen Wissensgraphen aus dem Korpus und durchläuft dann Entitätsbeziehungen, anstatt Vektoren abzugleichen.

Es befasst sich direkt mit dem Fehlerfall, den Normal-RAG nicht bewältigen kann: Synthese über mehrere Dokumente hinweg, die relationales Denken erfordert.

Der Kompromiss sind die Kosten. Die Extraktion von Wissensgraphen ist drei- bis fünfmal teurer als die Foundation-RAG und erfordert eine domänenspezifische Optimierung. GraphRAG ist den Aufwand für thematische Analysen und Multi-Hop-Argumentation wert. Bei Einzeldurchgangs-Faktensuche ist dies nicht der Fall.

# Abschluss

RAG ist für viele Anwendungsfälle ein sinnvoller Normal.

Es bricht auch auf vorhersehbare Weise: Irrelevanz des Abrufs, wenn das Vokabular übereinstimmt, die Semantik jedoch divergiert, Kontextvergiftung, wenn widersprüchliche Versionen im Korpus vorhanden sind, und strukturelle Grenzen, wenn die Blockgröße nicht sowohl Abruf als auch Kohärenz gleichzeitig erfüllen kann. Je komplexer ein fehlerhaftes Retrieval-Design wird, desto teurer werden diese Probleme.

Je nach Scenario gibt es vier bessere Wege:

1. Wenn der Korpus in das Kontextfenster passt, vermeidet die Eingabeaufforderung mit langem Kontext das Abrufproblem vollständig.
2. Wenn eine Kontextkomprimierung erforderlich ist, übertrifft die Zusammenfassung vor dem Abruf den Rohblockabruf.
3. Wenn Abfragen je nach Typ variieren, verbessert explizites Routing mit strukturiertem Abruf sowohl die Genauigkeit als auch die Kosten.
4. Wenn Abfragen eine relationale Synthese über Dokumente hinweg erfordern, ist graphbasiertes Denken die richtige Architektur.

Passen Sie die Architektur an den Abfragetyp an.

Nate Rosidi ist Datenwissenschaftler und in der Produktstrategie tätig. Er ist außerdem außerordentlicher Professor für Analytik und Gründer von StrataScratch, einer Plattform, die Datenwissenschaftlern hilft, sich mit echten Interviewfragen von High-Unternehmen auf ihre Interviews vorzubereiten. Nate schreibt über die neuesten Traits auf dem Karrieremarkt, gibt Ratschläge zu Vorstellungsgesprächen, stellt Information-Science-Projekte vor und behandelt alles rund um SQL.

Duktales Carcinoma in situ (DCIS) ist ein präinvasiver Tumortyp, der sich manchmal zu einer tödlichen Kind von Brustkrebs entwickelt. Er ist für etwa 25 Prozent aller Brustkrebsdiagnosen verantwortlich.

Da es für Ärzte schwierig ist, den Typ und das Stadium von DCIS zu bestimmen, werden Patientinnen mit DCIS häufig überbehandelt. Um dieses Downside zu lösen, entwickelte ein interdisziplinäres Forscherteam des MIT und der ETH Zürich ein KI-Modell, das die verschiedenen Stadien von DCIS anhand eines kostengünstigen und leicht erhältlichen Brustgewebebildes identifizieren kann. Ihr Modell zeigt, dass sowohl der Zustand als auch die Anordnung der Zellen in einer Gewebeprobe wichtig sind, um das Stadium von DCIS zu bestimmen.

Da solche Gewebebilder so einfach zu erhalten sind, konnten die Forscher einen der größten Datensätze seiner Artwork erstellen, den sie zum Trainieren und Testen ihres Modells verwendeten. Als sie die Vorhersagen mit den Schlussfolgerungen eines Pathologen verglichen, stellten sie in vielen Fällen klare Übereinstimmungen fest.

In Zukunft könnte das Modell als Hilfsmittel eingesetzt werden, um Klinikern die Diagnose einfacherer Fälle zu erleichtern, ohne dass arbeitsintensive Checks erforderlich wären. So bliebe ihnen mehr Zeit für die Beurteilung von Fällen, bei denen weniger klar ist, ob DCIS invasiv wird.

„Wir haben den ersten Schritt getan, um zu verstehen, dass wir bei der Diagnose von DCIS die räumliche Anordnung der Zellen betrachten sollten, und jetzt haben wir eine skalierbare Technik entwickelt. Von hier aus brauchen wir wirklich eine prospektive Studie. Die Zusammenarbeit mit einem Krankenhaus und die Überführung dieser Studie in die Klinik wird ein wichtiger Schritt nach vorne sein“, sagt Caroline Uhler, Professorin am Division of Electrical Engineering and Pc Science (EECS) und am Institute for Information, Methods, and Society (IDSS), die auch Direktorin des Eric and Wendy Schmidt Middle am Broad Institute of MIT and Harvard und Forscherin am Laboratory for Data and Resolution Methods (LIDS) des MIT ist.

Uhler, Co-Autor eines Artikels zu dieser Forschung, wird von der Hauptautorin Xinyi Zhang unterstützt, einer Doktorandin am EECS und am Eric and Wendy Schmidt Middle; dem Co-Autor GV Shivashankar, Professor für Mechogenomik an der ETH Zürich gemeinsam mit dem Paul Scherrer Institut; und weiteren Personen am MIT, der ETH Zürich und der Universität Palermo in Italien. Die frei zugängliche Forschung wurde veröffentlicht am 20. Juli in Naturkommunikation.

Bildgebung mit KI kombinieren

Bei 30 bis 50 Prozent der Patienten mit DCIS entwickelt sich ein hochinvasives Krebsstadium, doch den Forschern fehlen die Biomarker, die einem Kliniker mitteilen könnten, welche Tumore fortschreiten werden.

Forscher können Techniken wie Multiplexfärbung oder Einzelzell-RNA-Sequenzierung verwenden, um das Stadium von DCIS in Gewebeproben zu bestimmen. Diese Checks sind jedoch zu teuer, um sie in großem Umfang durchzuführen, erklärt Shivashankar.

In früheren Arbeiten zeigten diese Forscher, dass eine kostengünstige Bildgebungstechnik namens Chromatinfärbung ebenso aufschlussreich sein kann wie die wesentlich kostspieligere Einzelzell-RNA-Sequenzierung.

Für diese Forschung stellten sie die Hypothese auf, dass die Kombination dieser einzelnen Färbung mit einem sorgfältig entwickelten Modell des maschinellen Lernens dieselben Informationen über das Krebsstadium liefern könnte wie kostspieligere Techniken.

Zunächst erstellten sie einen Datensatz mit 560 Gewebeprobenbildern von 122 Patienten in drei verschiedenen Krankheitsstadien. Mit diesem Datensatz trainierten sie ein KI-Modell, das eine Darstellung des Zustands jeder Zelle in einem Gewebeprobenbild lernt, um daraus auf das Krebsstadium eines Patienten zu schließen.

Da jedoch nicht jede Zelle auf Krebs hinweist, mussten die Forscher sie auf sinnvolle Weise aggregieren.

Sie entwickelten das Modell, um Cluster von Zellen in ähnlichen Zuständen zu erstellen, und identifizierten acht Zustände, die wichtige Marker für DCIS sind. Einige Zellzustände weisen eher auf invasiven Krebs hin als andere. Das Modell bestimmt den Anteil der Zellen in jedem Zustand in einer Gewebeprobe.

Die Organisation ist wichtig

„Bei Krebs verändert sich jedoch auch die Organisation der Zellen. Wir haben festgestellt, dass es nicht ausreicht, nur die Proportionen der Zellen in jedem Zustand zu kennen. Man muss auch verstehen, wie die Zellen organisiert sind“, sagt Shivashankar.

Mit dieser Erkenntnis entwarfen sie das Modell so, dass es Proportionen und Anordnung der Zellzustände berücksichtigte, was die Genauigkeit deutlich steigerte.

„Für uns struggle es interessant zu sehen, wie wichtig die räumliche Organisation ist. Frühere Studien hatten gezeigt, dass Zellen, die sich in der Nähe des Brustgangs befinden, wichtig sind. Aber es ist auch wichtig zu berücksichtigen, welche Zellen sich in der Nähe welcher anderen Zellen befinden“, sagt Zhang.

Als sie die Ergebnisse ihres Modells mit von einem Pathologen untersuchten Proben verglichen, ergaben sie in vielen Fällen klare Übereinstimmung. In weniger eindeutigen Fällen konnte das Modell Informationen über Merkmale einer Gewebeprobe, wie etwa die Anordnung der Zellen, liefern, die ein Pathologe bei seiner Entscheidungsfindung verwenden konnte.

Dieses vielseitige Modell könnte auch für die Anwendung bei anderen Krebsarten oder sogar neurodegenerativen Erkrankungen angepasst werden – ein Bereich, den die Forscher derzeit ebenfalls untersuchen.

„Wir haben gezeigt, dass diese einfache Färbung mit den richtigen KI-Techniken sehr wirkungsvoll sein kann. Es gibt noch viel mehr Forschungsarbeit zu leisten, aber wir müssen die Organisation der Zellen in weiteren unserer Studien berücksichtigen“, sagt Uhler.

Diese Forschung wurde zum Teil vom Eric and Wendy Schmidt Middle am Broad Institute, der ETH Zürich, dem Paul Scherrer Institut, dem Schweizerischen Nationalfonds, den US Nationwide Institutes of Well being, dem US Workplace of Naval Analysis, der MIT Jameel Clinic for Machine Studying and Well being, dem MIT-IBM Watson AI Lab und einem Simons Investigator Award finanziert.