1. Die große Übersetzungsabsurdität
Lieblings-RAG-System. Ganz genau.
Irgendwo innerhalb dieser sorgfältig entworfenen Pipeline erzeugt ein Sprachmodell reichhaltige, hochdimensionale verborgene Zustände. Diese Zustände werden in eine Zeichenfolge komprimiert. Diese Zeichenfolge wird von a neu codiert anders neuronales Netzwerk, in einen anderen hochdimensionalen Raum. Dieser Vektor wird gespeichert. Später wird ein anderer Vektor damit verglichen. Die Siegersaiten werden herausgezogen, zusammengeklebt und einem gegeben dritte Modell, das aus diesen Charakteren mühsam einen verborgenen Zustand aufbaut.
Wir haben dies als „Erinnerung“ bezeichnet. Ein ehrlicherer Title wäre: ein sehr aufwändiges Telefonspiel mit hoher Latenz, bei dem jeder Spieler ein neuronales Netzwerk ist.
Die vollständige Kette, deutlich gezeichnet:
Hidden State → Generate Textual content → Embed Textual content → Retailer Vector → Retrieve Vector → Append Textual content → Recompute Hidden State
Lesen Sie diese Pfeilkette zweimal. Zwei der sieben Stadien sind neuronaler Natur. Die anderen fünf existieren nur, weil wir den neuronalen Zustand selbst noch nicht aufrechterhalten können. Deshalb haben wir eine ganze Industrie aufgebaut, um ihn jedes Mal aus Textual content zu rekonstruieren, wenn wir ihn wieder brauchten. Vektordatenbanken, Einbettungsmodelle, Reranker, Chunking-Heuristiken, Retrieval-Evaluatoren – ein ganzes Ökosystem, um ein fehlendes Function zu umgehen.
Das alles ist keine Kritik an den Ingenieuren, die es gebaut haben. Angesichts der Primitiven, die sie hatten, struggle RAG das Rechts Lösung. Aber wir sollten ehrlich sein, was es ist: eine Übersetzungsschicht mit hohem Overhead, kein Speichersystem.
Dies ist kein Argument gegen RAG. Es ist ein Argument, dass RAG a löst vorübergehend Dies stellt keine Systembeschränkung dar, sondern stellt die endgültige Architektur für den KI-Speicher dar.
2. Die Kontextfenster-Phantasm
Ich kann mit Sicherheit davon ausgehen, dass sich der Standardeinwand mittlerweile im Kopf des Lesers erwärmt. „Das alles spielt keine Rolle. Verwenden Sie einfach ein Kontextfenster mit zwei Millionen Token und werfen Sie alles hinein.“
Fairer Einwand. Auch nein.
Größere Kontextfenster lösen Kapazität. Sie lösen sich nicht Portabilität. Sie lösen sich nicht Beharrlichkeit. Und sie lösen insbesondere keines dieser Probleme in den Umgebungen, die das nächste Jahrzehnt der angewandten KI bestimmen werden.
Stellen Sie sich vor, ein autonomer Agent übergibt eine Aufgabe an einen anderen. Oder ein Edge-Gerät (z. B. eine Drohne, ein Telefon, ein Roboter, ein Netzwerkknoten), das sich zwischen Rechenclustern bewegt. Oder eine Multi-Agent-Pipeline, in der der Router, der Device-Aufrufer, der Sicherheitsfilter und der Finaliser alle in unterschiedlichen Prozessen auf unterschiedlichen Maschinen leben.
In jeder dieser Einstellungen kann die Übertragungseinheit zwischen zwei Computern praktisch keine Zwei-Millionen-Token-Eingabeaufforderung sein. Die Bandbreitenkosten sind strafbar. Die Re-Tokenisierung ist verschwendete Arbeit. Und der Empfänger muss es immer noch tun noch einmal lesen das gesamte Transkript – ein vollständiger Vorabausfüllungsdurchgang über jedes Token –, um irgendeinen Anschein des Argumentationszustands des Absenders zu rekonstruieren. Selbst auf moderner {Hardware} ist das kein kostenloser Vorgang. Es ist genau das ursprüngliche Drawback, gekleidet in ein größeres Kontextfenster.
Ein größerer Kontext ist ein besseres Buch. Es ist keine Möglichkeit, Ihren letzten Gedanken zu teleportieren.
3. Die Realität des Systemingenieurs (Latenzbudgets)
Die schnelle Entwicklung endet mit der Frage: „Gibt das Modell die richtige Antwort?“
Programs Engineering beginnt bei „…und in welcher Millisekunde?“
Nachfolgend finden Sie ein grobes, veranschaulichendes Latenzbudget für einen einzelnen RAG-Anruf. Es ist die Artwork von Zusammenfassung, die Sie kritzeln, wenn Ihr Latenz-Service-Degree-Settlement zum ersten Mal nicht mehr großzügig ist:
| Schritt | Illustrative Latenz (ms) |
|---|---|
| Token-Generierung (Upstream) | 15 |
| Einbetten | 12 |
| Netzwerk-E/A | 8 |
| Vektorsuche | 25 |
| Neueinstufung | 10 |
| Prompter Wiederaufbau | 15 |
| Dekodierung | 50 |
| Gesamt | ≈ 135 ms |
Das sind blockierend, sequentiell Operationen. Sie können mit der Dekodierung erst beginnen, wenn die Eingabeaufforderung rekonstruiert wurde. Sie können die Eingabeaufforderung erst rekonstruieren, wenn der Netzwerk-Hop und die Vektorsuche zurückgekehrt sind. Jede Millisekunde in dieser Spalte muss warten, bis die vorherige abgeschlossen ist.
In einem Chatbot sind 135 Millisekunden unsichtbar. Niemand beschwert sich.
In einem kontinuierlichen Robotik-Regelkreis, einem haptischen Feedbacksystem, einem selbstfahrenden Stapel oder einer drahtlosen Basisstationsübergabe zwischen Funkzugangsknoten sind 135 Millisekunden nicht der Fall innerhalb das Funds. Es Ist das Funds, das vollständig für die Set up ausgegeben wurde, bevor das Modell etwas Nützliches gesagt hat.
Hier hört die Forcierungsfunktion auf, akademisch zu sein. Bei der direkten GPU-zu-GPU-Übertragung eines latenten Zustands werden der Einbettungsschritt, der Netzwerksprung zu einem Vektorspeicher, die Abrufabfrage, das Reranker und die sofortige Rekonstruktion übersprungen. Sie machen nicht jeden einzelnen Schritt schneller. Sie entfernen sie aus der Pipeline. In Bereichen, in denen bereits jede Millisekunde gefragt ist, ist dies die einzige Artwork von „Beschleunigung“, die tatsächlich zählt.
4. Der Evolutionsbogen der Erinnerung
Dies ist nicht das erste Mal, dass das Fachgebiet eine Übersetzungsebene ausgehöhlt hat. Grob gesagt ist es der fünfte.
Jede Part auf diesem Diagramm struggle einmal das Endspiel von irgendjemandem. Keiner von ihnen blieb im Endspiel.
Uncooked Information → Relational DBs → Search Indices → Textual content Embeddings → Vector Search → Latent Persistence
Jede Stufe in dieser Kette löste das Abrufproblem auf einer höheren Abstraktionsebene als die vorherige, und jede Stufe hörte schließlich auf, die primäre Schnittstelle zu sein. Relationale Datenbanken verschwanden nicht – sie wurden stillschweigend zur Speicherschicht, die unter allem anderen liegt. Suchindizes verschwanden nicht – sie wurden zu einem Function auf größeren Plattformen. Texteinbettungen verschwanden nicht – sie läuteten das Zeitalter der Vektorsuche ein. Jede Schicht lebt weiter. Es ist einfach nicht mehr der Ort, an dem neue Anwendungen erstellt werden.
Die Vektorsuche ist in dem, wofür sie eigentlich entwickelt wurde, außergewöhnlich: Suche in Unternehmensdokumenten, semantische Wissensgraphen, Abruf biologischer Sequenzen, Codeerkennung, Empfehlung. Es wird nicht verschwinden. Was sich wahrscheinlich ändern wird, ist seine Rolle als Standardmechanismus für das Konversationsgedächtnis für KI-Systeme. Diese Rolle ist eine vorübergehende Brücke, die durch die Tatsache zusammengehalten wird, dass Modelle ihren eigenen Zustand noch nicht nativ beibehalten können.
Jede bisherige „temporäre Brücke“ in dieser Kette struggle irgendwann nicht mehr die primäre Schnittstelle. Es gibt keinen offensichtlichen Grund, warum dies anders sein wird.
5. Die Umsetzungsrealität
Nichts davon bedeutet, dass es einfach ist, den latenten Zustand beizubehalten. Es ist tatsächlich spektakulär schwer.
Im Gegensatz zu Textual content, der ein stabiles, universelles, standardisiertes modellunabhängiges Austauschformat ist, sind latente Darstellungen dies modellspezifisch und oft architekturübergreifend instabil. Diese einzelne Tatsache macht Interoperabilität zur zentralen Forschungsherausforderung und nicht zu einem gelösten Nebendetail.
Bei der direkten Speicherinjektion handelt es sich nicht um einen API-Aufruf, den Sie beiläufig zu Ihrem Stack hinzufügen. Um einen lebenden neuronalen Zustand zwischen zwei Modellen zu verschieben, müssen Sie sich um mehrere unangenehme Particulars gleichzeitig kümmern:
- Architektonische Kompatibilität. Ebenenanzahl, versteckte Dimensionen, Aufmerksamkeitslayouts, KV-Cache-Formate – sie müssen aufeinander abgestimmt sein.
- Präzises Matching. Wenn Sie einen fp16-Standing in ein bf16-Modell senden, weichen die Zahlen zunächst geringfügig und dann nicht mehr so geringfügig ab.
- Ebenennormalisierung und Restskalierung. Zwei Modelle mit identischer Topologie können dennoch in unterschiedlich großen verborgenen Räumen leben.
- Positions- und rotatorische Einbettungsausrichtung. RoPE-Offsets, absolute Positionen, Sequenz-Positions-Buchhaltung. Wenn Sie etwas davon falsch machen, wird der übertragene Zustand als sicher kohärenter Unsinn dekodiert – was wohl der schlimmste Fehlermodus ist, den ein Speichersystem haben kann.
Aus diesem Grund ist „einfach den verborgenen Zustand beibehalten“ ein Forschungsthema und kein eingeschweißtes Produkt geblieben. Der Interoperabilitätsvertrag ist Schwerer als der Interoperabilitätsvertrag der RAG, und genau deshalb wurde die RAG zuerst ausgeliefert. Textual content ist das universelle Fallback-Protokoll, da es alles Harte entfernt.
Forschungsrichtungen wie Induktive latente Kontextpersistenz (ILCP) Versuchen Sie, genau diese Protokollausrichtungen zu lösen – indem Sie auf der einen Seite eine komprimierte, tragbare Darstellung des Zustands auf der Quellseite und auf der anderen Seite eine Projektion auf der Empfängerseite lernen, die ihn wieder in den Raum des Zielmodells abbildet. Ansätze dieser Artwork werden in angrenzenden Bereichen, einschließlich Mobilfunknetzen, aktiv erforscht, wo die übertragene Latenz einen Wechsel der empfangenden Basisstation in einem knappen Zeitbudget von weniger als einer Sekunde überstehen muss. Der ehrliche Stand der Technik ist jedoch, dass diese Frameworks derzeit nur unter funktionieren strenge architektonische Kompatibilität – normalerweise identische Modelle an beiden Enden – und dass die Aufhebung der Kompatibilitätsbeschränkung ein offenes Forschungsproblem und kein gelöstes ist.
Das ist eine viel engere Behauptung als „Vektordatenbanken sind tot.“ Es ist auch viel nützlicher.
6. Das Mitnehmen
Hier ist die nicht-hyperbolische Model der Vorhersage:
Mit zunehmender Reifung des persistenten neuronalen Zustands wird textuelles RAG zunehmend zu einem Interoperabilitätsschicht eher als die primärer Speichermechanismus für KI-Agenten.
Textual content Retrieval wird weiterhin die Aufgabe erfüllen, in der es wirklich großartig ist: an der Grenze zu sitzen, an der eine Maschine sich einer anderen Maschine, die ihre Architektur nicht teilt, oder einem Menschen erklären muss. Das ist das tatsächlich Stärke des RAG-Stacks, und es geht nirgendwo hin.
Was verblassen wird, ist die Annahme, dass ein KI-System Speicher nur über eine Zeichenfolge an ein anderes KI-System weitergeben kann. Diese Annahme struggle vor fünf Jahren vernünftig. Von Quartal zu Quartal wird es weniger vernünftig.
RAG struggle nie das Ziel. Es struggle die Problemumgehung, die wir alle entwickelt haben, während wir auf die eigentliche Lösung warteten.
Jahrzehntelang speicherten Laptop Wissen als Symbole. AI tat kurzzeitig dasselbe. Die nächste Technology von KI-Systemen könnte sich endlich an die Artwork und Weise erinnern, wie neuronale Netze denken – und nicht an die Artwork und Weise, wie Menschen schreiben.
Haftungsausschluss: Die Illustrationen in diesem Artikel wurden mit KI (Claude Opus 4.8) erstellt. Sie dienen der Veranschaulichung und sind nicht fotografisch, und alle in den Bildern sichtbaren Beschriftungen sind stilisiert und nicht maßgebend. Genaue Funktionsnamen, Metrikwerte und Architekturdetails finden Sie im Artikeltext und im Code selbst.