Aktie

Put up


Aktie

In diesem Artikel erfahren Sie, wie Vektordatenbanken funktionieren, von der Grundidee der Ähnlichkeitssuche bis hin zu den Indizierungsstrategien, die eine groß angelegte Recherche praktisch machen.

Zu den Themen, die wir behandeln werden, gehören:

• Wie Einbettungen unstrukturierte Daten in Vektoren umwandeln, die nach Ähnlichkeit durchsucht werden können.
• Wie Vektordatenbanken die Suche nach nächsten Nachbarn, Metadatenfilterung und Hybridabruf unterstützen.
• Wie Indizierungstechniken wie HNSW, IVF und PQ zur Skalierung der Vektorsuche in der Produktion beitragen.

Verschwenden wir keine Zeit mehr.

Einführung

Herkömmliche Datenbanken beantworten eine klar definierte Frage: Existiert der Datensatz, der diesen Kriterien entspricht? Vektordatenbanken Beantworten Sie eine andere Frage: Welche Datensätze sind diesem am ähnlichsten? Dieser Wandel ist wichtig, weil eine riesige Klasse moderner Daten – Dokumente, Bilder, Benutzerverhalten, Audio – kann nicht nach exakter Übereinstimmung durchsucht werden. Die richtige Abfrage lautet additionally nicht „finde dies“, sondern „finde, was diesem nahe kommt“. Einbetten von Modellen Machen Sie dies möglich, indem Sie Rohinhalte in Vektoren umwandeln, wobei geometrische Nähe semantischer Ähnlichkeit entspricht.

Das Drawback ist jedoch die Größe. Der Vergleich eines Abfragevektors mit jedem gespeicherten Vektor bedeutet Milliarden von Gleitkommaoperationen bei Produktionsdatengrößen, und diese Mathematik macht eine Echtzeitsuche unpraktisch. Vektordatenbanken lösen dieses Drawback mit Näherungsalgorithmen für den nächsten Nachbarn, die die überwiegende Mehrheit der Kandidaten überspringen und dennoch zu einem Bruchteil der Kosten nahezu identische Ergebnisse wie eine umfassende Suche liefern.

In diesem Artikel wird erklärt, wie das auf drei Ebenen funktioniert: das grundlegende Ähnlichkeitsproblem und was Vektoren ermöglichen, wie Produktionssysteme Einbettungen mit Filterung und Hybridsuche speichern und abfragen und schließlich die Indizierungsalgorithmen und Architekturentscheidungen, die dafür sorgen, dass alles im großen Maßstab funktioniert.

Ebene 1: Das Ähnlichkeitsproblem verstehen

Herkömmliche Datenbanken speichern strukturierte Daten – Zeilen, Spalten, Ganzzahlen, Zeichenfolgen – und rufen sie mit exakten Suchvorgängen oder Bereichsabfragen ab. SQL ist hierfür schnell und präzise. Viele reale Daten sind jedoch nicht strukturiert. Textdokumente, Bilder, Audio- und Benutzerverhaltensprotokolle passen nicht genau in Spalten, und „genaue Übereinstimmung“ ist für sie die falsche Abfrage.

Die Lösung besteht darin, diese Daten als Vektoren darzustellen: Arrays mit Gleitkommazahlen fester Länge. Ein Einbettungsmodell wie Textual content-Embedding-3-small von OpenAIoder ein Visionsmodell für Bilder, wandelt Rohinhalte in einen Vektor um, der seine semantische Bedeutung erfasst. Ähnliche Inhalte erzeugen ähnliche Vektoren. Beispielsweise liegen das Wort „Hund“ und das Wort „Welpe“ im Vektorraum geometrisch nahe beieinander. Auch ein Foto einer Katze und eine Zeichnung einer Katze landen in der Nähe.

Eine Vektordatenbank speichert diese Einbettungen und ermöglicht die Suche nach Ähnlichkeit: „Finde mir die 10 Vektoren, die diesem Abfragevektor am nächsten kommen.“ Dies wird als Suche nach nächsten Nachbarn bezeichnet.

Ebene 2: Vektoren speichern und abfragen

Einbettungen

Bevor eine Vektordatenbank etwas bewirken kann, müssen Inhalte in Vektoren umgewandelt werden. Dies geschieht durch die Einbettung von Modellen – neuronalen Netzen, die Eingaben in einen dichten Vektorraum abbilden, typischerweise mit 256 bis 4096 Dimensionen, je nach Modell. Die spezifischen Zahlen im Vektor haben keine direkte Interpretation; Was zählt, ist die Geometrie: Nahe Vektoren bedeuten ähnliche Inhalte.

Sie rufen eine Einbettungs-API auf oder führen selbst ein Modell aus, erhalten ein Array von Floats zurück und speichern dieses Array zusammen mit Ihren Dokumentmetadaten.

Entfernungsmetriken

Ähnlichkeit wird als geometrischer Abstand zwischen Vektoren gemessen. Drei Metriken sind üblich:

• Kosinusähnlichkeit misst den Winkel zwischen zwei Vektoren und ignoriert dabei die Größe. Es wird häufig für Texteinbettungen verwendet, bei denen die Richtung wichtiger ist als die Länge.
• Euklidischer Abstand Misst die geradlinige Entfernung im Vektorraum. Es ist nützlich, wenn Größe eine Bedeutung hat.
• Punktprodukt ist schnell und funktioniert intestine, wenn Vektoren normalisiert werden. Viele Einbettungsmodelle sind für die Verwendung geschult.

Die Wahl der Metrik sollte mit der Artwork und Weise übereinstimmen, wie Ihr Einbettungsmodell trainiert wurde. Die Verwendung der falschen Metrik verschlechtert die Ergebnisqualität.

Das Drawback des nächsten Nachbarn

Das Finden der genauen nächsten Nachbarn ist in kleinen Datensätzen trivial: Berechnen Sie den Abstand von der Abfrage zu jedem Vektor, sortieren Sie die Ergebnisse und geben Sie den Anfang zurück Ok. Dies wird als Brute-Power- oder Flat-Suche bezeichnet und ist zu 100 % genau. Es skaliert auch linear mit der Datensatzgröße. Bei 10 Millionen Vektoren mit jeweils 1536 Dimensionen ist eine flache Suche für Echtzeitabfragen zu langsam.

Die Lösung ist ungefährer nächster Nachbar (ANN) Algorithmen. Diese tauschen ein geringes Maß an Genauigkeit gegen große Geschwindigkeitsgewinne ein. Produktionsvektordatenbanken führen unter der Haube ANN-Algorithmen aus. Die spezifischen Algorithmen, ihre Parameter und ihre Kompromisse werden wir im nächsten Degree untersuchen.

Metadatenfilterung

Die reine Vektorsuche liefert weltweit die semantisch ähnlichsten Elemente. In der Praxis wünscht man sich in der Regel etwas Ähnliches wie: „Finden Sie die ähnlichsten Dokumente, die diesem Benutzer gehören und nach diesem Datum erstellt wurden.“ Das ist Hybrid-Retrieval: Vektorähnlichkeit kombiniert mit Attributfiltern.

Die Implementierungen variieren. Die Vorfilterung wendet zuerst den Attributfilter an und führt dann ANN für die verbleibende Teilmenge aus. Bei der Nachfilterung wird zuerst ANN ausgeführt und dann die Ergebnisse gefiltert. Die Vorfilterung ist genauer, aber bei selektiven Abfragen teurer. Die meisten Produktionsdatenbanken verwenden eine Variante der Vorfilterung mit intelligenter Indizierung, um die Geschwindigkeit zu gewährleisten.

Hybridsuche: dicht + spärlich

Eine reine dichte Vektorsuche kann die Präzision auf Schlüsselwortebene verfehlen. Eine Abfrage nach „GPT-5-Veröffentlichungsdatum“ tendiert semantisch möglicherweise eher zu allgemeinen KI-Themen als zu dem spezifischen Dokument, das den genauen Ausdruck enthält. Die Hybridsuche kombiniert dichtes ANN mit spärlichem Abruf (BM25 oder TF-IDF), um semantisches Verständnis und Schlüsselwortgenauigkeit zu vereinen.

Der Standardansatz besteht darin, eine dichte und spärliche Suche parallel auszuführen und dann die Ergebnisse mit zu kombinieren reziproke Rangfusion (RRF) – ein rangbasierter Zusammenführungsalgorithmus, der keine Normalisierung der Bewertung erfordert. Die meisten Produktionssysteme unterstützen jetzt nativ die Hybridsuche.

Ebene 3: Indexierung für Skalierung

Ungefähre Algorithmen für den nächsten Nachbarn

Die drei wichtigsten Algorithmen für den ungefähren nächsten Nachbarn belegen jeweils einen anderen Punkt auf der Kompromissfläche zwischen Geschwindigkeit, Speichernutzung und Abruf.

Hierarchisch navigierbare kleine Welt (HNSW) erstellt einen mehrschichtigen Graphen, in dem jeder Vektor ein Knoten ist und dessen Kanten ähnliche Nachbarn verbinden. Höhere Schichten sind spärlich und ermöglichen eine schnelle Durchquerung großer Entfernungen. Die unteren Schichten sind für eine präzise lokale Suche dichter. Zum Zeitpunkt der Abfrage springt der Algorithmus durch dieses Diagramm zu den nächsten Nachbarn. HNSW ist schnell, speicherhungrig und liefert einen hervorragenden Rückruf. Dies ist in vielen modernen Systemen die Standardeinstellung.

Invertierter Dateiindex (IVF) gruppiert Vektoren mithilfe von k-means in Gruppen, erstellt einen invertierten Index, der jeden Cluster seinen Mitgliedern zuordnet, und durchsucht dann zum Zeitpunkt der Abfrage nur die nächstgelegenen Cluster. IVF verbraucht weniger Speicher als HNSW, ist aber oft etwas langsamer und erfordert einen Trainingsschritt zum Aufbau der Cluster.

Produktquantisierung (PQ) komprimiert Vektoren, indem es sie in Untervektoren unterteilt und jeden einzelnen in ein Codebuch quantisiert. Dadurch kann die Speichernutzung um das 4- bis 32-fache reduziert werden, was Datensätze im Milliardenmaßstab ermöglicht. Es wird oft in Kombination mit IVF als IVF-PQ in Systemen wie verwendet Faiss.

Indexkonfiguration

HNSW hat zwei Hauptparameter: ef_construction Und M:

• ef_construction steuert, wie viele Nachbarn bei der Indexerstellung berücksichtigt werden. Höhere Werte verbessern im Allgemeinen die Erinnerung, der Aufbau dauert jedoch länger.
• M steuert die Anzahl der bidirektionalen Verbindungen professional Knoten. Höher M verbessert normalerweise die Erinnerung, erhöht jedoch die Speichernutzung.

Sie passen diese basierend auf Ihrem Rückruf, Ihrer Latenz und Ihrem Speicherbudget an.

Zum Zeitpunkt der Abfrage ef_search steuert, wie viele Kandidaten untersucht werden. Eine Erhöhung verbessert die Erinnerung auf Kosten der Latenz. Dies ist ein Laufzeitparameter, den Sie optimieren können, ohne den Index neu zu erstellen.

Für IVF, nlist legt die Anzahl der Cluster fest und nprobe Legt fest, wie viele Cluster zum Zeitpunkt der Abfrage durchsucht werden sollen. Mehr Cluster können die Präzision verbessern, erfordern aber auch mehr Speicher. Höher nprobe verbessert die Erinnerung, erhöht aber die Latenz. Lesen Wie können die Parameter eines IVF-Index (wie die Anzahl der Cluster nlist und die Anzahl der Sonden nprobe) so abgestimmt werden, dass ein Zielrückruf mit der schnellstmöglichen Abfragegeschwindigkeit erreicht wird? um mehr zu erfahren.

Rückruf vs. Latenz

ANN lebt auf einer Kompromissoberfläche. Sie können jederzeit eine bessere Erinnerung erzielen, indem Sie einen größeren Teil des Indexes durchsuchen, aber Sie bezahlen dafür mit Latenz und Rechenleistung. Vergleichen Sie Ihre spezifischen Datensätze und Abfragemuster. Ein Recall@10 von 0,95 könnte für eine Suchanwendung großartig sein; Ein Empfehlungssystem benötigt möglicherweise 0,99.

Skalieren und Sharding

Ein einzelner HNSW-Index kann je nach Dimensionalität und verfügbarem RAM bis zu etwa 50–100 Millionen Vektoren in den Speicher eines Computer systems aufnehmen. Darüber hinaus führen Sie ein Shard durch: Partitionieren Sie den Vektorraum auf Knoten, verteilen Sie Abfragen auf Shards und führen Sie dann die Ergebnisse zusammen. Dies führt zu einem Koordinationsaufwand und erfordert eine sorgfältige Auswahl der Shard-Schlüssel, um Hotspots zu vermeiden. Um mehr zu erfahren, lesen Sie Wie skaliert die Vektorsuche mit der Datengröße?

Speicher-Backends

Für eine schnelle ANN-Suche werden Vektoren häufig im RAM gespeichert. Metadaten werden normalerweise separat gespeichert, häufig in einem Schlüsselwert- oder Spaltenspeicher. Einige Systeme unterstützen speicherzugeordnete Dateien zur Indizierung von Datensätzen, die größer als der Arbeitsspeicher sind und bei Bedarf auf die Festplatte übertragen werden. Dadurch wird etwas Latenz gegen Skalierung getauscht.

ANN-Indizes auf der Festplatte wie DiskANN (entwickelt von Microsoft) sind für die Ausführung auf SSDs mit minimalem RAM ausgelegt. Sie erreichen einen guten Rückruf und Durchsatz für sehr große Datensätze, bei denen der Speicher die Bindungsbeschränkung darstellt.

Vektordatenbankoptionen

Vektorsuchwerkzeuge lassen sich im Allgemeinen in drei Kategorien einteilen.

Zunächst können Sie auswählen speziell erstellte Vektordatenbanken wie zum Beispiel:

• Tannenzapfen: eine vollständig verwaltete, betriebsfreie Lösung
• Qdrant: ein Open-Supply-System auf Rust-Foundation mit starken Filterfunktionen
• Weben: eine Open-Supply-Possibility mit integriertem Schema und modularen Funktionen
• Milvus: eine leistungsstarke Open-Supply-Vektordatenbank, die für die groß angelegte Ähnlichkeitssuche mit Unterstützung für verteilte Bereitstellungen und GPU-Beschleunigung entwickelt wurde

Zweitens gibt es Erweiterungen bestehender Systeme, wie z pgvector für Postgreswas im kleinen bis mittleren Maßstab intestine funktioniert.

Drittens gibt es Bibliotheken wie:

• Faiss entwickelt von Meta
• Belästigen von Spotify, optimiert für leseintensive Workloads

Für neue RAG-Anwendungen (Retrieval-Augmented Technology) in mittlerem Umfang ist pgvector häufig ein guter Ausgangspunkt, wenn Sie Postgres bereits verwenden, da es den Betriebsaufwand minimiert. Wenn Ihre Anforderungen wachsen – insbesondere bei größeren Datensätzen oder komplexeren Filterungen – können Qdrant oder Weaviate zu überzeugenderen Optionen werden, während Pinecone ideally suited ist, wenn Sie eine vollständig verwaltete Lösung ohne zu wartende Infrastruktur bevorzugen.

Zusammenfassung

Vektordatenbanken lösen ein echtes Drawback: schnell herauszufinden, was im großen Maßstab semantisch ähnlich ist. Die Kernidee ist einfach: Inhalte als Vektoren einbetten und nach Entfernung suchen. Die Implementierungsdetails – HNSW vs. IVF, Recall-Tuning, Hybridsuche und Sharding – sind im Produktionsmaßstab von großer Bedeutung.

Hier sind einige Ressourcen, die Sie weiter erkunden können:

Viel Spaß beim Lernen!

Aktie

Put up


Aktie

Context Engineering in 3 Schwierigkeitsgraden erklärt | Bild vom Autor

# Einführung

LLM-Anwendungen (Massive Language Mannequin) stoßen ständig an die Grenzen des Kontextfensters. Das Modell vergisst frühere Anweisungen, verliert den Überblick über relevante Informationen oder nimmt mit zunehmender Interaktionszeit an Qualität ab. Dies liegt daran, dass LLMs feste Token-Budgets haben, Anwendungen jedoch unbegrenzte Informationen generieren – Konversationsverlauf, abgerufene Dokumente, Datei-Uploads, Antworten der Anwendungsprogrammierschnittstelle (API) und Benutzerdaten. Ohne Administration werden wichtige Informationen willkürlich abgeschnitten oder überhaupt nicht in den Kontext einbezogen.

Context Engineering behandelt das Kontextfenster als verwaltete Ressource mit expliziten Zuordnungsrichtlinien und Speichersystemen. Sie entscheiden, welche Informationen wann in den Kontext gelangen, wie lange sie bleiben und was zum Abruf komprimiert oder im externen Speicher archiviert wird. Dies orchestriert den Informationsfluss über die gesamte Laufzeit der Anwendung, anstatt zu hoffen, dass alles passt, oder Leistungseinbußen in Kauf zu nehmen.

In diesem Artikel wird das Kontext-Engineering auf drei Ebenen erläutert:

1. Verständnis der grundlegenden Notwendigkeit des Kontext-Engineerings
2. Umsetzung praktischer Optimierungsstrategien in Produktionssystemen
3. Überprüfung fortgeschrittener Speicherarchitekturen, Abrufsysteme und Optimierungstechniken

In den folgenden Abschnitten werden diese Ebenen im Element erläutert.

# Ebene 1: Den Kontextengpass verstehen

LLMs haben feste Kontextfenster. Alles, was das Modell zum Zeitpunkt der Inferenz weiß, muss in diese Token passen. Bei Single-Flip-Abschlüssen stellt dies kein großes Drawback dar. Für RAG-Anwendungen (Retrieval-Augmented Technology) und KI-Agenten, die mehrstufige Aufgaben mit Toolaufrufen, Datei-Uploads, Konversationsverlauf und externen Daten ausführen, entsteht ein Optimierungsproblem: Welche Informationen erhalten Aufmerksamkeit und welche werden verworfen?

Angenommen, Sie haben einen Agenten, der mehrere Schritte ausführt, 50 API-Aufrufe durchführt und 10 Dokumente verarbeitet. Ein solches Agenten-KI-System wird ohne explizites Kontextmanagement höchstwahrscheinlich scheitern. Das Modell vergisst wichtige Informationen, halluziniert Werkzeugausgaben oder nimmt mit zunehmender Gesprächsdauer an Qualität ab.

Kontext-Engineering Degree 1 | Bild vom Autor

Beim Context Engineering geht es um das Entwerfen für Kontinuierliche Pflege der Informationsumgebung rund um ein LLM während seiner Ausführung. Dazu gehört die Verwaltung, was wann und für wie lange in den Kontext gelangt und was entfernt wird, wenn der Platz knapp wird.

# Ebene 2: Kontext in der Praxis optimieren

Effektives Context Engineering erfordert explizite Strategien über mehrere Dimensionen hinweg.

// Budgetierungstoken

Ordnen Sie Ihr Kontextfenster bewusst zu. Systemanweisungen erfordern möglicherweise 2K-Token. Gesprächsverlauf, Software-Schemata, abgerufene Dokumente und Echtzeitdaten können sich schnell summieren. Mit einem sehr großen Kontextfenster gibt es viel Spielraum. Bei einem viel kleineren Zeitfenster sind Sie gezwungen, harte Kompromisse darüber einzugehen, was Sie behalten und was Sie löschen möchten.

// Gespräche abkürzen

Behalten Sie aktuelle Wendungen bei, lassen Sie mittlere Wendungen weg und behalten Sie den kritischen frühen Kontext bei. Die Zusammenfassung funktioniert, verliert jedoch an Genauigkeit. Einige Systeme implementieren semantische Komprimierung – das Extrahieren wichtiger Fakten, statt den wörtlichen Textual content beizubehalten. Testen Sie, wo Ihr Agent bei längeren Gesprächen Pausen einlegt.

// Werkzeugausgaben verwalten

Große API-Antworten verbrauchen Token schnell. Fordern Sie bestimmte Felder anstelle vollständiger Nutzdaten an, kürzen Sie die Ergebnisse, fassen Sie sie zusammen, bevor Sie zum Modell zurückkehren, oder verwenden Sie Multi-Go-Strategien, bei denen der Agent zunächst Metadaten erhält und dann nur Particulars für relevante Elemente anfordert.

// Verwendung des Mannequin Context Protocol und On-Demand-Abruf

Anstatt alles im Voraus zu laden, verbinden Sie das Modell mit externen Datenquellen, die es bei Bedarf abfragt Modellkontextprotokoll (MCP). Der Agent entscheidet anhand der Aufgabenanforderungen, was abgerufen werden soll. Dadurch verlagert sich das Drawback von „alles in den Kontext einpassen“ hin zu „die richtigen Dinge zur richtigen Zeit abrufen“.

// Strukturierte Zustände trennen

Fügen Sie stabile Anweisungen in Systemnachrichten ein. Fügen Sie variable Daten in Benutzernachrichten ein, wo sie aktualisiert oder entfernt werden können, ohne Kernanweisungen zu berühren. Behandeln Sie den Gesprächsverlauf, die Software-Ausgaben und die abgerufenen Dokumente als separate Streams mit unabhängigen Verwaltungsrichtlinien.

Kontext-Engineering Degree 2 | Bild vom Autor

Der praktische Wandel besteht hier darin, den Kontext als zu behandeln dynamische Ressource, die während der gesamten Laufzeit eines Agenten eine aktive Verwaltung erfordertkeine statische Sache, die Sie einmal konfigurieren.

# Ebene 3: Kontext-Engineering in der Produktion implementieren

Kontext-Engineering im großen Maßstab erfordert ausgefeilte Speicherarchitekturen, Komprimierungsstrategien und Abrufsysteme, die zusammenarbeiten. Hier erfahren Sie, wie Sie Implementierungen in Produktionsqualität erstellen.

// Entwerfen von Speicherarchitekturmustern

Separate Speicher in Agenten-KI-Systemen in Stufen:

• Arbeitsspeicher (aktives Kontextfenster)
• Episodisches Gedächtnis (komprimierter Gesprächsverlauf und Aufgabenstatus)
• Semantisches Gedächtnis (Fakten, Dokumente, Wissensbasis)
• Prozedurales Gedächtnis (Anweisungen)

Das Modell sieht jetzt den Arbeitsspeicher, der für unmittelbare Aufgabenanforderungen optimiert werden soll. Das episodische Gedächtnis speichert, was passiert ist. Sie können aggressiv komprimieren, aber zeitliche Beziehungen und Kausalketten bewahren. Speichern Sie für das semantische Gedächtnis Indizes nach Thema, Entität und Relevanz für einen schnellen Abruf.

// Anwenden von Kompressionstechniken

Durch eine naive Zusammenfassung gehen wichtige Particulars verloren. Ein besserer Ansatz ist die extraktive Komprimierung, bei der Sie Sätze mit hoher Informationsdichte identifizieren und bewahren und gleichzeitig Füllmaterial verwerfen.

• Extrahieren Sie für Software-Ausgaben strukturierte Daten (Entitäten, Metriken, Beziehungen) anstelle von Prosa-Zusammenfassungen.
• Behalten Sie bei Gesprächen die Benutzerabsichten und Agentenverpflichtungen genau bei und komprimieren Sie gleichzeitig die Argumentationsketten.

// Entwerfen von Abrufsystemen

Wenn das Modell Informationen benötigt, die nicht im Kontext stehen, entscheidet die Abrufqualität über den Erfolg. Hybridsuche implementieren: dichte Einbettungen für semantische Ähnlichkeit, BM25 für Key phrase-Matchingund Metadatenfilter für Präzision.

Ordnen Sie die Ergebnisse nach Aktualität, Relevanz und Informationsdichte. Rückkehr nach oben Ok aber auch Beinaheunfälle an der Oberfläche; Das Modell sollte wissen, was quick übereinstimmte. Der Abruf erfolgt im Kontext, sodass das Modell die Abfrageformulierung und die Ergebnisse sieht. Schlechte Abfragen führen zu schlechten Ergebnissen. Legen Sie dies offen, um eine Selbstkorrektur zu ermöglichen.

// Optimierung auf Token-Ebene

Erstellen Sie kontinuierlich ein Profil Ihrer Token-Nutzung.

• Systemanweisungen verbrauchen 5.000 Token, die 1.000 sein könnten? Schreiben Sie sie um.
• Software-Schemata ausführlich? Kompakt verwenden JSON Schemata statt vollständig OpenAPI Spezifikationen.
• Konversation führt dazu, dass ähnliche Inhalte wiederholt werden? Deduplizieren.
• Abgerufene Dokumente überschneiden sich? Vor dem Hinzufügen zum Kontext zusammenführen.

Jeder gespeicherte Token ist ein Token, der für aufgabenkritische Informationen verfügbar ist.

// Speicherabruf auslösen

Das Modell sollte nicht ständig abrufen; es ist teuer und erhöht die Latenz. Implementieren Sie intelligente Set off: Rufen Sie ab, wenn das Modell explizit Informationen anfordert, wenn Wissenslücken erkannt werden, wenn Aufgabenwechsel auftreten oder wenn der Benutzer auf früheren Kontext verweist.

Wenn der Abruf nichts Nützliches zurückgibt, sollte das Modell dies explizit wissen und nicht halluzinieren. Geben Sie leere Ergebnisse mit Metadaten zurück: „Keine Dokumente gefunden, die der Abfrage entsprechen X in der Wissensdatenbank Y.“ Dadurch kann das Modell die Strategie anpassen, indem es die Abfrage neu formuliert, eine andere Quelle durchsucht oder den Benutzer darüber informiert, dass Informationen nicht verfügbar sind.

Kontext-Engineering Degree 3 | Bild vom Autor

// Synthetisieren von Informationen aus mehreren Dokumenten

Wenn die Argumentation mehrere Quellen erfordert, verarbeiten Sie sie hierarchisch.

• Erster Durchgang: Extrahieren Sie wichtige Fakten aus jedem Dokument unabhängig (parallelierbar).
• Zweiter Durchgang: Extrahierte Fakten in Kontext laden und synthetisieren.

Dies vermeidet eine Kontexterschöpfung durch das Laden von 10 vollständigen Dokumenten und bewahrt gleichzeitig die Fähigkeit zur Argumentation aus mehreren Quellen. Behalten Sie bei widersprüchlichen Quellen den Widerspruch bei. Lassen Sie das Modell widersprüchliche Informationen sehen und lösen oder sie zur Aufmerksamkeit des Benutzers kennzeichnen.

// Anhaltender Gesprächszustand

Für Agenten, die anhalten und fortfahren, serialisieren Sie den Kontextstatus in den externen Speicher. Speichern Sie den komprimierten Gesprächsverlauf, das aktuelle Aufgabendiagramm, die Software-Ausgaben und den Abruf-Cache. Rekonstruieren Sie im Lebenslauf den minimal notwendigen Kontext; Laden Sie nicht alles neu.

// Leistung bewerten und messen

Verfolgen Sie wichtige Kennzahlen, um zu verstehen, wie Ihre Context-Engineering-Strategie funktioniert. Überwachen Sie die Kontextnutzung, um den durchschnittlichen Prozentsatz der verwendeten Fenster zu sehen, und die Entfernungshäufigkeit, um zu verstehen, wie oft Sie auf Kontextgrenzen stoßen. Messen Sie die Abrufgenauigkeit, indem Sie prüfen, welcher Anteil der abgerufenen Dokumente tatsächlich related ist und verwendet wird. Verfolgen Sie schließlich die Informationspersistenz, um zu sehen, wie viele Umdrehungen wichtige Fakten überleben, bevor sie verloren gehen.

# Zusammenfassung

Beim Context Engineering geht es letztendlich um Informationsarchitektur. Sie bauen ein System auf, in dem das Modell Zugriff auf alles in seinem Kontextfenster hat und keinen Zugriff auf alles, was nicht. Jede Entwurfsentscheidung – was komprimiert, was abgerufen, was zwischengespeichert und was verworfen werden soll – erstellt die Informationsumgebung, in der Ihre Anwendung ausgeführt wird.

Wenn Sie sich nicht auf das Kontext-Engineering konzentrieren, kann es sein, dass Ihr System halluziniert, wichtige Particulars vergisst oder mit der Zeit zusammenbricht. Wenn Sie es richtig machen, erhalten Sie eine LLM-Anwendung, die trotz der zugrunde liegenden architektonischen Einschränkungen auch bei komplexen, ausgedehnten Interaktionen kohärent, zuverlässig und effektiv bleibt.

Viel Spaß beim Context Engineering!

# Referenzen und weiteres Lernen

Bala Priya C ist ein Entwickler und technischer Redakteur aus Indien. Sie arbeitet gerne an der Schnittstelle von Mathematik, Programmierung, Datenwissenschaft und Inhaltserstellung. Zu ihren Interessen- und Fachgebieten gehören DevOps, Datenwissenschaft und Verarbeitung natürlicher Sprache. Sie liebt es zu lesen, zu schreiben, zu programmieren und Kaffee zu trinken! Derzeit arbeitet sie daran, zu lernen und ihr Wissen mit der Entwickler-Neighborhood zu teilen, indem sie Tutorials, Anleitungen, Meinungsbeiträge und mehr verfasst. Bala erstellt außerdem ansprechende Ressourcenübersichten und Programmier-Tutorials.