Bild von Autor | Leinwand# Einführung
Es besteht kein Zweifel, dass große Sprachmodelle erstaunliche Dinge tun können. Abgesehen von ihrer internen Wissensbasis hängen sie jedoch stark von den Informationen (dem Kontext) ab, den Sie sie füttern. Kontext Engineering Es geht darum, diese Informationen sorgfältig zu entwerfen, damit das Modell erfolgreich sein kann. Diese Idee erlangte an Popularität, als Ingenieure feststellten, dass das ledigliche Schreiben von cleveren Aufforderungen für komplexe Anwendungen nicht ausreicht. Wenn das Modell keine Tatsache kennt, die benötigt wird, kann es es nicht erraten. Wir müssen additionally alle relevanten Informationen zusammenstellen, damit das Modell die jeweilige Aufgabe wirklich verstehen kann.
Ein Teil des Grundes, warum der Begriff „Kontext -Engineering“ beachtet wurde, battle auf a zurückzuführen weit verbreiteter Tweet von Andrej Karpathy, der sagte:
+1 für „Kontext -Engineering“ über „immediate Engineering“. Die Leute assoziieren Eingabeaufforderungen mit kurzen Aufgabenbeschreibungen. Sie würden in Ihrer täglichen Verwendung einen LLM angeben, während Context Engineering in jeder LLM-App in der industriellen Strecke die empfindliche Kunst und Wissenschaft, das Kontextfenster mit genau den richtigen Informationen für den nächsten Schritt zu füllen.
Dieser Artikel wird ein bisschen theoretisch sein, und ich werde versuchen, die Dinge so einfach und knusprig wie möglich zu halten.
# Was ist Context Engineering?
Wenn ich eine Anfrage erhielt, die sagte: „Hey Kanwal, können Sie einen Artikel darüber schreiben, wie LLMs funktionieren?“ Ich würde schreiben, was ich für geeignet finde, und würde es wahrscheinlich auf ein Publikum mit einem mittelgroßen Fachwissen zielen. Wenn mein Publikum Anfänger wären, würden sie kaum verstehen, was passiert. Wenn sie Experten wären, könnten sie es für als zu grundlegend oder aus dem Kontext herausfinden. Ich brauche auch eine Reihe von Anweisungen wie Publikumsexpertise, Artikellänge, theoretischer oder praktischer Fokus und Schreibstil, um ein Stück zu schreiben, das mit ihnen mitschwingt.
Ebenso bedeutet Context Engineering, dem LLM alles von Benutzerpräferenzen und Beispielaufforderungen bis hin zu abgerufenen Fakten und Toolausgängen zu geben, sodass das Ziel vollständig versteht.
Hier ist ein Bild, das ich von den Dingen geschaffen habe, die in den Kontext des LLM eingehen könnten:
Context Engineering umfasst Anweisungen, Benutzerprofile, Verlauf, Instruments, abgerufene Dokumente und mehr | Bild des AutorsJedes dieser Elemente kann als Teil des Kontextfensters des Modells betrachtet werden. Context Engineering ist die Praxis, zu entscheiden, welche davon in welcher Type und in welcher Reihenfolge einbezogen werden soll.
# Wie unterscheidet sich Context Engineering von der schnellen Technik?
Ich werde das nicht unnötig lang machen. Ich hoffe, Sie haben die Idee bisher vergriffen. Aber für diejenigen, die es nicht taten, lassen Sie es mich kurz sagen. Schnelltechnik konzentriert sich traditionell darauf, eine einzelne, in sich geschlossene Aufforderung (die unmittelbare Frage oder Anweisung) zu schreiben, um eine gute Antwort zu erhalten. Im Gegensatz, Kontext Engineering Es geht um die gesamte Eingabeumgebung um die LLM. Wenn immediate Engineering lautet: „Was frage ich das Modell?“
# Wie Kontext -Engineering funktioniert
Context Engineering arbeitet durch eine Pipeline von drei eng verbundenen Komponenten, die jeweils zum richtigen Zeitpunkt bessere Entscheidungen treffen, um bessere Entscheidungen zu treffen. Werfen wir einen Blick auf die Rolle der einzelnen von diesen:
// 1. Kontextabruf und Technology
In diesem Schritt werden alle relevanten Informationen eingezogen oder generiert, um dem Modell die Aufgabe besser zu verstehen. Dies kann frühere Nachrichten, Benutzeranweisungen, externe Dokumente, API -Ergebnisse oder sogar strukturierte Daten umfassen. Sie können ein Unternehmenspolitikdokument abrufen, um eine Personalabfrage zu beantworten oder eine intestine strukturierte Eingabeaufforderung mit dem klaren Framework (prägnant, logisch, explizit, anpassungsfähig, reflektierend) für effektiveres Argumentieren zu generieren.
// 2. Kontextverarbeitung
Hier sind alle Rohinformationen für das Modell optimiert. Dieser Schritt umfasst langkontextbezogene Techniken wie Positionsinterpolation oder speichereffiziente Aufmerksamkeit (z. B. Aufmerksamkeit der Gruppenquerien und Modelle wie Mamba), mit denen Modelle ultra-lange Eingänge umgehen können. Es umfasst auch die Selbstbestimmung, bei der das Modell aufgefordert wird, iterativ seine eigene Ausgabe zu reflektieren und zu verbessern. Einige neuere Frameworks ermöglichen es sogar Modellen, ihr eigenes Suggestions zu generieren, ihre Leistung zu beurteilen und sich autonom zu entwickeln, indem sie sich mit Beispielen, die sie erstellen und filtern, beibringen.
// 3. Kontextmanagement
Diese Komponente behandelt, wie Informationen über Interaktionen gespeichert, aktualisiert und verwendet werden. Dies ist besonders wichtig bei Anwendungen wie Kundensupport oder Agenten, die im Laufe der Zeit arbeiten. Techniken wie Langzeitgedächtnismodule, Speicherkomprimierung, Rollpuffer-Caches und modulare Abrufsysteme ermöglichen es, den Kontext über mehrere Sitzungen hinweg aufrechtzuerhalten, ohne das Modell zu überwältigen. Es geht nicht nur darum, in welchem Kontext Sie eingesetzt werden, sondern auch darum, wie Sie es effizient, related und aktuell halten.
# Herausforderungen und Minderungen im Kontext -Engineering
Bei der Gestaltung des perfekten Kontextes geht es nicht nur darum, mehr Daten hinzuzufügen, sondern auch um Steadiness, Struktur und Einschränkungen. Schauen wir uns einige der wichtigsten Herausforderungen an, denen Sie möglicherweise begegnen, und ihre potenziellen Lösungen:
- Irrelevanter oder lautes Kontext (Kontextablenkung): Das Füttern des Modells zu viel irrelevante Informationen kann es verwirren. Verwenden Sie vorrangige Kontextbaugruppe, Relevanzbewertung und Abruffilter, um nur die nützlichsten Stücke zu ziehen.
- Latenz- und Ressourcenkosten: Lange, komplexe Kontexte erhöhen die Berechnung und den Speichergebrauch. Überlösen irrelevanter Verlauf oder Auslastung der Berechnung zum Abrufen von Systemen oder leichten Modulen.
- Werkzeug- und Wissensintegration (Kontext -Kontext): Beim Verschmelzung von Toolausgaben oder externen Daten können Konflikte auftreten. Fügen Sie Schema-Anweisungen oder Meta-Tags hinzu (wie
@tool_output), um Formatprobleme zu vermeiden. Versuchen Sie für Quellenübereinstimmungen die Zuordnung oder lassen Sie das Modell die Unsicherheit ausdrücken. - Aufrechterhaltung der Kohärenz über mehrere Runden: In Gesprächen mit mehreren Turns können Modelle Fakten halluzinieren oder den Überblick über verlieren. Geben Sie die Schlüsselinformationen an und führen Sie sie bei Bedarf selektiv ein.
Zwei weitere wichtige Themen: Kontextvergiftung Und Kontextverwirrung wurden intestine erklärt von Drew Breunigund ich ermutige Sie, das zu überprüfen.
# Einpacken
Context Engineering ist keine optionale Fähigkeit mehr. Es ist das Rückgrat, wie wir Sprachmodelle nicht nur reagieren, sondern verstehen, sondern verstehen. In vielerlei Hinsicht ist es für den Endbenutzer unsichtbar, definiert jedoch, wie nützlich und clever die Ausgabe anfühlt. Dies sollte eine sanfte Einführung in das sein, was es ist und wie es funktioniert.
Wenn Sie weiter erkunden möchten, finden Sie hier zwei solide Ressourcen, um tiefer zu gehen:
Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und technischer Schriftsteller mit einer tiefgreifenden Leidenschaft für die Datenwissenschaft und die Schnittstelle von KI mit Medizin. Sie hat das eBook „Produktivität mit Chatgpt maximieren“. Als Google -Technology -Gelehrte 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie wird auch als Teradata -Vielfalt in Tech Scholar, MITACS Globalink Analysis Scholar und Harvard Wecode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter der Veränderung, nachdem er Femcodes gegründet hat, um Frauen in STEM -Bereichen zu stärken.