Bild von Autor | Leinwand

# Einführung

Es besteht kein Zweifel, dass große Sprachmodelle erstaunliche Dinge tun können. Abgesehen von ihrer internen Wissensbasis hängen sie jedoch stark von den Informationen (dem Kontext) ab, den Sie sie füttern. Kontext Engineering Es geht darum, diese Informationen sorgfältig zu entwerfen, damit das Modell erfolgreich sein kann. Diese Idee erlangte an Popularität, als Ingenieure feststellten, dass das ledigliche Schreiben von cleveren Aufforderungen für komplexe Anwendungen nicht ausreicht. Wenn das Modell keine Tatsache kennt, die benötigt wird, kann es es nicht erraten. Wir müssen additionally alle relevanten Informationen zusammenstellen, damit das Modell die jeweilige Aufgabe wirklich verstehen kann.

Ein Teil des Grundes, warum der Begriff „Kontext -Engineering“ beachtet wurde, battle auf a zurückzuführen weit verbreiteter Tweet von Andrej Karpathy, der sagte:

+1 für „Kontext -Engineering“ über „immediate Engineering“. Die Leute assoziieren Eingabeaufforderungen mit kurzen Aufgabenbeschreibungen. Sie würden in Ihrer täglichen Verwendung einen LLM angeben, während Context Engineering in jeder LLM-App in der industriellen Strecke die empfindliche Kunst und Wissenschaft, das Kontextfenster mit genau den richtigen Informationen für den nächsten Schritt zu füllen.

Dieser Artikel wird ein bisschen theoretisch sein, und ich werde versuchen, die Dinge so einfach und knusprig wie möglich zu halten.

# Was ist Context Engineering?

Wenn ich eine Anfrage erhielt, die sagte: „Hey Kanwal, können Sie einen Artikel darüber schreiben, wie LLMs funktionieren?“ Ich würde schreiben, was ich für geeignet finde, und würde es wahrscheinlich auf ein Publikum mit einem mittelgroßen Fachwissen zielen. Wenn mein Publikum Anfänger wären, würden sie kaum verstehen, was passiert. Wenn sie Experten wären, könnten sie es für als zu grundlegend oder aus dem Kontext herausfinden. Ich brauche auch eine Reihe von Anweisungen wie Publikumsexpertise, Artikellänge, theoretischer oder praktischer Fokus und Schreibstil, um ein Stück zu schreiben, das mit ihnen mitschwingt.

Ebenso bedeutet Context Engineering, dem LLM alles von Benutzerpräferenzen und Beispielaufforderungen bis hin zu abgerufenen Fakten und Toolausgängen zu geben, sodass das Ziel vollständig versteht.

Hier ist ein Bild, das ich von den Dingen geschaffen habe, die in den Kontext des LLM eingehen könnten:

Context Engineering umfasst Anweisungen, Benutzerprofile, Verlauf, Instruments, abgerufene Dokumente und mehr | Bild des Autors

Jedes dieser Elemente kann als Teil des Kontextfensters des Modells betrachtet werden. Context Engineering ist die Praxis, zu entscheiden, welche davon in welcher Type und in welcher Reihenfolge einbezogen werden soll.

# Wie unterscheidet sich Context Engineering von der schnellen Technik?

Ich werde das nicht unnötig lang machen. Ich hoffe, Sie haben die Idee bisher vergriffen. Aber für diejenigen, die es nicht taten, lassen Sie es mich kurz sagen. Schnelltechnik konzentriert sich traditionell darauf, eine einzelne, in sich geschlossene Aufforderung (die unmittelbare Frage oder Anweisung) zu schreiben, um eine gute Antwort zu erhalten. Im Gegensatz, Kontext Engineering Es geht um die gesamte Eingabeumgebung um die LLM. Wenn immediate Engineering lautet: „Was frage ich das Modell?“

# Wie Kontext -Engineering funktioniert

Context Engineering arbeitet durch eine Pipeline von drei eng verbundenen Komponenten, die jeweils zum richtigen Zeitpunkt bessere Entscheidungen treffen, um bessere Entscheidungen zu treffen. Werfen wir einen Blick auf die Rolle der einzelnen von diesen:

// 1. Kontextabruf und Technology

In diesem Schritt werden alle relevanten Informationen eingezogen oder generiert, um dem Modell die Aufgabe besser zu verstehen. Dies kann frühere Nachrichten, Benutzeranweisungen, externe Dokumente, API -Ergebnisse oder sogar strukturierte Daten umfassen. Sie können ein Unternehmenspolitikdokument abrufen, um eine Personalabfrage zu beantworten oder eine intestine strukturierte Eingabeaufforderung mit dem klaren Framework (prägnant, logisch, explizit, anpassungsfähig, reflektierend) für effektiveres Argumentieren zu generieren.

// 2. Kontextverarbeitung

Hier sind alle Rohinformationen für das Modell optimiert. Dieser Schritt umfasst langkontextbezogene Techniken wie Positionsinterpolation oder speichereffiziente Aufmerksamkeit (z. B. Aufmerksamkeit der Gruppenquerien und Modelle wie Mamba), mit denen Modelle ultra-lange Eingänge umgehen können. Es umfasst auch die Selbstbestimmung, bei der das Modell aufgefordert wird, iterativ seine eigene Ausgabe zu reflektieren und zu verbessern. Einige neuere Frameworks ermöglichen es sogar Modellen, ihr eigenes Suggestions zu generieren, ihre Leistung zu beurteilen und sich autonom zu entwickeln, indem sie sich mit Beispielen, die sie erstellen und filtern, beibringen.

// 3. Kontextmanagement

Diese Komponente behandelt, wie Informationen über Interaktionen gespeichert, aktualisiert und verwendet werden. Dies ist besonders wichtig bei Anwendungen wie Kundensupport oder Agenten, die im Laufe der Zeit arbeiten. Techniken wie Langzeitgedächtnismodule, Speicherkomprimierung, Rollpuffer-Caches und modulare Abrufsysteme ermöglichen es, den Kontext über mehrere Sitzungen hinweg aufrechtzuerhalten, ohne das Modell zu überwältigen. Es geht nicht nur darum, in welchem Kontext Sie eingesetzt werden, sondern auch darum, wie Sie es effizient, related und aktuell halten.

# Herausforderungen und Minderungen im Kontext -Engineering

Bei der Gestaltung des perfekten Kontextes geht es nicht nur darum, mehr Daten hinzuzufügen, sondern auch um Steadiness, Struktur und Einschränkungen. Schauen wir uns einige der wichtigsten Herausforderungen an, denen Sie möglicherweise begegnen, und ihre potenziellen Lösungen:

• Irrelevanter oder lautes Kontext (Kontextablenkung): Das Füttern des Modells zu viel irrelevante Informationen kann es verwirren. Verwenden Sie vorrangige Kontextbaugruppe, Relevanzbewertung und Abruffilter, um nur die nützlichsten Stücke zu ziehen.
• Latenz- und Ressourcenkosten: Lange, komplexe Kontexte erhöhen die Berechnung und den Speichergebrauch. Überlösen irrelevanter Verlauf oder Auslastung der Berechnung zum Abrufen von Systemen oder leichten Modulen.
• Werkzeug- und Wissensintegration (Kontext -Kontext): Beim Verschmelzung von Toolausgaben oder externen Daten können Konflikte auftreten. Fügen Sie Schema-Anweisungen oder Meta-Tags hinzu (wie @tool_output), um Formatprobleme zu vermeiden. Versuchen Sie für Quellenübereinstimmungen die Zuordnung oder lassen Sie das Modell die Unsicherheit ausdrücken.
• Aufrechterhaltung der Kohärenz über mehrere Runden: In Gesprächen mit mehreren Turns können Modelle Fakten halluzinieren oder den Überblick über verlieren. Geben Sie die Schlüsselinformationen an und führen Sie sie bei Bedarf selektiv ein.

Zwei weitere wichtige Themen: Kontextvergiftung Und Kontextverwirrung wurden intestine erklärt von Drew Breunigund ich ermutige Sie, das zu überprüfen.

# Einpacken

Context Engineering ist keine optionale Fähigkeit mehr. Es ist das Rückgrat, wie wir Sprachmodelle nicht nur reagieren, sondern verstehen, sondern verstehen. In vielerlei Hinsicht ist es für den Endbenutzer unsichtbar, definiert jedoch, wie nützlich und clever die Ausgabe anfühlt. Dies sollte eine sanfte Einführung in das sein, was es ist und wie es funktioniert.

Wenn Sie weiter erkunden möchten, finden Sie hier zwei solide Ressourcen, um tiefer zu gehen:

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und technischer Schriftsteller mit einer tiefgreifenden Leidenschaft für die Datenwissenschaft und die Schnittstelle von KI mit Medizin. Sie hat das eBook „Produktivität mit Chatgpt maximieren“. Als Google -Technology -Gelehrte 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie wird auch als Teradata -Vielfalt in Tech Scholar, MITACS Globalink Analysis Scholar und Harvard Wecode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter der Veränderung, nachdem er Femcodes gegründet hat, um Frauen in STEM -Bereichen zu stärken.

ist die Wissenschaft, LLMs mit dem richtigen Kontext zur Maximierung der Leistung zu liefern. Wenn Sie mit LLMs arbeiten, erstellen Sie normalerweise eine Systemaufforderung und bitten die LLM, eine bestimmte Aufgabe auszuführen. Wenn Sie jedoch aus Sicht eines Programmierers mit LLMs arbeiten, müssen mehr Elemente berücksichtigt werden. Sie müssen feststellen, welche anderen Daten Sie Ihre LLM ernähren können, um die Fähigkeit zu verbessern, die Aufgabe auszuführen, die Sie ausführen können.

In diesem Artikel werde ich die Wissenschaft des Kontexttechnik diskutieren und wie Sie Kontext -Engineering -Techniken anwenden können, um die Leistung Ihres LLM zu verbessern.

Sie können meine Artikel auch lesen Zuverlässigkeit für LLM -Anwendungen Und Dokumentieren Sie die QA mit multimodalen LLMs

Inhaltsverzeichnis

Definition

Bevor ich anfange, ist es wichtig, den Begriff Kontext Engineering zu definieren. Context Engineering ist im Wesentlichen die Wissenschaft der Entscheidung, was Sie in Ihre LLM einfügen sollen. Dies kann zum Beispiel sein:

• Die Systemaufforderung, die dem LLM mitteilt, wie man handelt
• Dokumentieren Sie die Daten mit der Suche nach Lappenvektorsuche ab
• Wenige Beispiele
• Werkzeuge

Die nächstgelegene frühere Beschreibung davon struggle der Begriff Schnelltechnik. Das schnelle Engineering ist jedoch ein weniger beschreibender Begriff, wenn man bedenkt, dass er nur die Systemaufforderung ändert, die Sie in die LLM ernähren. Um die maximale Leistung aus Ihrem LLM herauszuholen, müssen Sie den gesamten Kontext berücksichtigen, den Sie in ihn einfügen, nicht nur die Systemaufforderung.

Motivation

Meine erste Motivation für diesen Artikel kam aus dem Lesen dieses Tweets von Andrej Karpathy.

Ich stimmte wirklich dem Punkt zu, den Andrej in diesem Tweet gemacht hat. Schnelltechnik ist definitiv eine wichtige Wissenschaft bei der Arbeit mit LLMs. Das schnelle Engineering umfasst jedoch nicht alles, was wir in LLMs eingeben. Zusätzlich zu dem von Ihnen geschriebenen System müssen Sie auch Elemente wie folgt berücksichtigen:

• Welche Daten sollten Sie in Ihre Eingabeaufforderung einfügen?
• Wie holen Sie diese Daten ab
• So liefern Sie nur relevante Informationen für die LLM
• Usw.

Ich werde all diese Punkte in diesem Artikel diskutieren.

API gegen Konsolenverbrauch

Ein wichtiger Unterschied zu klären ist, ob Sie die LLMs aus einer API (mit Code aufrufen) oder über die Konsole (z. B. über die über die CHATGPT -Web site oder Anwendung). Context Engineering ist definitiv wichtig, wenn Sie mit LLMs durch die Konsole arbeiten. Mein Fokus in diesem Artikel wird jedoch auf der API -Verwendung liegen. Der Grund dafür ist, dass Sie bei der Verwendung einer API mehr Optionen zum dynamischen Ändern des Kontexts haben, die Sie mit dem LLM füttern. Sie können beispielsweise Lappen durchführen, wo Sie zum ersten Mal eine Vektorsuche durchführen und die LLM nur die wichtigsten Informationsbits und nicht die gesamte Datenbank füttern.

Diese dynamischen Veränderungen sind nicht auf die gleiche Weise verfügbar, wenn Sie mit LLMs durch die Konsole interagieren. Daher werde ich mich darauf konzentrieren, LLMs durch eine API zu verwenden.

Kontext -Engineering -Techniken

Null-Shot-Aufforderung

Null-Shot-Aufforderung ist die Foundation für den Kontext-Engineering. Eine Aufgabe machen Null-Shot bedeutet, dass die LLM eine Aufgabe ausführt, die es zuvor noch nicht gesehen hat. Sie liefern im Wesentlichen nur eine Aufgabenbeschreibung als Kontext für die LLM. Wenn Sie beispielsweise einem LLM einen langen Textual content bereitstellen und ihn auffordern, den Textual content nach einer Definition der Klassen in die Klasse A oder B zu klassifizieren. Der Kontext (Eingabeaufforderung), den Sie füttern, kann so etwas aussehen:

You're an knowledgeable textual content classifier, and tasked with classifying texts into
class A or class B. 
- Class A: The textual content accommodates a optimistic sentiment
- Class B: The subsequent accommodates a unfavourable sentiment

Classify the textual content: {textual content}

Abhängig von der Aufgabe könnte dies sehr intestine funktionieren. LLMs sind Generalisten und können die einfachsten textbasierten Aufgaben ausführen. Die Klassifizierung eines Textes in eine von zwei Klassen ist in der Regel eine einfache Aufgabe, und die Aufforderung mit Null-Pictures funktioniert somit in der Regel recht intestine.

Wenige Schüsse Aufforderung

In dieser Infografik wird hervorgehoben, wie man nur wenige Aufforderung durchführt:

Das Comply with-up von Null-Shot-Aufforderung ist wenige Schüsse Aufforderung. Mit wenigen Schüssen geben Sie dem LLM eine Eingabeaufforderung an, die der oben genannten ähnelt, aber Sie geben ihm auch Beispiele für die Aufgabe an, die er ausführen wird. Dieser zusätzliche Kontext hilft dem LLM, die Aufgabe zu verbessern. Nach der Eingabeaufforderung oben kann eine Eingabeaufforderung wie folgt aussehen:

You're an knowledgeable textual content classifier, and tasked with classifying texts into
class A or class B. 
- Class A: The textual content accommodates a optimistic sentiment
- Class B: The subsequent accommodates a unfavourable sentiment

<instance>
{textual content 1} -> Class A
</instance>
<instance>
{textual content 2} -> class B
</instance>

Classify the textual content: {textual content}

Sie können sehen, dass ich dem Modell einige Beispiele in -Tags bereitgestellt habe. Ich habe das Thema der Erstellung robuster LLM -Eingabeaufforderungen in meinem Artikel über LLM -Zuverlässigkeit unten erörtert:

@software
def get_weather(metropolis):
    # code to retrieve the present climate for a metropolis
    return climate