Wie man LLMs erheblich verbessert, indem man Kontexttechnik nutzt

ist die Wissenschaft, LLMs mit dem richtigen Kontext zur Maximierung der Leistung zu liefern. Wenn Sie mit LLMs arbeiten, erstellen Sie normalerweise eine Systemaufforderung und bitten die LLM, eine bestimmte Aufgabe auszuführen. Wenn Sie jedoch aus Sicht eines Programmierers mit LLMs arbeiten, müssen mehr Elemente berücksichtigt werden. Sie müssen feststellen, welche anderen Daten Sie Ihre LLM ernähren können, um die Fähigkeit zu verbessern, die Aufgabe auszuführen, die Sie ausführen können.

In diesem Artikel werde ich die Wissenschaft des Kontexttechnik diskutieren und wie Sie Kontext -Engineering -Techniken anwenden können, um die Leistung Ihres LLM zu verbessern.

Sie können meine Artikel auch lesen Zuverlässigkeit für LLM -Anwendungen Und Dokumentieren Sie die QA mit multimodalen LLMs

Inhaltsverzeichnis

Definition

Bevor ich anfange, ist es wichtig, den Begriff Kontext Engineering zu definieren. Context Engineering ist im Wesentlichen die Wissenschaft der Entscheidung, was Sie in Ihre LLM einfügen sollen. Dies kann zum Beispiel sein:

• Die Systemaufforderung, die dem LLM mitteilt, wie man handelt
• Dokumentieren Sie die Daten mit der Suche nach Lappenvektorsuche ab
• Wenige Beispiele
• Werkzeuge

Die nächstgelegene frühere Beschreibung davon struggle der Begriff Schnelltechnik. Das schnelle Engineering ist jedoch ein weniger beschreibender Begriff, wenn man bedenkt, dass er nur die Systemaufforderung ändert, die Sie in die LLM ernähren. Um die maximale Leistung aus Ihrem LLM herauszuholen, müssen Sie den gesamten Kontext berücksichtigen, den Sie in ihn einfügen, nicht nur die Systemaufforderung.

Motivation

Meine erste Motivation für diesen Artikel kam aus dem Lesen dieses Tweets von Andrej Karpathy.

Ich stimmte wirklich dem Punkt zu, den Andrej in diesem Tweet gemacht hat. Schnelltechnik ist definitiv eine wichtige Wissenschaft bei der Arbeit mit LLMs. Das schnelle Engineering umfasst jedoch nicht alles, was wir in LLMs eingeben. Zusätzlich zu dem von Ihnen geschriebenen System müssen Sie auch Elemente wie folgt berücksichtigen:

• Welche Daten sollten Sie in Ihre Eingabeaufforderung einfügen?
• Wie holen Sie diese Daten ab
• So liefern Sie nur relevante Informationen für die LLM
• Usw.

Ich werde all diese Punkte in diesem Artikel diskutieren.

API gegen Konsolenverbrauch

Ein wichtiger Unterschied zu klären ist, ob Sie die LLMs aus einer API (mit Code aufrufen) oder über die Konsole (z. B. über die über die CHATGPT -Web site oder Anwendung). Context Engineering ist definitiv wichtig, wenn Sie mit LLMs durch die Konsole arbeiten. Mein Fokus in diesem Artikel wird jedoch auf der API -Verwendung liegen. Der Grund dafür ist, dass Sie bei der Verwendung einer API mehr Optionen zum dynamischen Ändern des Kontexts haben, die Sie mit dem LLM füttern. Sie können beispielsweise Lappen durchführen, wo Sie zum ersten Mal eine Vektorsuche durchführen und die LLM nur die wichtigsten Informationsbits und nicht die gesamte Datenbank füttern.

Diese dynamischen Veränderungen sind nicht auf die gleiche Weise verfügbar, wenn Sie mit LLMs durch die Konsole interagieren. Daher werde ich mich darauf konzentrieren, LLMs durch eine API zu verwenden.

Kontext -Engineering -Techniken

Null-Shot-Aufforderung

Null-Shot-Aufforderung ist die Foundation für den Kontext-Engineering. Eine Aufgabe machen Null-Shot bedeutet, dass die LLM eine Aufgabe ausführt, die es zuvor noch nicht gesehen hat. Sie liefern im Wesentlichen nur eine Aufgabenbeschreibung als Kontext für die LLM. Wenn Sie beispielsweise einem LLM einen langen Textual content bereitstellen und ihn auffordern, den Textual content nach einer Definition der Klassen in die Klasse A oder B zu klassifizieren. Der Kontext (Eingabeaufforderung), den Sie füttern, kann so etwas aussehen:

You're an knowledgeable textual content classifier, and tasked with classifying texts into
class A or class B. 
- Class A: The textual content accommodates a optimistic sentiment
- Class B: The subsequent accommodates a unfavourable sentiment

Classify the textual content: {textual content}

Abhängig von der Aufgabe könnte dies sehr intestine funktionieren. LLMs sind Generalisten und können die einfachsten textbasierten Aufgaben ausführen. Die Klassifizierung eines Textes in eine von zwei Klassen ist in der Regel eine einfache Aufgabe, und die Aufforderung mit Null-Pictures funktioniert somit in der Regel recht intestine.

Wenige Schüsse Aufforderung

In dieser Infografik wird hervorgehoben, wie man nur wenige Aufforderung durchführt:

Das Comply with-up von Null-Shot-Aufforderung ist wenige Schüsse Aufforderung. Mit wenigen Schüssen geben Sie dem LLM eine Eingabeaufforderung an, die der oben genannten ähnelt, aber Sie geben ihm auch Beispiele für die Aufgabe an, die er ausführen wird. Dieser zusätzliche Kontext hilft dem LLM, die Aufgabe zu verbessern. Nach der Eingabeaufforderung oben kann eine Eingabeaufforderung wie folgt aussehen:

You're an knowledgeable textual content classifier, and tasked with classifying texts into
class A or class B. 
- Class A: The textual content accommodates a optimistic sentiment
- Class B: The subsequent accommodates a unfavourable sentiment

<instance>
{textual content 1} -> Class A
</instance>
<instance>
{textual content 2} -> class B
</instance>

Classify the textual content: {textual content}

Sie können sehen, dass ich dem Modell einige Beispiele in -Tags bereitgestellt habe. Ich habe das Thema der Erstellung robuster LLM -Eingabeaufforderungen in meinem Artikel über LLM -Zuverlässigkeit unten erörtert:

@software
def get_weather(metropolis):
    # code to retrieve the present climate for a metropolis
    return climate