Mit einem riesigen Korpus von Textdaten, in dem sie während ihrer Voraussetzung im Wesentlichen das gesamte Web verbrauchen. LLMs gedeihen, wenn sie Zugriff auf alle relevanten Daten haben, um auf Benutzerfragen angemessen zu antworten. In vielen Fällen begrenzen wir jedoch die Fähigkeiten unserer LLMs, indem wir ihnen nicht genügend Daten bereitstellen. In diesem Artikel werde ich diskutieren, warum Sie sich darum kümmern sollten, unsere LLM -weiteren Daten zu füttern, wie diese Daten abgerufen werden und spezifische Anwendungen.

Ich werde auch mit einer neuen Funktion in meinen Artikeln beginnen: Mein Hauptziel schreiben, was ich mit dem Artikel erreichen möchte und was Sie nach dem Lesen wissen sollten. Wenn er erfolgreich ist, werde ich es in jeden meiner Artikel schreiben:

Mein Ziel Für diesen Artikel soll die Bedeutung der Bereitstellung von LLMs mit relevanten Daten hervorgehoben werden und wie Sie sie für eine verbesserte Leistung in Ihre LLMs einspeisen können

Sie können meine Artikel auch lesen So analysieren und optimieren Sie Ihre LLMs in 3 Schritten Und Dokumentieren Sie die QA mit multimodalen LLMs.

Inhaltsverzeichnis

Warum mehr Daten zu LLMs hinzufügen?

Ich werde meinen Artikel beginnen, indem ich darauf hinweist, warum es wichtig ist. LLMs sind unglaublich datenhungrig, was bedeutet, dass sie viele Daten benötigen, um intestine zu arbeiten. Dies zeigt sich häufig im vor-Coaching-Korpus von LLMs, das aus Billionen von Textual content-Token besteht, die zum Coaching der LLM verwendet werden.

Das Konzept der Verwendung vieler Daten gilt jedoch auch für LLMs während der Inferenzzeit (wenn Sie die LLM in der Produktion verwenden). Sie müssen dem LLM alle erforderlichen Daten zur Beantwortung einer Benutzeranforderung zur Verfügung stellen.

In vielen Fällen reduzieren Sie versehentlich die Leistung des LLM, indem Sie keine relevanten Informationen bereitstellen.

Wenn Sie beispielsweise ein Fragenbeantwortersystem erstellen, in dem Benutzer Dateien hochladen und mit ihnen sprechen können. Natürlich geben Sie den Textinhalt jeder Datei an, damit der Benutzer mit dem Dokument chatten kann. Sie können jedoch zum Beispiel vergessen, das hinzuzufügen Dateinamen der Dokumente zum Kontext, mit dem der Benutzer chatten. Dies wirkt sich auf die Leistung des LLM aus, beispielsweise, wenn einige Informationen nur im Dateinamen vorhanden sind oder der Benutzer auf den Dateinamen im Chat verweist. Einige andere spezifische LLM -Anwendungen, bei denen zusätzliche Daten nützlich sind:

• Einstufung
• Informationsextraktion
• Key phrase -Suche nach Finden relevanter Dokumente, die an LLM gefüttert werden können

Im Relaxation des Artikels werde ich diskutieren, wo Sie solche Daten, Techniken zum Abrufen zusätzlicher Daten und einige spezifische Anwendungsfälle für die Daten finden können.

In diesem Abschnitt werde ich Daten diskutieren, die Sie wahrscheinlich bereits in Ihrer Anwendung zur Verfügung haben. Ein Beispiel ist meine letzte Analogie, bei der Sie ein Fragenbeantwortungssystem für Dateien haben. Vergessen Sie jedoch, den Dateinamen dem Kontext hinzuzufügen. Einige andere Beispiele sind:

• Dateierweiterungen (.pdf, .docx, .xlsx)
• Ordnerpfad (wenn der Benutzer einen Ordner hochgeladen hat)
• Zeitstempel (zum Beispiel, wenn ein Benutzer nach dem neuesten Dokument fragt, ist dies erforderlich)
• Seitenzahlen (der Benutzer kann das LLM bitten, bestimmte Informationen auf Seite 5 zu holen)

Es gibt eine Menge anderer Beispiele für Daten, die Sie wahrscheinlich bereits zur Verfügung haben oder die Sie schnell abholen und in den Kontext Ihrer LLM hinzufügen können.

Die Artwork der verfügbaren Daten, die Sie zur Verfügung haben, variieren stark von der Anwendung bis zur Anwendung. Viele der Beispiele, die ich in diesem Artikel angegeben habe, sind auf textbasierte KI zugeschnitten, da dies der Raum ist, in dem ich die meiste Zeit verbringe. Wenn Sie beispielsweise mehr an visuellen KI- oder Audio-basierten KI arbeiten, fordere ich Sie auf, ähnliche Beispiele in Ihrem Raum zu finden.

Für die visuelle KI könnte es sein:

• Standortdaten dafür, wo das Bild/Video aufgenommen wurde
• Der Dateiname der Bild-/Videodatei
• Der Autor der Bild-/Videodatei

Oder für Audio -KI könnte es sein

• Metadaten darüber, wer spricht, wenn
• Zeitstempel für jeden Satz
• Standortdaten aus dem Ort, an dem das Audio aufgezeichnet wurde

Mein Punkt ist, dass es da draußen eine Vielzahl verfügbarer Daten gibt. Alles, was Sie tun müssen, ist, danach zu suchen und zu überlegen, wie es für Ihre Anwendung nützlich sein kann.

Manchmal reichen die Daten, die Sie bereits zur Verfügung haben, nicht aus. Sie möchten Ihrem LLM noch mehr Daten zur Verfügung stellen, um Fragen angemessen zu beantworten. In diesem Fall müssen Sie zusätzliche Daten abrufen. Da wir uns im Alter von LLMs befinden, verwenden wir natürlich LLMs, um diese Daten abzurufen.

Vorab rufen Informationen ab

Der einfachste Ansatz besteht darin, zusätzliche Daten abzurufen, indem Sie sie vor der Bearbeitung von Dwell -Anfragen abrufen. Für Dokument AI bedeutet dies, spezifische Informationen aus Dokumenten während der Verarbeitung zu extrahieren. Sie könnten das extrahieren Artwork des Dokuments (Rechtsdokument, Steuerdokument oder Verkaufsbroschüre) oder spezifische Informationen, die im Dokument (Daten, Namen, Standorte,…) enthalten sind.

Der Vorteil des Voraussagens der Informationen im Voraus ist:

• Geschwindigkeit (in der Produktion müssen Sie nur den Wert aus Ihrer Datenbank abrufen)
• Sie können die Vorteile nutzen Stapelverarbeitung Kosten senken

Heute ist es ziemlich einfach, diese Artwork von Informationen zu holen. Sie richten ein LLM mit einer bestimmten Systemaufforderung ein, um Informationen abzurufen und die Eingabeaufforderung zusammen mit dem Textual content in die LLM zu füttern. Das LLM verarbeitet dann den Textual content und extrahiert die relevanten Informationen für Sie. Möglicherweise möchten Sie in Betracht ziehen, die Leistung Ihrer Informationsextraktion zu bewerten. In diesem Fall können Sie meinen Artikel über lesen Bewertung von 5 Millionen LLM -Anfragen mit automatisierten Evalen.

Sie möchten wahrscheinlich auch alle Informationen zum Abrufen nachordnen, z. B.:

Wenn Sie diese Liste erstellt haben, können Sie alle Ihre Metadaten abrufen und in der Datenbank speichern.

Der Hauptabnutzung von Informationen im Voraus ist jedoch vorhanden, dass Sie vorbestimmen müssen, welche Informationen extrahieren sollen. Dies ist in vielen Szenarien schwierig. In diesem Fall können Sie Dwell -Informationsabruf durchführen, die ich im nächsten Abschnitt abdecke.

On-Demand-Informationsabruf

Wenn Sie nicht feststellen können, welche Informationen vorher abgerufen werden sollen, können Sie sie bei Bedarf abrufen. Dies bedeutet, eine generische Funktion einzurichten, die einen Datenpunkt zum Extrahieren und den Textual content zum Extrahieren aufnimmt. Zum Beispiel

import json
def retrieve_info(data_point: str, textual content: str) -> str:
    immediate = f"""
        Extract the next knowledge level from the textual content under and return it in a JSON object.

        Knowledge Level: {data_point}
        Textual content: {textual content}
        
        Instance JSON Output: {{"consequence": "instance worth"}}
    """

    return json.masses(call_llm(immediate))

Sie definieren diese Funktion als Werkzeug, auf das Ihr LLM zugreifen kann und auf die sie aufrufen kann, wenn sie Informationen benötigt. So ist dies im Wesentlichen wie Anthropic hat ihr tiefes Forschungssystem eingerichtetwo sie einen Orchestrator-Agenten erstellen, der Subagenten hervorbringen kann, um zusätzliche Informationen zu holen. Beachten Sie, dass das Erhalten Ihres LLM -Zugriffs für die Verwendung zusätzlicher Eingabeaufforderungen zu viel Token -Nutzung führen kann. Sie sollten additionally auf Ihre LLM -Token -Ausgaben achten.

Bis jetzt habe ich besprochen, warum Sie zusätzliche Daten verwenden sollten und wie Sie sie erhalten. Um den Inhalt dieses Artikels vollständig zu erfassen, werde ich auch spezifische Anwendungen bereitstellen, in denen diese Daten die LLM -Leistung verbessert.

Metadatenfiltersuche

Mein erstes Beispiel ist, dass Sie eine Suche mit Metadatenfilterung durchführen können. Bereitstellung von Informationen wie:

• Dateityp (PDF, XLSX, DOCX,…)
• Dateigröße
• Dateiname

Es kann Ihrer Anwendung helfen, relevante Informationen abzurufen. Dies kann beispielsweise Informationen erhalten, die in den Kontext Ihres LLM eingespeist werden können, wie bei der Ausführung von Lappen. Sie können die zusätzlichen Metadaten verwenden, um irrelevante Dateien abzufiltern.

Ein Benutzer hat möglicherweise eine Frage gestellt, die sich nur auf Excel -Dokumente bezieht. Die Verwendung von Lappen zum Abholen von Stücken aus anderen Dateien als Excel -Dokumenten ist daher eine schlechte Verwendung des Kontextfensters des LLM. Sie sollten stattdessen verfügbare Brocken filtern, um nur Excel -Dokumente zu finden, und Stücke aus Excel -Dokumenten verwenden, um die Abfrage des Benutzers am besten zu beantworten. Sie können mehr über den Umgang mit LLM -Kontexten erfahren Mein Artikel über den Aufbau effektiver KI -Agenten.

AI Agent Web -Suche

Ein weiteres Beispiel ist, wenn Sie Ihren AI-Agenten Fragen zur jüngsten Geschichte stellen, die nach dem Cutoff vor dem Coaching für die LLM stattgefunden haben. LLMs verfügt normalerweise über einen Trainingsdatenausschnitt für die Daten vor dem Coaching, da die Daten sorgfältig kuratiert werden müssen, und es ist eine Herausforderung, sie vollständig auf dem neuesten Stand zu halten.

Dies stellt ein Drawback dar, wenn Benutzer beispielsweise Fragen zur jüngsten Geschichte zu jüngsten Ereignissen in den Nachrichten stellen. In diesem Fall benötigt der AI -Agent, der die Abfrage beantwortet, zu Zugriff auf eine Internetsuche (im Wesentlichen Informationen zur Informationsextraktion im Web). Dies ist ein Beispiel für die Informationsextraktion On-Demand.

Abschluss

In diesem Artikel habe ich diskutiert, wie Sie Ihre LLM erheblich verbessern können, indem Sie zusätzliche Daten bereitstellen. Sie können diese Daten entweder in Ihren vorhandenen Metadaten (Dateinamen, Dateigröße, Standortdaten) finden oder die Daten über Informationsextraktion abrufen (Dokumenttyp, in einem Dokument erwähnte Namen usw.). Diese Informationen sind häufig für die Fähigkeit eines LLM von entscheidender Bedeutung, Benutzeranfragen erfolgreich zu beantworten, und in vielen Fällen garantiert das Fehlen dieser Daten im Wesentlichen das Versäumnis des LLM, eine Frage korrekt zu beantworten.

Finden Sie mich in Socials:

Sich in Verbindung setzen

LinkedIn

X / Twitter

Medium

Jeder Autofahrer, der jemals mehrere Zyklen auf eine Ampel zum Inexperienced gewartet hat, weiß, wie nervig signalisierte Kreuzungen sein können. Aber an Kreuzungen zu sitzen ist nicht nur eine Belastung der Geduld der Fahrer – unproduktives Fahrzeug im Leerlauf könnte bis zu 15 Prozent der Kohlendioxidemissionen aus dem US -Landtransport beitragen.

Eine groß angelegte Modellierungsstudie, die von MIT-Forschern geleitet wird₂ Emissionen.

Mit einer leistungsstarken Methode für künstliche Intelligenz namens Deep verstärkte Lernen führten die Forscher eine eingehende Auswirkungen der Faktoren durch, die die Fahrzeugemissionen in drei großen US-Städten beeinflussen.

Ihre Analyse zeigt, dass die vollständige Einführung von Maßnahmen für Öko-Fahren die jährlichen Kohlenstoffemissionen der stadtweiten Kreuzung um 11 bis 22 Prozent senken könnte, ohne den Verkehrsdurchsatz zu verlangsamen oder die Fahrzeug- und Verkehrssicherheit zu beeinträchtigen.

Selbst wenn nur 10 Prozent der Fahrzeuge auf der Straße Öko-Fahren einsetzen, würde dies zu 25 bis 50 Prozent der Gesamtreduzierung der CO2-Emissionen führen, fanden die Forscher fest.

Darüber hinaus bietet die dynamische Optimierung der Geschwindigkeitsgrenzen bei etwa 20 Prozent der Kreuzungen 70 Prozent der gesamten Emissionsvorteile. Dies weist darauf hin, dass ökologische Maßnahmen allmählich durchgeführt werden könnten und gleichzeitig messbare, optimistic Auswirkungen auf die Minderung des Klimawandels und die Verbesserung der öffentlichen Gesundheit haben.

„Vehikelbasierte Kontrollstrategien wie Öko-Fahrten können die Nadel zur Reduzierung des Klimawandels bewegen. Wir haben hier gezeigt, dass moderne Werkzeuge für maschinelles Lernen wie tiefes Verstärkungslernen die Arten von Analysen beschleunigen können, die die soziotechnische Entscheidungsfindung unterstützen. Dies ist nur der Tipp der ICEBERG“, sagt die Social-Professor-Social-Affiliation-Systeme in der Zivil- und Umweltförderung, die Socials-Professor-Socials-Professor-Socials-Professor. (IDSS) am MIT und Mitglied des Labors für Informations- und Entscheidungssysteme (LIDS).

Sie wird von der Hauptautorin Vindula Jayawardana, einer MIT -Doktorandin, auf der Zeitung begleitet. sowie MIT -Doktoranden AO Qu, Cameron Hickert und Edgar Sanchez; MIT -Studenten Catherine Tang; Baptiste Freydt, Doktorandin bei ETH Zürich; und Mark Taylor und Blaine Leonard vom Verkehrsministerium von Utah. Der Forschung erscheint In Transportforschung Teil C: aufkommende Technologien.

Eine mehrteilige Modellierungsstudie

Verkehrskontrollmaßnahmen erregen in der Regel an feste Infrastruktur, z. B. Stoppschilder und Verkehrssignale. Wenn Fahrzeuge jedoch technologisch weiter fortgeschritten werden, bietet sie die Möglichkeit zum Öko-Fahren. Dies ist eine Surne für Fahrzeuge auf Fahrzeugverkehrskontrollmaßnahmen wie die Verwendung dynamischer Geschwindigkeiten zur Reduzierung des Energieverbrauchs.

Kurzfristig könnte Öko-Fahren Geschwindigkeitsanleitungen in Kind von Fahrzeug-Dashboards oder Smartphone-Apps beinhalten. Langfristig könnte Öko-Fahren intelligente Geschwindigkeitsbefehle beinhalten, die die Beschleunigung von halbautonomen und vollständig autonomen Fahrzeugen durch Kommunikationssysteme von Fahrzeugen direkt steuern.

„Die meisten früheren Arbeiten haben sich darauf konzentriert, wie Um implementieren. Wir haben den Rahmen verschoben, um die Frage der Frage zu berücksichtigen Wir implementieren Öko-Fahrten. Wenn wir diese Technologie im Maßstab einsetzen würden, würde es einen Unterschied machen? “ Wu sagt.

Um diese Frage zu beantworten, begannen die Forscher eine facettenreiche Modellierungsstudie, die den größten Teil von vier Jahren dauern würde.

Sie identifizierten zunächst 33 Faktoren, die die Fahrzeugemissionen beeinflussen, einschließlich Temperatur, Straßengrad, Kreuzungstopologie, Alter des Fahrzeugs, Verkehrsbedarf, Fahrzeugtypen, Fahrerverhalten, Verkehrssignal, Straßengeometrie usw.

„Eine der größten Herausforderungen bestand darin, sicherzustellen, dass wir fleißig waren und keine wichtigen Faktoren ausgelassen haben“, sagt Wu.

Anschließend verwendeten sie Daten von OpenStreetmap, US -Geological Surveys und anderen Quellen, um digitale Replikate von mehr als 6.000 signalisierten Kreuzungen in drei Städten – Atlanta, San Francisco und Los Angeles – zu erstellen und mehr als eine Million Verkehrszenarien zu simulierten.

Die Forscher verwendeten ein tiefes Verstärkungslernen, um jedes Szenario für das Öko-Fahren zu optimieren, um die maximalen Emissionsvorteile zu erzielen.

Das Verstärkungslernen optimiert das Fahrverhalten der Fahrzeuge durch Versuchs- und Errorinteraktionen mit einem Verkehrssimulator mit hohem Fessel und belohnen das Fahrzeugverhalten, die energieeffizienter sind und gleichzeitig diejenigen bestrafen, die dies nicht tun.

Die Forscher gaben das Downside als dezentrales kooperatives Multi-Agent-Kontrollproblem an, bei dem die Fahrzeuge zusammenarbeiten, um die Gesamtenergieeffizienz selbst unter nicht teilnehmenden Fahrzeugen zu erreichen, und sie dezentralisiert sich dezentralisiert, wodurch die Notwendigkeit einer kostspieligen Kommunikation zwischen Fahrzeugen vermieden wird.

Das Coaching von Fahrzeugverhalten, die über verschiedene Kreuzungsverkehrszenarien hinweg verallgemeinert werden, struggle jedoch eine große Herausforderung. Die Forscher stellten fest, dass einige Szenarien einander ähnlicher sind als andere, wie beispielsweise Szenarien mit der gleichen Anzahl von Fahrspuren oder der gleichen Anzahl von Verkehrssignalphasen.

Daher bildeten die Forscher separate Verstärkungslernenmodelle für verschiedene Verkehrsszenarien aus, was insgesamt bessere Emissionsvorteile erzielte.

Aber selbst mit Hilfe der KI wäre die Analyse des städtischen Verkehrs auf Netzwerkebene so rechenintensiv, dass ein weiteres Jahrzehnt dauern könnte, bis sich die Entschlüsselung entwirft, sagt Wu.

Stattdessen brachen sie das Downside nieder und lösten jedes Ökoszenario auf der individuellen Schnittstelle.

„Wir haben die Auswirkungen der Umweltfahrerkontrolle an jeder Kreuzung auf benachbarte Kreuzungen sorgfältig eingeschränkt. Auf diese Weise haben wir das Downside dramatisch vereinfacht, was es uns ermöglichte, diese Analyse in Maßstab durchzuführen, ohne unbekannte Netzwerkeffekte einzuführen“, sagt sie.

Bedeutende Emissionenvorteile

Als sie die Ergebnisse analysierten, stellten die Forscher fest, dass eine vollständige Einführung des Öko-Fahrens zu einer Reduzierung der Kreuzungsemissionen zwischen 11 und 22 Prozent führen könnte.

Diese Vorteile unterscheiden sich je nach Structure der Straßen einer Stadt. Eine dichtere Stadt wie San Francisco hat weniger Raum für die Umsetzung von Öko-Fahren zwischen Kreuzungen und bietet eine mögliche Erklärung für verringerte Emissionsersparnisse, während Atlanta angesichts ihrer höheren Geschwindigkeitsgrenzen größere Vorteile erkennen kann.

Selbst wenn nur 10 Prozent der Fahrzeuge um Öko-Fahren eingesetzt werden, könnte eine Stadt aufgrund der Autoverfolgung von 25 bis 50 Prozent des gesamten Emissionsdynamiks erkennen: Nicht-E-Fahrerfahrzeuge würden kontrollierte umweltfreundliche Fahrzeuge folgen, da sie die Geschwindigkeit optimieren, um durch Kreuzungen reibungslos zu gelangen, wodurch auch deren Kohlenstoffabwicklungen reibungslos reduziert werden.

In einigen Fällen könnte Öko-Fahren auch durch Minimierung der Emissionen erhöht werden. WU warnt jedoch, dass ein zunehmender Durchsatz dazu führen könnte, dass mehr Fahrer auf die Straßen gehen und die Emissionsleistungen verringern.

Und während ihre Analyse weit verbreiteter Sicherheitsmetriken, die als Ersatzsicherheitsmaßnahmen bekannt sind, wie z. B. Zeit bis zur Kollision, darauf hindeuten, dass das Ökotrennen so sicher ist wie menschliches Fahren, kann dies bei menschlichen Fahrern zu unerwartetem Verhalten führen. Es sind weitere Untersuchungen erforderlich, um potenzielle Sicherheitsauswirkungen vollständig zu verstehen, sagt Wu.

Ihre Ergebnisse zeigen auch, dass Öko-Fahren in Kombination mit alternativen Dekarbonisierungslösungen noch größere Vorteile bieten könnte. Beispielsweise würde die Einführung von 20 Prozent um Öko-Fahren in San Francisco die Emissionsniveaus um 7 Prozent senken, aber in Kombination mit der prognostizierten Einführung von Hybrid- und Elektrofahrzeugen würde dies die Emissionen um 17 Prozent senken.

„Dies ist ein erster Versuch, die netzwerkweiten Umweltvorteile des Öko-Fahrens systematisch zu quantifizieren. Dies ist eine großartige Forschungsanstrengung, die als Schlüsselreferenz für andere bei der Bewertung von Öko-Fahrersystemen dienen wird“, sagt Hesham Rakha, der Samuel L. Pritchard Professor of Engineering bei Virginia Tech, der nicht an dieser Forschung beteiligt ist.

Während sich die Forscher auf die Kohlenstoffemissionen konzentrieren, korrelieren die Vorteile stark mit Verbesserungen des Kraftstoffverbrauchs, des Energieverbrauchs und der Luftqualität.

„Dies ist quick eine kostenlose Intervention. Wir haben bereits Smartphones in unseren Autos und nehmen Autos mit fortgeschritteneren Automatisierungsfunktionen schnell ein. Für etwas, das in der Praxis schnell skaliert werden kann, muss es relativ einfach sein, implementiert und schaufelisch.

Diese Arbeit wird teilweise von Amazon und dem Verkehrsministerium von Utah finanziert.

ist die Wissenschaft, LLMs mit dem richtigen Kontext zur Maximierung der Leistung zu liefern. Wenn Sie mit LLMs arbeiten, erstellen Sie normalerweise eine Systemaufforderung und bitten die LLM, eine bestimmte Aufgabe auszuführen. Wenn Sie jedoch aus Sicht eines Programmierers mit LLMs arbeiten, müssen mehr Elemente berücksichtigt werden. Sie müssen feststellen, welche anderen Daten Sie Ihre LLM ernähren können, um die Fähigkeit zu verbessern, die Aufgabe auszuführen, die Sie ausführen können.

In diesem Artikel werde ich die Wissenschaft des Kontexttechnik diskutieren und wie Sie Kontext -Engineering -Techniken anwenden können, um die Leistung Ihres LLM zu verbessern.

Sie können meine Artikel auch lesen Zuverlässigkeit für LLM -Anwendungen Und Dokumentieren Sie die QA mit multimodalen LLMs

Inhaltsverzeichnis

Definition

Bevor ich anfange, ist es wichtig, den Begriff Kontext Engineering zu definieren. Context Engineering ist im Wesentlichen die Wissenschaft der Entscheidung, was Sie in Ihre LLM einfügen sollen. Dies kann zum Beispiel sein:

• Die Systemaufforderung, die dem LLM mitteilt, wie man handelt
• Dokumentieren Sie die Daten mit der Suche nach Lappenvektorsuche ab
• Wenige Beispiele
• Werkzeuge

Die nächstgelegene frühere Beschreibung davon struggle der Begriff Schnelltechnik. Das schnelle Engineering ist jedoch ein weniger beschreibender Begriff, wenn man bedenkt, dass er nur die Systemaufforderung ändert, die Sie in die LLM ernähren. Um die maximale Leistung aus Ihrem LLM herauszuholen, müssen Sie den gesamten Kontext berücksichtigen, den Sie in ihn einfügen, nicht nur die Systemaufforderung.

Motivation

Meine erste Motivation für diesen Artikel kam aus dem Lesen dieses Tweets von Andrej Karpathy.

Ich stimmte wirklich dem Punkt zu, den Andrej in diesem Tweet gemacht hat. Schnelltechnik ist definitiv eine wichtige Wissenschaft bei der Arbeit mit LLMs. Das schnelle Engineering umfasst jedoch nicht alles, was wir in LLMs eingeben. Zusätzlich zu dem von Ihnen geschriebenen System müssen Sie auch Elemente wie folgt berücksichtigen:

• Welche Daten sollten Sie in Ihre Eingabeaufforderung einfügen?
• Wie holen Sie diese Daten ab
• So liefern Sie nur relevante Informationen für die LLM
• Usw.

Ich werde all diese Punkte in diesem Artikel diskutieren.

API gegen Konsolenverbrauch

Ein wichtiger Unterschied zu klären ist, ob Sie die LLMs aus einer API (mit Code aufrufen) oder über die Konsole (z. B. über die über die CHATGPT -Web site oder Anwendung). Context Engineering ist definitiv wichtig, wenn Sie mit LLMs durch die Konsole arbeiten. Mein Fokus in diesem Artikel wird jedoch auf der API -Verwendung liegen. Der Grund dafür ist, dass Sie bei der Verwendung einer API mehr Optionen zum dynamischen Ändern des Kontexts haben, die Sie mit dem LLM füttern. Sie können beispielsweise Lappen durchführen, wo Sie zum ersten Mal eine Vektorsuche durchführen und die LLM nur die wichtigsten Informationsbits und nicht die gesamte Datenbank füttern.

Diese dynamischen Veränderungen sind nicht auf die gleiche Weise verfügbar, wenn Sie mit LLMs durch die Konsole interagieren. Daher werde ich mich darauf konzentrieren, LLMs durch eine API zu verwenden.

Kontext -Engineering -Techniken

Null-Shot-Aufforderung

Null-Shot-Aufforderung ist die Foundation für den Kontext-Engineering. Eine Aufgabe machen Null-Shot bedeutet, dass die LLM eine Aufgabe ausführt, die es zuvor noch nicht gesehen hat. Sie liefern im Wesentlichen nur eine Aufgabenbeschreibung als Kontext für die LLM. Wenn Sie beispielsweise einem LLM einen langen Textual content bereitstellen und ihn auffordern, den Textual content nach einer Definition der Klassen in die Klasse A oder B zu klassifizieren. Der Kontext (Eingabeaufforderung), den Sie füttern, kann so etwas aussehen:

You're an knowledgeable textual content classifier, and tasked with classifying texts into
class A or class B. 
- Class A: The textual content accommodates a optimistic sentiment
- Class B: The subsequent accommodates a unfavourable sentiment

Classify the textual content: {textual content}

Abhängig von der Aufgabe könnte dies sehr intestine funktionieren. LLMs sind Generalisten und können die einfachsten textbasierten Aufgaben ausführen. Die Klassifizierung eines Textes in eine von zwei Klassen ist in der Regel eine einfache Aufgabe, und die Aufforderung mit Null-Pictures funktioniert somit in der Regel recht intestine.

Wenige Schüsse Aufforderung

In dieser Infografik wird hervorgehoben, wie man nur wenige Aufforderung durchführt:

Das Comply with-up von Null-Shot-Aufforderung ist wenige Schüsse Aufforderung. Mit wenigen Schüssen geben Sie dem LLM eine Eingabeaufforderung an, die der oben genannten ähnelt, aber Sie geben ihm auch Beispiele für die Aufgabe an, die er ausführen wird. Dieser zusätzliche Kontext hilft dem LLM, die Aufgabe zu verbessern. Nach der Eingabeaufforderung oben kann eine Eingabeaufforderung wie folgt aussehen:

You're an knowledgeable textual content classifier, and tasked with classifying texts into
class A or class B. 
- Class A: The textual content accommodates a optimistic sentiment
- Class B: The subsequent accommodates a unfavourable sentiment

<instance>
{textual content 1} -> Class A
</instance>
<instance>
{textual content 2} -> class B
</instance>

Classify the textual content: {textual content}

Sie können sehen, dass ich dem Modell einige Beispiele in -Tags bereitgestellt habe. Ich habe das Thema der Erstellung robuster LLM -Eingabeaufforderungen in meinem Artikel über LLM -Zuverlässigkeit unten erörtert:

@software
def get_weather(metropolis):
    # code to retrieve the present climate for a metropolis
    return climate