Werden Sie ein effektiver Weg, um LLMs für die Problemlösung zu verwenden. Quick wöchentlich sehen Sie ein neues großes KI -Forschungslabor, das LLMs mit bestimmten agierenden Funktionen veröffentlicht. Der Aufbau eines wirksamen Agenten für die Produktion ist jedoch viel komplizierter als er scheint. Ein Agent benötigt Leitplanken, spezifische Workflows und die ordnungsgemäße Fehlerbehandlung, bevor sie für die Produktionsnutzung wirksam sind. In diesem Artikel hebe ich hervor, worüber Sie nachdenken müssen, bevor Sie Ihren AI -Agenten für die Produktion bereitstellen, und wie Sie eine effektive KI -Anwendung mit Agenten erstellen.
Inhaltsverzeichnis
Wenn Sie etwas über Context Engineering kennenlernen möchten, können Sie meinen Artikel über lesen Kontext -Engineering für Fragen Antwortsystemeoder Verbesserung von LLMs mit Kontextetechnik.
Motivation
Meine Motivation für diesen Artikel ist, dass KI -Agenten in letzter Zeit unglaublich stark und effektiv geworden sind. Wir sehen immer mehr LLMs veröffentlicht, die speziell für agentenverhalten geschult sind, wie z. Qwen 3wo verbesserte Agentenfähigkeiten ein wichtiger Höhepunkt der neuen LLM -Veröffentlichung von Alibaba waren.
Viele On-line -Tutorials zeigen, wie einfach das Einrichten eines Agenten jetzt mit Frameworks wie der Fall ist, z. B. Langgraph. Das Drawback ist jedoch, dass diese Tutorials für das Agentenversuche ausgelegt sind und nicht für die Verwendung von Agenten in der Produktion. Die effektive Verwendung von KI -Agenten in der Produktion ist viel schwieriger und erfordert die Lösung von Herausforderungen, denen Sie beim experimentellen Experimentieren mit Agenten vor Ort nicht wirklich konfrontiert sind. Der Fokus dieses Artikels wird daher darauf liegen, wie produktionsbereite KI-Agenten erstellt werden können
Leitplanken
Die erste Herausforderung, die Sie bei der Bereitstellung von AI -Agenten für die Produktion lösen müssen, besteht darin, Leitplanken zu haben. Leitplanken sind im On-line -Bereich ein vage definierter Begriff, daher werde ich meine eigene Definition für diesen Artikel anbieten.
LLM -Leitplanken beziehen sich auf das Konzept der Sicherstellung von LLMS -Handeln in ihren zugewiesenen Aufgaben, halten Anweisungen und führen keine unerwarteten Aktionen aus.
Die Frage ist jetzt: Wie richten Sie Leitplanken für Ihre KI -Agenten ein? Hier sind einige Beispiele für die Einrichtung von Leitplanken:
- Begrenzen Sie die Anzahl der Funktionen, auf die ein Agent zugreifen kann
- Begrenzen Sie die Zeit, die ein Agent funktionieren kann, oder die Anzahl der Toolsaufrufe, die er ohne menschliche Intervention tätigen kann
- Lassen Sie den Agenten bei der Ausführung gefährlicher Aufgaben um menschliche Aufsicht bitten, z. B. das Löschen von Objekten
Solche Leitplanken stellen sicher, dass Ihr Agent innerhalb seiner entworfenen Verantwortlichkeiten wirkt und keine Probleme verursacht wie:
- Übertriebene Wartezeiten für Benutzer
- Große Wolkenrechnungen aufgrund der extremen Token -Nutzung (kann auftreten, wenn beispielsweise ein Agent in einer Schleife steckt)
Darüber hinaus sind Leitplanken wichtig, um sicherzustellen, dass der Agent auf Kurs bleibt. Wenn Sie Ihrem AI -Agenten zu viele Optionen bereitstellen, ist es wahrscheinlich, dass der Agent seine Aufgabe nicht erfüllt. Aus diesem Grund befasst sich mein nächster Abschnitt zum Thema der Minimierung der Optionen der Agenten durch die Verwendung bestimmter Workflows.
Den Agenten durch Problemlösung führen
Ein weiterer tremendous wichtiger Punkt bei der Verwendung von Agenten in der Produktion besteht darin, die Anzahl der Optionen zu minimieren, auf die der Agent zugreifen kann. Sie können sich vorstellen, dass Sie einfach einen Agenten erstellen können, der sofort Zugriff auf alle Ihre Instruments hat und somit einen effektiven KI -Agenten erstellen kann.
Leider funktioniert dies selten in der Praxis: Agenten bleiben in Schleifen stecken, können nicht die richtige Funktion auswählen und kämpfen, um sich von früheren Fehlern zu erholen. Die Lösung hierfür besteht darin, den Agenten durch seine Problemlösung zu führen. In Anthropics Aufbau effektiver KI -AgentenDies wird als als bezeichnet als immediate ChaIning und wird auf agierische Workflows angewendet, die Sie in verschiedene Schritte zerlegen können. Nach meiner Erfahrung haben die meisten Workflows dieses Attribut, und dieses Prinzip ist daher für die meisten Probleme related, die Sie mit Agenten lösen können.
Ich werde die Erklärung durch ein Beispiel verbessern:
Aufgabe: Rufen Sie Informationen zu Standort-, Zeit- und Kontaktpersonen aus jeder Liste von 100 Verträgen ab. Präsentieren Sie dann die fünf neuesten Verträge in einem Tabellenformat
Schlechte Lösung: Fordern Sie einen Agenten auf, die Aufgabe vollständig auszuführen. Daher versucht dieser Agent, alle Verträge zu lesen, die relevanten Informationen abzurufen und sie in einem Tabellenformat zu präsentieren. Das wahrscheinlichste Ergebnis ist, dass der Agent Ihnen falsche Informationen präsentiert.
Richtige Lösung: Zersetzen Sie das Drawback in mehrere Schritte.
- Informationen zum Abholen von Informationen (Abrufen aller Standorte, Zeiten und Kontaktpersonen)
- Informationsfilterung (Filter, um nur die fünf neuesten Verträge beizubehalten)
- Informationspräsentation (Präsentieren Sie die Ergebnisse in einer Tabelle)
Darüber hinaus können Sie zwischen den Schritten einen Validator haben, um sicherzustellen, dass die Aufgabe abgeschlossen ist (stellen Sie sicher, dass Sie Informationen aus allen Dokumenten usw. abgerufen haben).
Für Schritt eins haben Sie wahrscheinlich eine spezifische Subagent für Informationsextraktion und wenden sie auf alle 100 Verträge an. Dies sollte Ihnen eine Tabelle mit 3 Spalten und 100 Zeilen bieten, wobei jede Zeile einen Vertrag mit Standort, Zeit und Kontaktperson enthält.
Schritt zwei umfasst einen Informationsfilterschritt, bei dem ein Agent den Tisch durchschaut und einen Vertrag abfiltert, der nicht in den Prime 5 neuesten Verträgen ist. Der letzte Schritt zeigt diese Ergebnisse einfach in einer schönen Tabelle mit dem Markdown -Format.
Der Trick besteht darin, diesen Workflow vorher zu generieren, um das Drawback zu vereinfachen. Anstelle eines Agenten, der diese drei Schritte selbst herausfindet, erstellen Sie eine Informationsextraktion und filtern den Workflow mit den drei vordefinierten Schritten. Sie können diese drei Schritte dann verwenden, zwischen jedem Schritt eine gewisse Validierung hinzufügen und eine effektive Informationsextraktions- und Filtervermittlung haben. Anschließend wiederholen Sie diesen Vorgang für alle anderen Workflows, die Sie durchführen möchten.
Fehlerbehandlung
Die Handhabung der Agenten ist ein wichtiger Bestandteil der Aufrechterhaltung effektiver Produktionsmittel. Im letzten Beispiel können Sie sich vorstellen, dass der Informationsextraktionsagent keine Informationen aus 3/100 Verträgen abruft. Wie gehst du damit um?
Ihr erster Ansatz sollte sein, Wiederholungslogik hinzuzufügen. Wenn ein Agent eine Aufgabe nicht erledigt, wird es nicht mehr ausgeführt, bis es entweder erfolgreich die Aufgabe ausführt oder ein maximales Wiederholungsgrenze erreicht. Sie müssen jedoch auch wissen, wann Sie wiederholen müssen, da der Agent möglicherweise keinen Codefehler erfährt, sondern die falschen Informationen holt. Dafür benötigen Sie eine ordnungsgemäße LLM -Ausgangsvalidierung, über die Sie in meinem Artikel mehr erfahren können Große LLM -Validierung.
Die im letzten Absatz definierte Fehlerbehandlung kann mit einfachen Strive/Catch -Anweisungen und einer Validierungsfunktion behandelt werden. Es wird jedoch komplizierter, wenn man bedenkt, dass einige Verträge möglicherweise korrupt sind oder nicht die richtigen Informationen enthalten. Stellen Sie sich beispielsweise vor, wenn einer der Verträge die Kontaktperson enthält, aber die Zeit fehlt. Dies stellt ein weiteres Drawback auf, da Sie den nächsten Schritt der Aufgabe (Filterung) ohne Zeit nicht ausführen können. Um solche Fehler zu behandeln, sollten Sie vordefiniert haben, was mit fehlenden oder unvollständigen Informationen passiert. Eine einfache und effektive Heuristik besteht darin, alle Verträge zu ignorieren, die Sie nach zwei Wiederholungen nicht alle drei Informationspunkte (Ort, Zeit und Kontaktperson) extrahieren können.
Ein weiterer wichtiger Bestandteil des Fehlerbehandlungs ist es, Probleme wie:
- Token -Grenzen
- Langsame Reaktionszeiten
Wenn Sie bei Hunderten von Dokumenten Informationenextraktion durchführen, werden Sie unweigerlich Probleme haben, bei denen Sie ratebegrenzt sind oder dass die LLM die Reaktion lange dauert. Normalerweise empfehle ich die folgenden Lösungen:
- Token -Grenzen: Erhöhen Sie die Grenzen so weit wie möglich (LLM -Anbieter sind hier normalerweise ziemlich streng) und verwenden Sie exponentielle Backoffs
- Warten Sie immer LLM -Anrufe, wenn möglich. Dies kann zu Problemen führen, wenn die sequentielle Verarbeitung länger dauert. Dies wird jedoch viel einfacher, um Ihre Agentenanwendung zu erstellen. Wenn Sie wirklich eine erhöhte Geschwindigkeit benötigen, können Sie dies später dafür optimieren.
Ein weiterer wichtiger Aspekt ist das Checkpointing. Wenn Ihr Agent über 1 Minute Aufgaben ausführt, ist Checkpointing wichtig, da Sie bei einem Fehler nicht möchten, dass Ihr Modell von Grund auf neu startet. Dies führt normalerweise zu einer schlechten Benutzererfahrung, da der Benutzer einen längeren Zeitraum warten muss.
Debuggen Sie Ihre Agenten
Ein letzter wichtiger Schritt beim Aufbau von AI -Agenten ist die Debugie Ihrer Agenten. Mein Hauptpunkt zum Debuggen von Verbindungen zu einer Nachricht, die ich in mehreren Artikeln geteilt habe, gepostet von Greg Brockman auf X:
Der Tweet bezieht sich in der Regel auf ein Normal-Klassifizierungsproblem, in dem Sie Ihre Daten überprüfen, um zu verstehen, wie ein maschinelles Lernsystem die Klassifizierung durchführen kann. Ich finde jedoch, dass der Tweet auch sehr intestine für das Debuggen Ihrer Agenten gilt:
Sie sollten die Eingabe-, Denk- und Ausgabe -Token, die Ihre Agenten verwenden, manuell inspizieren, um eine Reihe von Aufgaben zu erledigen.
Dies wird Ihnen helfen, zu verstehen, wie sich der Agent einem bestimmten Drawback nähert, den Kontext, den der Agent zur Lösung des Issues und der Lösung, die der Agent erstellt. Die Antwort auf die meisten Probleme, mit denen Ihr Agent konfrontiert ist, ist normalerweise in einem dieser drei Tokensätze (Eingabe, Denken, Ausgabe) enthalten. Ich habe bei der Verwendung von LLMs zahlreiche Probleme gefunden, indem ich einfach 20 API -Anrufe beiseite gestellt habe, die ich getätigt habe, den gesamten Kontext durchgemacht habe, den ich dem Agenten sowie den Ausgabe -Token zur Verfügung gestellt habe und dann schnell merkte, wo ich zum Beispiel falsch gelaufen bin:
- Ich fütterte einen doppelten Kontext in meine LLM, wodurch es bei der folgenden Anweisungen schlimmer wurde
- Die Pondering Tokens zeigten, wie die LLM die Aufgabe, die ich zur Verfügung stellte, missverstanden, was darauf hinweist, dass meine Systemaufforderung unklar struggle.
Insgesamt empfehle ich auch, mehrere Testaufgaben für Ihre Agenten zu erstellen, mit einer Bodenwahrheit. Sie können dann Ihre Agenten einstellen, sicherstellen, dass sie alle Testfälle bestehen können, und sie dann in die Produktion freigeben.
Abschluss
In diesem Artikel habe ich diskutiert, wie Sie effektive Produktionsbereitungen entwickeln können. Viele On-line -Tutorials decken darüber, wie Sie Agenten in nur wenigen Minuten vor Ort einrichten können. Es ist jedoch in der Regel eine viel größere Herausforderung, Agenten für die Produktion erfolgreich einzusetzen. Ich habe besprochen, wie Sie Leitplanken verwenden müssen und den Agenten durch Problemlösungs- und effektive Fehlerbehandlung führen müssen, um erfolgreich Agenten in der Produktion zu haben. Zuletzt habe ich auch darüber gesprochen, wie Sie Ihre Agenten debuggen können, indem Sie die von ihm bereitgestellten Eingabe- und Ausgabetken manuell inspizieren.
👉 Finden Sie mich in Socials:
✍️ Medium