Ein Leitfaden für zuverlässige Multi-Agent-Workflows %

Da die KI immer intelligenter wird, erledigen Agenten jetzt komplexe Aufgaben. Menschen treffen Entscheidungen über ganze Arbeitsabläufe hinweg mit großer Effizienz und guter Absicht, aber nie mit perfekter Genauigkeit. Es ist leicht, von der Aufgabe abzuschweifen, zu viel oder zu wenig zu erklären, eine Aufforderung falsch zu verstehen oder sich Gedanken über das zu machen, was als nächstes kommt. Manchmal ist das Ergebnis nicht zum Thema gehörend, unvollständig oder sogar unsicher. Und wenn diese Agenten beginnen, tatsächliche Arbeit zu übernehmen, brauchen wir einen Mechanismus, um ihre Ergebnisse zu überprüfen, bevor wir sie weiterleiten. Dies ist nur ein weiterer Grund, warum CrewAI auf die Verwendung von Aufgabenleitplanken ausgeweitet hat. Leitplanken schaffen für jede Aufgabe die gleichen Erwartungen: Länge, Ton, Qualität, Format und Genauigkeit werden durch Regeln klargestellt. Wenn der Agent von der Leitplanke abweicht, korrigiert er sanft seinen Kurs und zwingt den Agenten, es erneut zu versuchen. Es hält den Arbeitsablauf stabil. Leitplanken helfen Agenten, von Anfang bis Ende auf dem richtigen Weg, konsistent und zuverlässig zu bleiben.

Was sind Aufgabenleitplanken?

Aufgabenleitplanken sind Validierungsprüfungen, die in CrewAI auf eine bestimmte Aufgabe angewendet werden. Aufgabenleitlinien werden unmittelbar nach Abschluss einer aufgabenbezogenen Ausgabe durch einen KI-Agenten ausgeführt. Sobald die KI generiert seine Ausgabe. Wenn sie Ihren Regeln entspricht, werden wir mit der nächsten Aktion in Ihrem Workflow fortfahren. Wenn nicht, stoppen wir die Ausführung oder versuchen es je nach Ihren Konfigurationen erneut.

Stellen Sie sich eine Leitplanke als Filter vor. Der Agent beendet seine Arbeit, aber bevor diese Arbeit Auswirkungen auf andere Aufgaben hat, überprüft die Leitplanke die Arbeit des Agenten. Entspricht es dem erwarteten Format? Enthält es die erforderlichen Schlüsselwörter? Ist es lang genug? Ist es related? Erfüllt es Sicherheitskriterien? Erst wenn die Arbeit anhand dieser Parameter überprüft wurde, wird der Workflow fortgesetzt.

Mehr lesen: Leitplanken drin LLM

CrewAI verfügt über zwei Arten von Leitplanken, die Sie dabei unterstützen, die Einhaltung Ihrer Arbeitsabläufe sicherzustellen:

1. Funktionsbasierte Leitplanken

Dies ist der am häufigsten verwendete Ansatz. Sie schreiben einfach eine Funktion hinein Python das die Ausgabe des Agenten überprüft. Die Funktion gibt Folgendes zurück:

• True, wenn die Ausgabe gültig ist
• Falsch mit optionaler Rückmeldung, wenn die Ausgabe ungültig ist

Funktionsbasierte Leitplanken eignen sich am besten für regelbasierte Szenarien wie:

• Wortanzahl
• Erforderliche Phrasen
• JSON-Formatierung
• Formatvalidierung
• Suche nach Schlüsselwörtern

Du könntest zum Beispiel sagen: „Die Ausgabe muss die Phrasen „Wasserkocher“ enthalten und mindestens 150 Wörter lang sein.“

2. LLM-basierte Leitplanken

Diese Leitplanken nutzten eine LLM um zu beurteilen, ob eine Agentenausgabe einige weniger strenge Kriterien erfüllt, wie zum Beispiel:

• Ton
• Stil
• Kreativität
• Subjektive Qualität
• Professionalität

Anstatt Code zu schreiben, geben Sie einfach eine Textbeschreibung an, die lauten könnte: „Stellen Sie sicher, dass der Textual content freundlich ist, keinen Slang verwendet und für ein allgemeines Publikum geeignet ist.“ Dann würde das Modell die Ausgabe untersuchen und entscheiden, ob sie erfolgreich ist oder nicht.

Beide Typen sind leistungsstark. Sie können sie sogar kombinieren, um eine mehrschichtige Validierung zu erhalten.

Warum Aufgabenleitplanken verwenden?

In KI-Workflows gibt es aus verschiedenen wichtigen Gründen Leitplanken. So werden sie normalerweise verwendet:

1. Qualitätskontrolle

Die von der KI erzeugten Ergebnisse können in der Qualität variieren, da eine Aufforderung möglicherweise eine hervorragende Reaktion hervorruft, während die nächste das Ziel völlig verfehlt. Leitplanken helfen dabei, die Qualität der Ausgabe zu steuern, da Leitplanken die Erwartung von Mindestausgabestandards wecken. Wenn eine Ausgabe zu kurz ist, keinen Bezug zur Anfrage hat oder schlecht organisiert ist, stellt die Leitplanke sicher, dass Maßnahmen ergriffen werden.

2. Sicherheit und Compliance

Einige Arbeitsabläufe erfordern höchste Genauigkeit. Diese Faustregel gilt insbesondere, wenn Sie im Gesundheitswesen, im Finanzwesen, in der Rechts- oder Unternehmensbranche arbeiten. Leitplanken werden verwendet, um Halluzinationen und unsichere Compliance-Ausgaben zu verhindern, die gegen Richtlinien verstoßen. CrewAI verfügt über eine integrierte „Halluzinationsleitplanke“, die nach faktenbasierten Inhalten sucht, um die Sicherheit zu erhöhen.

3. Zuverlässigkeit und Vorhersehbarkeit

In mehrstufigen Arbeitsabläufen kann eine fehlerhafte Ausgabe dazu führen, dass alle nachgelagerten Prozesse kaputt gehen. Eine fehlerhafte Ausgabe einer Abfrage kann zum Absturz der Abfrage eines anderen Agenten führen. Leitplanken schützen vor ungültigen Ausgaben und sorgen für zuverlässige und vorhersehbare Pipelines.

4. Automatisierte Wiederholungslogik

Wenn Sie sich nicht mit der manuellen Korrektur von Ausgaben befassen möchten, können Sie CrewAI automatisch erneut versuchen lassen. Wenn die Leitplanke versagt, erlauben Sie CrewAI, die Ausgabe der Informationen noch bis zu zwei Mal zu wiederholen. Diese Funktion erstellt belastbare Arbeitsabläufe und reduziert den Überwachungsaufwand, der während eines Arbeitsablaufs erforderlich ist.

Wie funktionieren Aufgabenleitplanken?

Die Aufgabenleitplanken von CrewAI bieten einen unkomplizierten und dennoch leistungsstarken Prozess. Der Agent führt die Aufgabe aus und generiert eine Ausgabe. Anschließend wird die Leitplanke aktiviert und empfängt die Ausgabe. Die Leitplanke prüft die Ausgabe anhand der von Ihnen konfigurierten Regeln. Wenn das Ergebnis der Ausgabe die Leitplankenprüfung besteht, wird der Workflow fortgesetzt. Wenn das Ergebnis der Ausgabe die Leitplankenprüfung nicht besteht, versucht die Leitplanke, einen erneuten Versuch auszulösen, oder generiert einen Fehler. Sie können Wiederholungsversuche anpassen, indem Sie die maximale Wiederholungsversuche, Wiederholungsintervalle und benutzerdefinierte Nachrichten definieren. CrewAI protokolliert jeden Versuch und bietet Einblick in genau das, was in jedem Schritt des Arbeitsablaufs passiert ist. Diese Schleife trägt dazu bei, dass das System stabil bleibt, bietet den Vorteil einer höheren Genauigkeit und sorgt für einen insgesamt zuverlässigeren Arbeitsablauf.

Hauptfunktionen und Greatest Practices

Funktion vs. LLM-Leitplanken

Implementieren Sie funktionsbasierte Leitplanken für explizite Regeln. Implementieren Sie LLM-basierte Leitplanken für möglicherweise subjektive Knotenpunkte.

Verkettende Leitplanken

Sie können mehrere Leitplanken betreiben.

1. Längenkontrolle
2. Key phrase-Examine
3. Tonprüfung
4. Formatprüfung

Der Workflow wird fortgesetzt, wenn alle erfolgreich sind.

Halluzinationsleitplanke

Für faktenbasiertere Arbeitsabläufe verwenden Sie die integrierte Halluzinationsleitplanke von CrewAI. Es vergleicht die Ausgabe mit der Kontextreferenz und erkennt, ob nicht unterstützte Ansprüche gekennzeichnet sind.

Wiederholungsstrategien

Legen Sie die Grenzen für Ihre Wiederholungsversuche mit Vorsicht fest. Weniger Wiederholungen = strenger Workflow, mehr Wiederholungen = mehr Kreativität.

Protokollierung und Beobachtbarkeit

CrewAI zeigt:

• Was ist fehlgeschlagen
• Warum es fehlgeschlagen ist
• Welcher Versuch gelang

Dies kann Ihnen bei der Anpassung Ihrer Leitplanken helfen.

Praktisches Beispiel: Validierung einer Produktbeschreibung

In diesem Beispiel zeigen wir, wie eine Leitplanke die Produktbeschreibung prüft, bevor sie diese akzeptiert. Die Erwartungen sind klar. Die Produktbeschreibung muss mindestens 150 Wörter umfassen, den Ausdruck „Wasserkocher“ enthalten und dem erforderlichen Format entsprechen.

Schritt 1: Einrichten und Importieren

In diesem Schritt installieren wir CrewAI, importieren die Bibliothek und laden die API-Schlüssel. Auf diese Weise können Sie alle Variablen ordnungsgemäß einrichten, sodass der Agent ausgeführt werden und sich asynchron mit den benötigten Instruments verbinden kann.

%pip set up -U -q crewai crewai-tools

from crewai import Agent, Activity, LLM, Crew, TaskOutput
from crewai_tools import SerperDevTool
from datetime import date
from typing import Tuple, Any
import os, getpass, warnings

warnings.filterwarnings("ignore")

SERPER_API_KEY = getpass.getpass('Enter your SERPER_API_KEY: ')
OPENAI_API_KEY = getpass.getpass('Enter your OPENAI_API_KEY: ')

if SERPER_API_KEY and OPENAI_API_KEY:
    os.environ('SERPER_API_KEY') = SERPER_API_KEY
    os.environ('OPENAI_API_KEY') = OPENAI_API_KEY

print("API keys set efficiently!")

Schritt 2: Definieren Sie die Leitplankenfunktion

Als Nächstes definieren Sie eine Funktion, die die Ausgabe des Agenten validiert. Es kann prüfen, ob die Ausgabe „Wasserkocher“ enthält, und die Gesamtzahl der ausgegebenen Wörter zählen. Wenn der erwartete Textual content nicht gefunden wird oder die Ausgabe zu kurz ist, wird die Fehlerantwort zurückgegeben. Wenn die Beschreibung korrekt ausgegeben wird, wird ein Erfolg zurückgegeben.

def validate_product_description(consequence: TaskOutput) -> Tuple(bool, Any):
    textual content = consequence.uncooked.decrease().strip()
    word_count = len(textual content.break up())

    if "electrical kettle" not in textual content:
        return (False, "Lacking required phrase: 'electrical kettle'")
    if word_count < 150:
        return (False, f"Description too brief ({word_count} phrases). Should be not less than 150.")
    return (True, consequence.uncooked.strip())

Schritt 3: Agent und Aufgabe definieren

Schließlich definieren Sie den Agenten, den Sie zum Schreiben der Beschreibung erstellt haben. Sie geben ihm eine Rolle und ein Ziel. Als Nächstes definieren Sie die Aufgabe und fügen der Aufgabe die Leitplanke hinzu. Die Aufgabe wird bis zu dreimal wiederholt, wenn die Agentenausgabe fehlschlägt.

llm = LLM(mannequin="gpt-4o-mini", api_key=OPENAI_API_KEY)

product_writer = Agent(
position="Product Copywriter",
aim="Write high-quality product descriptions",
backstory="An skilled marketer expert in persuasive descriptions.",
instruments=(SerperDevTool()),
    llm=llm,
verbose=True
)

product_task = Activity(
description="Write an in depth product description for {product_name}.",
    expected_output="A 150+ phrase description mentioning the product identify.",
agent=product_writer,
markdown=True,
guardrail=validate_product_description,
    max_retries=3
)

crew = Crew(
brokers=(product_writer),
duties=(product_task),
verbose=True
)

Schritt 4: Führen Sie den Workflow aus

Sie initiieren die Aufgabe. Der Agent verfasst die Produktbeschreibung. Die Leitplanke wertet es aus. Schlägt die Auswertung fehl, erstellt der Agent eine neue Beschreibung. Dies wird fortgesetzt, bis die Ausgabe den Bewertungsprozess besteht oder die maximale Anzahl von Iterationen abgeschlossen ist.

outcomes = crew.kickoff(inputs={"product_name": "electrical kettle"}) 

print("n Ultimate Abstract:n", outcomes)

Schritt 5: Zeigen Sie die Ausgabe an

Am Ende wird die korrekte Ausgabe angezeigt, die die Leitplankenprüfungen bestanden hat. Dies ist die validierte Produktbeschreibung, die alle Anforderungen erfüllt.

from IPython.show import show, Markdown
show(Markdown(outcomes.uncooked))

Einige praktische Vorschläge

• Seien Sie sehr klar in Ihrem expected_output.
• Machen Sie die Leitplanken nicht zu streng.
• Protokollieren Sie Fehlergründe.
• Setzen Sie Leitplanken frühzeitig ein, um stromabwärtige Schäden zu vermeiden.
• Randfälle testen.

Leitplanken sollten Ihren Arbeitsablauf schützen, nicht blockieren.

Mehr lesen: Erstellen von KI-Agenten mit CrewAI

Abschluss

Aufgabenleitplanken sind einfach eine der wichtigsten Funktionen in CrewAI. Leitplanken sorgen für Sicherheit, Genauigkeit und Konsistenz in Multi-Agent-Workflows. Leitplanken validieren Ausgaben, bevor sie stromabwärts weitergeleitet werden; Daher sind sie die grundlegende Funktion bei der Entwicklung von KI-Systemen, die einfach leistungsstark und zuverlässig genau sind. Ob beim Aufbau eines automatisierten Writers, einer Analyse-Pipeline oder eines Entscheidungsrahmens: Leitplanken schaffen eine Qualitätsebene, die dabei hilft, alles im Einklang zu halten. Letztendlich sorgen Leitplanken dafür, dass der Automatisierungsprozess von Anfang bis Ende reibungsloser, sicherer und vorhersehbarer verläuft.

Häufig gestellte Fragen

Hallo, ich bin Janvi, ein leidenschaftlicher Information-Science-Fanatic, der derzeit bei Analytics Vidhya arbeitet. Meine Reise in die Welt der Daten begann mit einer tiefen Neugier, wie wir aus komplexen Datensätzen aussagekräftige Erkenntnisse gewinnen können.