ein lokales LLM. Hübsch.

Aber nach den ersten paar Gesprächen fragen Sie sich vielleicht: Was kann ich sonst noch damit machen?

Nun, wie wäre es, wenn Sie den lokalen LLM-Agenten mit einem Software nutzen würden?

In diesem Beitrag untersuchen wir, wie man einen lokalen LLM in einen Software-verwendenden Agenten verwandelt. Konkret werden wir verwenden

• Gemma 4-Modell (kantenfreundliche Varianten) als unser lokales LLM
• Ollama für die Betreuung des lokalen LLM
• OpenAI Brokers SDK für die Agentenlaufzeit
• Tavily Websuche MCP als ein Beispiel für das externe Software

Wir werden einen Mini-Deep-Analysis-Agenten bauen, der das Internet durchsuchen, Beweise sammeln und anhand einer Benutzerfrage eine Antwort mit Zitaten zusammenfassen kann.

Am Ende des Beitrags hätten Sie einen funktionierenden lokalen Deep-Analysis-Agenten und ein wiederverwendbares Implementierungsmuster, um ein lokales Modell in einen lokalen KI-Agenten umzuwandeln.

Wenn Sie an einem lokalen Coding-Agent-Setup interessiert sind, habe ich es bereits besprochen Gemma 4 + OpenCode. In diesem Beitrag konzentrieren wir uns auf das allgemeinere Muster der Verbindung eines lokalen Modells mit einer Agentenlaufzeit und externen Instruments.

1. Richten Sie den lokalen Agentenstapel ein

Wir müssen vier Teile vorbereiten, bevor wir den Code schreiben: Ollama, Gemma 4 (insbesondere das Gemma 4 E4B-Modell), OpenAI Brokers SDK und Tavily MCP.

Zuerst installieren wir Ollama.

Unter Home windows können Sie das Installationsprogramm von der offiziellen Ollama-Web site herunterladen:

https://ollama.com/obtain

Oder verwenden winget in PowerShell:

winget set up Ollama.Ollama

Unter Linux kann Ollama installiert werden mit:

"curl -fsSL https://ollama.com/set up.sh | sh"

Bitte überprüfen Sie nach der Set up:

ollama --version

Denken Sie unter Home windows daran, Ollama über das Startmenü zu starten. Sobald es ausgeführt wird, ist der lokale API-Endpunkt verfügbar.

Als nächstes ziehen wir das lokale Modell. Hier verwenden wir die Gemma 4 E4B-Variante:

ollama pull gemma4:e4b

Gemma 4 hat mehrere Varianten. Das E4B-Modell eignet sich intestine für unseren Zweck, da es für Edge-/lokale Agenten-Workflows konzipiert ist. Mein Laptop verfügt über eine NVIDIA RTX 2000 Ada Laptop computer-GPU mit etwa 8 GB VRAM. Wenn Ihre Maschine stärker eingeschränkt ist, können Sie die leichtere E2B-Variante ausprobieren:

ollama pull gemma4:e2b

Als nächstes benötigen wir die Agent-Laufzeitbibliothek. Dafür verwenden wir das OpenAI Brokers SDK:

pip set up openai-agents

Sie benötigen außerdem den OpenAI-kompatiblen Consumer:

pip set up openai

Hier ist Folgendes zu beachten: Später verweisen wir den Consumer auf den lokalen Endpunkt von Ollama. Dies bedeutet additionally nicht, dass wir Modellaufrufe an OpenAI senden.

Schließlich benötigen wir einen Tavily MCP-Endpunkt. Falls Sie es noch nicht verwendet haben: Tavily ist eine Such-API, die für LLM-Anwendungen entwickelt wurde. In diesem Beitrag verwenden wir seinen MCP-Server, damit der Agent das Internet durchsuchen kann.

Sie müssen zunächst ein Tavily-Konto erstellen und einen API-Schlüssel erhalten. Auf der Tavily-Plattform können Sie direkt einen MCP-Hyperlink mit der folgenden Kind generieren:

https://mcp.tavily.com/mcp/?tavilyApiKey=<your-api-key>

Jetzt sind wir bereit.

Die Verwendung von Tavily hier ist keine gesponserte Entscheidung; Es wird hier als ein praktisches MCP verwendet Das gleiche Muster kann auch mit anderen MCP-kompatiblen Instruments funktionieren.

Tatsächlich ist der gesamte Stapel hier nicht die einzige Possibility. Anstatt Ollama zu verwenden, können Sie das lokale Modell mit LM Studio oder llama.cpp bereitstellen. Anstelle der Gemma 4-Modelle können Sie es auch mit anderen Modellen, z. B. der Qwen-Familie, versuchen. Für Agent-Framework, Wir haben auch Optionen von Google oder Anthropic. Anstelle von Tavily könnten Sie auch andere MCP-Instruments anschließen. Ich verwende diese Kombination einfach, weil ich mit diesem Stapel vertraut bin. Die wichtigste Erkenntnis aus dieser Fallstudie ist jedoch das allgemeine lokale Agentenmuster.

2. Konfigurieren Sie den Native Analysis Agent

Mit dem OpenAI Brokers SDK ist dies das Finale Agent Objekt, das wir zusammenstellen müssen:

from brokers import Agent

agent = Agent(
    identify="Native Analysis Agent",
    directions=RESEARCH_AGENT_INSTRUCTIONS,
    mannequin=mannequin,
    mcp_servers=(tavily_server),
    mcp_config={"include_server_in_tool_names": True},
)

Packen wir jeden Teil aus.

2.1 Das Modell

Zuerst das Modell.

from openai import AsyncOpenAI
from brokers import OpenAIChatCompletionsModel

MODEL_NAME = "gemma4:e4b"
OLLAMA_BASE_URL = "http://localhost:11434/v1"

consumer = AsyncOpenAI(
    api_key="ollama",
    base_url=OLLAMA_BASE_URL,
)

mannequin = OpenAIChatCompletionsModel(
    mannequin=MODEL_NAME,
    openai_client=consumer,
)

Wir beginnen mit der Erstellung eines Shoppers, der auf Ollamas lokalen OpenAI-kompatiblen Endpunkt verweist.

Dann verwenden wir OpenAIChatCompletionsModel um das Gemma-Modell in ein Modellobjekt zu verpacken. Dadurch kann das Brokers SDK dieses Modell innerhalb der Agentenschleife verwenden.

Beachten Sie, dass die api_key="ollama" worth ist nur ein Platzhalter. Ollama benötigt nicht wirklich einen echten OpenAI-API-Schlüssel. Wir verwenden es, weil der Kunde dieses Feld erwartet.

2.2 Die Anleitung

Als nächstes definieren wir die Anweisung für den Agenten mit dem gewünschten Forschungsverhalten:

from datetime import datetime

CURRENT_DATE = datetime.now().strftime("%B %d, %Y")

# Observe that this instruction is iterated with AI
RESEARCH_AGENT_INSTRUCTIONS = f"""
(Position)
You're a concise analysis assistant.

(Process)
Reply the consumer's query by turning it right into a small net analysis activity. 
Use the present date when deciphering time-sensitive questions: {CURRENT_DATE}.

(Analysis habits)
Begin with one focused search question.
For suggestion or comparability questions, full this analysis loop earlier than answering: 
first establish the principle choices, then seek for comparability context, then synthesize a suggestion.

Use follow-up searches when the primary outcomes are inadequate, conflicting, or solely cowl a part of the query.

Want related and credible sources, and observe which supply helps every necessary declare.

Earlier than answering, test whether or not the gathered proof is sufficient to help the conclusion.

(Anticipated output)
Give a direct reply first, then briefly clarify the proof behind it. 
Embody supply hyperlinks for key factual claims.

(Guidelines)
Don't depend on reminiscence for information which will have modified.
Don't invent lacking particulars.
Preserve the reply concise.
""".strip()

2.3 Die Werkzeuge

Jetzt statten wir den Agenten mit dem Websuchtool aus. In diesem Fall nutzen wir die Tavily-Suchmaschine über MCP:

from brokers import Agent, Runner
from brokers.mcp import MCPServerStreamableHttp

TAVILY_MCP_URL = "YOUR_TAVILY_MCP_URL"

async with MCPServerStreamableHttp(
    identify="tavily",
    params={"url": TAVILY_MCP_URL},
) as tavily_server:
    instruments = await tavily_server.list_tools()

    print("Out there Tavily instruments:")
    for instrument in instruments:
        description = (instrument.description or "").substitute("n", " ")
        print(f"- {instrument.identify}: {description(:120)}")

    agent = Agent(
        identify="Native Analysis Agent",
        directions=RESEARCH_AGENT_INSTRUCTIONS,
        mannequin=mannequin,
        mcp_servers=(tavily_server),
        mcp_config={"include_server_in_tool_names": True},
    )

    consequence = await Runner.run(agent, RESEARCH_QUESTION, max_turns=MAX_TURNS)

Dieser Codeblock macht drei Dinge:

1. Es wird eine Verbindung zum MCP-Server von Tavily hergestellt async with MCPServerStreamableHttp(...) as tavily_server: Sobald die Verbindung hergestellt ist, stellt Tavily seine verfügbaren Instruments dem Agenten-SDK zur Verfügung.
2. Wir erstellen das Agent-Objekt innerhalb des MCP-Kontexts. Beachten Sie, dass wir haben mcp_servers=(tavily_server)wodurch die MCP-Instruments von Tavily mit dem Agenten verbunden werden.
3. Wir führen den Agenten endlich mit aus consequence = await Runner.run(agent, RESEARCH_QUESTION, max_turns=MAX_TURNS). Der Kontextmanager ist hier wichtig, da die MCP-Verbindung nur innerhalb des aktiv ist async with Block.

mcp_config={"include_server_in_tool_names": True} dient hauptsächlich der Lesbarkeit im Hint. Ohne diese Angabe wird der Werkzeugname nur als angezeigt tavily_search. Damit wird der Werkzeugname als angezeigt mcp_tavily__tavily_search. Dadurch wird deutlicher, dass der Software-Aufruf über den Tavily MCP-Server erfolgte.

3. Stellen Sie eine Forschungsfrage

Nachdem der Agent nun konfiguriert ist, testen wir ihn mit einer konkreten Frage:

„Welches WM-Spiel am 23. Juni 2026 hatte in der Gruppenphase den höchsten Einsatz und warum?“

Um zu untersuchen, was passiert ist, drucke ich eine kompakte Ablaufverfolgung aus:

def compact(worth: object, restrict: int = 220) -> str:
    textual content = str(worth).substitute("n", " ")
    return textual content if len(textual content) <= restrict else textual content(:restrict) + "..."


for step, merchandise in enumerate(consequence.new_items, begin=1):
    raw_item = getattr(merchandise, "raw_item", None)
    raw_type = getattr(raw_item, "sort", "")
    raw_name = getattr(raw_item, "identify", "")
    raw_output = getattr(raw_item, "output", "")

    print(
        f"{step:02d} | {sort(merchandise).__name__} | "
        f"{raw_type or raw_name} | {compact(raw_output or raw_item)}"
    )

Bei mir sah die Spur so aus:

01 | ToolCallItem | function_call | ResponseFunctionToolCall(arguments='{"question":"World Cup 2026 group stage matches June 23, 2026 stakes"}', identify='mcp_tavily__tavily_search', ...)
02 | ToolCallOutputItem |  | {'call_id': ..., 'output': ...}
03 | MessageOutputItem | message | ResponseOutputMessage(... closing reply ...)

Dadurch können wir das Verhalten des Agenten direkt sehen. In diesem Lauf beschloss das lokale Gemma-Modell, das Tavily-Suchtool aufzurufen, das Brokers SDK führte diesen Toolaufruf aus und übergab die Ergebnisse an das Modell zurück. Dann lieferte das Modell die endgültige Antwort.

Um die endgültige Antwort zu sehen, können wir Folgendes ausdrucken:

print(consequence.final_output)

Das hat der Agent produziert:

The match with the largest group-stage stakes on June 23, 2026, was Colombia vs. DR Congo.

Why:
Based on FIFA reporting, this particular match was highlighted as a important second the place Colombia superior into the knockout part of the event. 
The article notes that Daniel Munoz scored the primary aim for Colombia throughout this Group Okay fixture, which immediately contributed to their development within the competitors.

Proof
- FIFA: An article titled "Colombia v Congo DR Group Okay FIFA World Cup 2026" particularly stories on a key second from this match, stating that Munoz's aim helped hearth Colombia into the knockout part.
  Supply: https://digitalhub.fifa.com/rework/450614d3-72d7-4c1f-85ff-ea0fbee6f28d/Colombia-v-Congo-DR-Group-Okay-FIFA-World-Cup-2026?focuspoint=0.51

- Yahoo Sports activities: Confirms the fixture and consequence for that date: Colombia defeated DR Congo.
  Supply: https://sports activities.yahoo.com/soccer/article/2026-world-cup-results-standings-and-schedule-live-scores-group-stage-updates-and-how-to-watch-050724193.html

Beachten Sie, dass der Agent in diesem Lauf nur eine Suchrunde durchgeführt hat, da die Suchergebnisse bereits genügend Beweise enthielten, damit das Modell antworten konnte. Für komplexere Fragen wären mehrere Such- und Argumentationsrunden erforderlich, und unser aktuelles Framework unterstützt dies natürlich.

4. Zusammenfassung

Ein lokaler LLM muss nicht als Chat-Modell bleiben.

In diesem Beitrag haben wir ein Gemma 4 E4B-Modell lokal über Ollama bereitgestellt, dann haben wir das Modell in eine Agentenlaufzeit eingefügt, die vom OpenAI Brokers SDK bereitgestellt wird, und wir haben dem Agenten ein Websuchtool gegeben, damit er Informationen on-line finden kann, um Benutzerfragen zu beantworten.

Von hier aus können Sie dieses Muster ganz einfach um stärkere Forschungsanweisungen erweitern oder einen expliziteren Planungs-Reflexions-Workflow erstellen, wenn Sie weiterhin in Richtung tiefergehender Forschung arbeiten möchten, oder Sie können den Agenten für viele andere Anwendungsfälle mit weiteren MCP-Instruments verbinden.

Viel Spaß beim Bauen!

Referenz

Ollama: https://ollama.com/

Gemma-Modellfamilie: https://ai.google.dev/gemma

OpenAI Brokers SDK: https://openai.github.io/openai-agents-python/

Brokers SDK MCP-Dokumente: https://openai.github.io/openai-agents-python/mcp/

Tavily MCP-Dokumente: https://docs.tavily.com/documentation/mcp

Nous Analysis hat eine hinzugefügt Clean Slate-Setup-Modus zu seinem Open-Supply-Hermes-Agenten. Es kehrt das übliche Onboarding um. Anstelle einer vollständig geladenen Standardeinstellung beginnen Sie mit quick nichts.

Hermes Agent ist das sich selbst verbessernde Agenten-Framework von Nous Analysis. Es läuft auf Ihrem eigenen Rechner. Der Das Staff hat den neuen Modus auf X angekündigt. Clean Slate vereint nun zwei bestehende Optionen: Schnelle Einrichtung und vollständige Einrichtung.

TL;DR

• Clean Slate startet einen Agenten, bei dem alles außer Anbieter und Modell, Dateioperationen und Terminal ausgeschaltet ist.
• Net, Browser, Codeausführung, Imaginative and prescient, Speicher, Delegation, Cron, Expertise, Plugins und MCP bleiben deaktiviert.
• Es schreibt eine explizite platform_toolsets.cli Liste plus agent.disabled_toolsets um die Oberfläche festzunageln.
• Nichts, was Sie übersprungen haben, wird später geladen – nicht einmal danach hermes replace.
• Alles mit wieder aktivieren hermes instruments, hermes expertise opt-in --syncoder hermes setup agent.

Was ist Clean Slate?

Bei einer Neuinstallation, hermes setup jetzt bietet drei modusS. Die Auswahl legt Ihre Startfläche fest.

• Fast Setup verwendet das Nous-Portal. Es benötigt keine API-Schlüssel und verwendet ein kostenloses OAuth-Login. Es richtet ein Modell und die Instrument Gateway-Instruments ein. Die Dokumentation nennt es den empfohlenen schnellen Pfad.
• Das vollständige Setup ist das Gegenteil. Sie gehen alle Anbieter, Instruments und Optionen selbst durch. Sie bringen Ihre eigenen Schlüssel mit.
• Clean Slate ist der minimale dritte Pfad. Es dient dazu, einen Agenten von Grund auf aufzubauen. Alles fängt an, bis auf das Nötigste, was zum Ausführen eines Agenten erforderlich ist. Das Minimal besteht aus drei Teilen: Anbieter und Modell, dem File Operations-Toolset und dem Terminal-Toolset.

Die deaktivierte Liste ist explizit. Standardmäßig deaktiviert: Net, Browser, Codeausführung, Imaginative and prescient, Speicher, Delegation, Cron, Expertise, Plugins und MCP-Server. Komprimierung, Prüfpunkte, intelligentes Routing und Speichererfassung sind ebenfalls deaktiviert.

Die zwei Pfade nach der Grundlinie

Clean Slate hört nicht bei der Grundlinie auf. Nachdem die minimale Grundlinie angewendet wurde, wählen Sie einen von zwei Pfaden.

• Der erste Pfad hält alles deaktiviert. Sie schließen nun mit dem Minimalagenten ab. Sie erhalten Datei- und Terminalzugriff und sonst nichts.
• Der zweite Pfad führt durch alle Konfigurationen. Sie entscheiden sich für Instruments, Fähigkeiten, Plugins, MCP und Messaging. Sie aktivieren nur das, was jeder Workflow benötigt.

Wählen Sie Clean Slate, wenn Sie einen minimalen, vollständig kontrollierten Agenten wünschen. Es geht darum, genau das zu aktivieren, was Sie brauchen, und nicht mehr.

Warum das Konfigurationsformat wichtig ist

Clean Slate schaltet Funktionen nicht nur zur Laufzeit um. Die Entscheidung wird auf die Festplatte geschrieben.

Der Modus schreibt ein explizites platform_toolsets.cli Liste. Es schreibt auch agent.disabled_toolsets. Zusammen bilden diese beiden Schlüssel die Oberfläche Ihres Agenten.

Der Effekt ist dauerhaft. Nichts, was Sie nicht ausgewählt haben, wird jemals geladen. Das gilt auch danach hermes replace. Ein Replace kann ein Toolset, das Sie unterbrochen haben, nicht stillschweigend wieder aktivieren.

Hermes trennt auch Geheimnisse von Einstellungen. Token leben in ~/.hermes/.env. Nicht geheime Einstellungen leben darin ~/.hermes/config.yaml. Die CLI leitet jeden Wert an die richtige Datei weiter.

Setup-Modi im Vergleich

Anwendungsfälle mit Beispielen

Drei Situationen passen intestine zu Clean Slate:

• Eine sicherheitsrelevante Bereitstellung ist die erste. Sie möchten einen Agenten ohne Net und ohne Browser. Clean Slate liefert nur Datei- und Terminalzugriff. Nichts erreicht das Netzwerk, es sei denn, Sie fügen es hinzu.
• Ein reproduzierbarer Teamaufbau ist der zweite Punkt. Sie heften ein bekanntes Toolset an jede Maschine. Durch Aktualisierungen wird die Konfiguration nicht verändert. Neue Instruments erscheinen nie ohne eine ausdrückliche Einwilligung.
• Eine Lehr- oder Prüfungsumgebung ist die dritte. Sie beginnen minimal und fügen jeweils ein Toolset hinzu. Jede Fähigkeit wird zu einer bewussten Entscheidung.

Hier ist ein minimaler Fluss. Installieren Sie, führen Sie das Setup aus, wählen Sie „Clean Slate“ und beenden Sie es jetzt.

curl -fsSL https://hermes-agent.nousresearch.com/set up.sh | bash
supply ~/.bashrc                 # or supply ~/.zshrc
hermes setup                     # select Clean Slate, then "end now"
hermes                           # file + terminal solely

Fügen Sie später eine Funktion hinzu, wenn eine Aufgabe sie benötigt.

hermes instruments                     # re-enable a toolset, e.g. net
hermes expertise opt-in --sync      # seed expertise on demand
hermes setup agent               # tune compression, routing, reminiscence

Ein Hinweis für lokale Setups

Hermes Agent erfordert ein Modell mit mindestens 64.000 Kontext-Tokens. Kleinere Fenster werden beim Begin abgelehnt. Die meisten gehosteten Modelle erfüllen dies problemlos.

Lokale Modelle benötigen eine explizite Kontextgröße von 64 KB. Verwenden Sie zum Beispiel --ctx-size 65536 für llama.cpp. Ein minimaler Clean Slate-Agent eines lokalen Modells muss diese Etage noch räumen.

Interaktiver Erklärer

Aufgabe 2: Native Visualisierungen generieren

Mit Deep Analysis Max können Sie Visualisierungen (Diagramme) direkt aus Ihren Daten erstellen, ohne auf Bibliotheken von Drittanbietern zurückgreifen zu müssen, indem Sie den Agenten verwenden, um automatisch visuelle Berichte zu erhalten.

Schritt 1: Alle Diagramme im Bericht generieren:

import time
from google import genai

shopper = genai.Consumer()

immediate = """
Analysis the highest 10 programming languages by job demand in 2026.
Embody in your report:
- A bar chart evaluating job postings throughout languages
- A development line displaying development over the previous 3 years
- A comparability desk with wage ranges
Generate all charts natively inline.
"""

interplay = shopper.interactions.create(
    enter=immediate,
    agent="deep-research-max-preview-04-2026",
    background=True
)

print(f"Visible analysis began. ID: {interplay.id}")

Erstellen visual_research.py mit einer Aufforderung zum Anfordern von Diagrammen – die Aufforderung sollte den Satz „Alle Diagramme nativ inline generieren“ enthalten, um den Agenten aufzufordern, eine HTML- oder Nano-Bananen-Visualisierung zu erstellen, die direkt in den Bericht eingebettet wird.

Schritt 2: Ergebnisse abfragen und als HTML-Datei speichern

whereas True:
    interplay = shopper.interactions.get(interplay.id)

    if interplay.standing == "accomplished":
        with open("visual_report.html", "w") as f:
            f.write(interplay.outputs(-1).textual content)

        print("Saved to visual_report.html")
        break

    elif interplay.standing == "failed":
        print(f"Failed: {interplay.error}")
        break

    time.sleep(10)

Schritt 3: Öffnen Sie visual_report.html in einem Webbrowser

Der Agent hat die Diagramme direkt auf der Seite erstellt: Nein MatplotlibNEIN Plotlykeine JavaScript-Diagrammbibliotheken, der Agent hat diese alle als Teil der Berichtsausgabe erstellt.

Dies ist für automatisierte Berichtspipelines äußerst vorteilhaft. Der Bericht kann ohne zusätzliche Nachbearbeitung sofort geteilt werden.

Greatest Practices für die Produktion

Beim Übergang von Laborskripten zu Produktionscode sind einige Änderungen erforderlich:

• Anstatt Ihren Hauptserver mithilfe einer Whereas-Schleife abzufragen, verwenden Sie eine Jobwarteschlangenarchitektur. Akzeptieren Sie die Anfrage über Cloud Run, speichern Sie dann die Interaktions-ID in einer Datenbank und überprüfen Sie die Ergebnisse mit Cloud Scheduler oder einem Cronjob. Auf diese Weise bleibt Ihr Server auch bei hohem Datenverkehr reaktionsfähig.
• Behalten Sie Interaktions-IDs und Ereignis-IDs bei. Bei 20-minütigen Rechercheaufgaben kommt es häufig zu Verbindungsabbrüchen. Beharren Sie immer darauf interaction_id Und last_event_id vom Streaming. Durch die erneute Verbindung mit shopper.interactions.get() Mithilfe der beibehaltenen IDs können Sie dort weitermachen, wo Sie aufgehört haben.
• Schreiben Sie spezifische Aufforderungen, um die Kosten zu kontrollieren. Allgemeine Eingabeaufforderungen führen zu einer umfassenden Suche, die mehr Token und Zeit erfordert als die Verwendung einer spezifischen und klar definierten Eingabeaufforderung.
• Cache wann immer möglich. Ein Deep Analysis Max-Bericht kann zwischen 3 und 5 US-Greenback kosten. Wenn Benutzer additionally viele ähnliche Fragen haben, sollten Sie diese Ergebnisse zwischenspeichern. Für die Bereitstellung aus dem Cache fallen nur sehr geringe Betriebskosten an.
• Überprüfen Sie Zitate immer. Der Agent stellt seine Zitate bereit, aber es ist eine Lektüre des offenen Webs. Bei kritischen Geschäftsentscheidungen empfiehlt es sich, die wichtigsten Behauptungen stichprobenartig anhand von Originalquellen zu überprüfen; deshalb: „Vertrauen, aber überprüfen.“

Lohnt sich die Verwendung von Deep Analysis Max?

Deep Analysis Max entspricht nicht dem Commonplace KI-Chatbots dass wir es gewohnt sind. Mit Deep Analysis Max geben Sie der Maschine eine Aufgabe, lassen sie in Ruhe und schauen später noch einmal nach, um einen vollständigen Bericht zu erhalten (wie Sie es bei einer Einzelperson tun würden). Sie müssen der KI nicht mehr mehrere Eingabeaufforderungen geben, um die richtige Antwort zu erhalten.

Es ist auch von Vorteil, alles an einem Ort zu haben. Deep Analysis Max kann für Sie nachschlagen; Nutzen Sie Ihre Daten (sofern verfügbar) und erstellen Sie Diagramme ohne zusätzlichen Aufwand Ihrerseits. Ich möchte Sie ermutigen, Deep Analysis Max etwas Kleines für Sie erledigen zu lassen, damit Sie sehen, wie intestine es funktioniert, bevor Sie den Arbeitsaufwand erhöhen, für den Sie es verwenden.

Häufig gestellte Fragen

Information Science Trainee bei Analytics Vidhya
Derzeit arbeite ich als Information Science Trainee bei Analytics Vidhya, wo ich mich auf die Entwicklung datengesteuerter Lösungen und die Anwendung von KI/ML-Techniken zur Lösung realer Geschäftsprobleme konzentriere. Meine Arbeit ermöglicht es mir, fortschrittliche Analysen, maschinelles Lernen und KI-Anwendungen zu erforschen, die es Unternehmen ermöglichen, intelligentere, evidenzbasierte Entscheidungen zu treffen.
Mit einem starken Fundament in den Bereichen Informatik, Softwareentwicklung und Datenanalyse ist es mir eine Leidenschaft, KI zu nutzen, um wirkungsvolle, skalierbare Lösungen zu schaffen, die die Lücke zwischen Technologie und Geschäft schließen.
Du kannst mich auch erreichen unter (e mail protected)

Aktie

Publish


Aktie

In diesem Artikel lernen Sie die architektonischen Unterschiede zwischen strukturierten Ausgaben und Funktionsaufrufen in modernen Sprachmodellsystemen kennen.

Zu den Themen, die wir behandeln werden, gehören:

• Wie strukturierte Ausgaben und Funktionsaufrufe unter der Haube funktionieren.
• Wann die einzelnen Ansätze in realen maschinellen Lernsystemen verwendet werden sollten.
• Die Kompromisse zwischen Leistung, Kosten und Zuverlässigkeit zwischen beiden.

Strukturierte Ausgaben vs. Funktionsaufrufe: Was sollte Ihr Agent verwenden?
Bild vom Herausgeber

Einführung

Sprachmodelle (LMs) sind im Kern Textual content-In- und Textual content-Out-Systeme. Für einen Menschen, der sich über eine Chat-Schnittstelle mit jemandem unterhält, ist das vollkommen in Ordnung. Aber für Praktiker des maschinellen Lernens, die autonome Agenten und zuverlässige Software program-Pipelines erstellen, ist die Analyse, Weiterleitung und Integration von rohem, unstrukturiertem Textual content in deterministische Systeme ein Albtraum.

Um zuverlässige Agenten zu entwickeln, benötigen wir vorhersehbare, maschinenlesbare Ausgaben und die Fähigkeit, nahtlos mit externen Umgebungen zu interagieren. Um diese Lücke zu schließen, haben moderne LM-API-Anbieter (wie OpenAI, Anthropic und Google Gemini) zwei Hauptmechanismen eingeführt:

1. Strukturierte Ausgaben: Erzwingen einer Antwort des Modells durch genaue Einhaltung eines vordefinierten Schemas (am häufigsten ein JSON-Schema oder ein Python-Pydantic-Modell)
2. Funktionsaufruf (Werkzeugverwendung): Statten Sie das Modell mit einer Bibliothek funktionaler Definitionen aus, die es basierend auf dem Kontext der Eingabeaufforderung dynamisch aufrufen kann

Auf den ersten Blick sehen diese beiden Fähigkeiten sehr ähnlich aus. Beide basieren typischerweise auf der Übergabe von JSON-Schemata an die API unter der Haube, und beide führen dazu, dass das Modell strukturierte Schlüssel-Wert-Paare anstelle von Konversationsprosa ausgibt. Allerdings dienen sie grundsätzlich unterschiedlichen architektonischen Zwecken im Agentendesign.

Beides zu verwechseln, ist eine häufige Gefahr. Die Wahl des falschen Mechanismus für eine Funktion kann zu brüchigen Architekturen, übermäßiger Latenz und unnötig hohen API-Kosten führen. Lassen Sie uns die architektonischen Unterschiede zwischen diesen Methoden aufschlüsseln und einen Entscheidungsrahmen für die Verwendung der einzelnen Methoden bereitstellen.

Die Mechanik auspacken: Wie sie unter der Haube funktioniert

Um zu verstehen, wann diese Funktionen verwendet werden sollten, ist es notwendig zu verstehen, wie sie sich auf mechanischer und API-Ebene unterscheiden.

Mechanik strukturierter Ausgänge

In der Vergangenheit warfare es auf promptes Engineering angewiesen, um ein Modell zur Ausgabe von Roh-JSON zu bringen („Sie sind ein hilfreicher Assistent, der *nur* in JSON spricht…“). Dies warfare fehleranfällig und erforderte umfangreiche Wiederholungslogik und Validierung.

Moderne „strukturierte Ausgaben“ ändern dies grundlegend grammatikbeschränkte Dekodierung. Bibliotheken mögen Umrisseoder native Funktionen wie Strukturierte Ausgaben von OpenAIschränken die Token-Wahrscheinlichkeiten zum Zeitpunkt der Generierung mathematisch ein. Wenn das gewählte Schema vorschreibt, dass das nächste Token ein Anführungszeichen oder ein bestimmter boolescher Wert sein muss, werden die Wahrscheinlichkeiten aller nicht konformen Token ausgeblendet (auf Null gesetzt).

Dabei handelt es sich um eine Single-Flip-Technology, die sich strikt auf die Entwicklung konzentriert bilden. Das Modell antwortet direkt auf die Eingabeaufforderung, sein Vokabular ist jedoch auf die genaue Struktur beschränkt, die Sie definiert haben, mit dem Ziel, eine nahezu 100-prozentige Schemakonformität sicherzustellen.

Funktionsaufrufmechanik

Der Funktionsaufruf hingegen ist stark abhängig von Anleitung zum Tuning. Während des Trainings wird das Modell so abgestimmt, dass es Situationen erkennt, in denen es nicht über die notwendigen Informationen verfügt, um eine Eingabeaufforderung abzuschließen, oder wenn die Eingabeaufforderung es explizit zu einer Aktion auffordert.

Wenn Sie einem Modell eine Liste mit Werkzeugen bereitstellen, sagen Sie ihm: „Bei Bedarf können Sie Ihre Textgenerierung anhalten, ein Werkzeug aus dieser Liste auswählen und die notwendigen Argumente generieren, um es auszuführen.“

Dies ist ein von Natur aus interaktiver Ablauf mit mehreren Runden:

1. Das Modell beschließt, ein Software aufzurufen und gibt den Toolnamen und die Argumente aus.
2. Das Modell pausiert. Der Code selbst kann nicht ausgeführt werden.
3. Ihr Anwendungscode führt die ausgewählte Funktion lokal unter Verwendung der generierten Argumente aus.
4. Ihre Anwendung gibt das Ergebnis der Funktion an das Modell zurück.
5. Das Modell synthetisiert diese neuen Informationen und generiert weiterhin seine endgültige Antwort.

Wann sollten Sie strukturierte Ausgaben wählen?

Strukturierte Ausgaben sollten Ihr Standardansatz sein, wenn das Ziel eine reine Datentransformation, -extraktion oder -standardisierung ist.

Hauptanwendungsfall: Das Modell verfügt über alle notwendigen Informationen im Eingabeaufforderungs- und Kontextfenster; es muss nur umgestaltet werden.

Beispiele für Praktiker:

• Datenextraktion (ETL): Verarbeiten Sie rohen, unstrukturierten Textual content wie ein Kundensupport-Transkript und extrahieren Sie Entitäten &emdash; Namen, Daten, Beschwerdearten und Stimmungswerte &emdash; in ein striktes Datenbankschema.
• Abfragegenerierung: Konvertieren einer chaotischen Benutzeraufforderung in natürlicher Sprache in eine strenge, validierte SQL-Abfrage oder eine GraphQL-Nutzlast. Wenn das Schema fehlerhaft ist, schlägt die Abfrage fehl, sodass eine 100-prozentige Einhaltung erforderlich ist.
• Begründung des internen Agenten: Die „Gedanken“ eines Agenten strukturieren, bevor er handelt. Sie können a durchsetzen Pydantisch Modell, das eine erfordert thought_process Feld, ein assumptions Feld und schließlich a resolution Feld. Dies erzwingt a Gedankenkette Prozess, der von Ihren Backend-Protokollierungssystemen problemlos analysiert werden kann.

Das Urteil: Verwenden Sie strukturierte Ausgaben, wenn die „Aktion“ lediglich in der Formatierung besteht. Da es keine Interaktion der mittleren Technology mit externen Systemen gibt, gewährleistet dieser Ansatz eine hohe Zuverlässigkeit, geringere Latenz und keine Schema-Parsing-Fehler.

Wann sollte man sich für den Funktionsaufruf entscheiden?

Funktionsaufrufe sind der Motor der Agentenautonomie. Wenn strukturierte Ausgaben dies vorschreiben Type der Daten bestimmt der Funktionsaufruf Kontrollfluss der Bewerbung.

Hauptanwendungsfall: Externe Interaktionen, dynamische Entscheidungsfindung und Fälle, in denen das Modell Informationen abrufen muss, über die es derzeit nicht verfügt.

Beispiele für Praktiker:

• Ausführen realer Aktionen: Auslösen externer APIs basierend auf der Konversationsabsicht. Wenn ein Benutzer sagt: „Buche meinen üblichen Flug nach New York“, löst das Modell mithilfe von Funktionsaufrufen die Aktion aus book_flight(vacation spot="JFK") Werkzeug.
• Retrieval-Augmented Technology (RAG): Anstelle einer naiven RAG-Pipeline, die immer eine Vektordatenbank durchsucht, kann ein Agent eine verwenden search_knowledge_base Werkzeug. Das Modell entscheidet dynamisch Was Die zu verwendenden Suchbegriffe werden je nach Kontext ausgewählt oder es wird entschieden, überhaupt nicht zu suchen, wenn die Antwort bereits bekannt ist.
• Dynamische Aufgabenweiterleitung: Bei komplexen Systemen könnte ein Router-Modell Funktionsaufrufe verwenden, um den am besten spezialisierten Subagenten auszuwählen (z. B. Calling). delegate_to_billing_agent gegen delegate_to_tech_support), um eine bestimmte Abfrage zu bearbeiten.

Das Urteil: Wählen Sie den Funktionsaufruf, wenn das Modell mit der Außenwelt interagieren, versteckte Daten abrufen oder Softwarelogik mitten im Gedanken bedingt ausführen muss.

Auswirkungen auf Leistung, Latenz und Kosten

Bei der Bereitstellung von Agenten in der Produktion wirkt sich die architektonische Wahl zwischen diesen beiden Methoden direkt auf die Wirtschaftlichkeit Ihrer Einheit und das Benutzererlebnis aus.

• Token-Verbrauch: Funktionsaufrufe erfordern oft mehrere Roundtrips. Sie senden die Systemaufforderung, das Modell sendet Werkzeugargumente, Sie senden die Werkzeugergebnisse zurück und das Modell sendet schließlich die Antwort. Jeder Schritt wird an das Kontextfenster angehängt und sammelt die Verwendung von Eingabe- und Ausgabe-Tokens. Strukturierte Ausgaben werden normalerweise in einer einzigen, kostengünstigeren Runde gelöst.
• Latenzaufwand: Die mit Funktionsaufrufen verbundenen Roundtrips führen zu einer erheblichen Netzwerk- und Verarbeitungslatenz. Ihre Anwendung muss auf das Modell warten, lokalen Code ausführen und erneut auf das Modell warten. Wenn Ihr primäres Ziel lediglich darin besteht, Daten in ein bestimmtes Format zu bringen, sind strukturierte Ausgaben wesentlich schneller.
• Zuverlässigkeit vs. Wiederholungslogik: Streng strukturierte Ausgaben (über eingeschränkte Dekodierung) bieten nahezu 100 % Schematreue. Sie können der Ausgabeform ohne komplexe Parsing-Blöcke vertrauen. Der Funktionsaufruf ist jedoch statistisch unvorhersehbar. Das Modell könnte ein Argument halluzinieren, das falsche Werkzeug auswählen oder in einer Diagnoseschleife stecken bleiben. Funktionsaufrufe in Produktionsqualität erfordern eine robuste Wiederholungslogik, Fallback-Mechanismen und eine sorgfältige Fehlerbehandlung.

Hybride Ansätze und Finest Practices

In fortschrittlichen Agentenarchitekturen verschwimmt die Grenze zwischen diesen beiden Mechanismen häufig, was zu hybriden Ansätzen führt.

Die Überschneidung:
Es ist erwähnenswert, dass es tatsächlich moderne Funktionsaufrufe gibt verlässt sich auf strukturierten Ausgaben unter der Haube, um sicherzustellen, dass die generierten Argumente mit Ihren Funktionssignaturen übereinstimmen. Umgekehrt können Sie einen Agenten entwerfen, der nur strukturierte Ausgaben verwendet, um ein JSON-Objekt zurückzugeben, das eine Aktion beschreibt, die Ihr deterministisches System ausführen soll nach die Generierung ist abgeschlossen &emdash; Effektive Täuschung der Werkzeugnutzung ohne Multi-Flip-Latenz.

Architekturberatung:

• Das „Controller“-Muster: Verwenden Sie Funktionsaufrufe für den Orchestrator oder „Gehirn“-Agenten. Lassen Sie es frei Instruments aufrufen, um Kontext zu sammeln, Datenbanken abzufragen und APIs auszuführen, bis es überzeugt ist, dass es den erforderlichen Standing erreicht hat.
• Das „Formatter“-Muster: Sobald die Aktion abgeschlossen ist, leiten Sie die Rohergebnisse an ein endgültiges, kostengünstigeres Modell weiter, das nur strukturierte Ergebnisse verwendet. Dies garantiert, dass die endgültige Antwort perfekt Ihren UI-Komponenten oder nachgelagerten REST-API-Erwartungen entspricht.

Zusammenfassung

LM Engineering vollzieht einen raschen Übergang von der Entwicklung von Konversations-Chatbots hin zur Entwicklung zuverlässiger, programmatischer und autonomer Agenten. Der Schlüssel zu diesem Übergang liegt darin, zu verstehen, wie Sie Ihre Modelle einschränken und lenken.

TL;DR

• Verwenden strukturierte Ausgaben diktieren Type der Daten
• Verwenden Funktionsaufruf diktieren Aktionen und Interaktionen

Der Entscheidungsbaum des Praktikers

Gehen Sie beim Erstellen einer neuen Funktion diese kurze dreistufige Checkliste durch:

1. Benötige ich während des Denkens externe Daten oder muss ich eine Aktion ausführen? ⭢ Verwenden Sie Funktionsaufrufe
2. Analysiere, extrahiere oder übersetze ich nur unstrukturierten Kontext in strukturierte Daten? ⭢ Verwenden Sie strukturierte Ausgaben
3. Benötige ich eine absolute, strikte Einhaltung eines komplex verschachtelten Objekts? ⭢ Verwenden Sie strukturierte Ausgaben über eingeschränkte Dekodierung

Letzter Gedanke

Die effektivsten KI-Ingenieure betrachten Funktionsaufrufe als eine leistungsstarke, aber unvorhersehbare Fähigkeit, die sparsam eingesetzt und von einer robusten Fehlerbehandlung begleitet werden sollte. Umgekehrt sollten strukturierte Ergebnisse als zuverlässiger, grundlegender Klebstoff betrachtet werden, der moderne KI-Datenpipelines zusammenhält.

Aktie

Publish


Aktie

Aktie

Put up


Aktie

In diesem Artikel lernen Sie sechs praktische Frameworks kennen, mit denen Sie KI-Agenten ein dauerhaftes Gedächtnis für besseren Kontext, bessere Erinnerung und Personalisierung geben können.

Zu den Themen, die wir behandeln werden, gehören:

• Was „Agentengedächtnis“ bedeutet und warum es für Assistenten in der realen Welt wichtig ist.
• Sechs Frameworks für Langzeitgedächtnis, Abruf und Kontextmanagement.
• Praktische Projektideen, um praktische Erfahrungen mit dem Agentengedächtnis zu sammeln.

Kommen wir gleich zur Sache.

Die 6 besten AI Agent Reminiscence Frameworks, die Sie 2026 ausprobieren sollten
Bild vom Herausgeber

Einführung

Gedächtnis hilft KI-Agenten Entwickeln Sie sich von zustandslosen Werkzeugen zu intelligenten Assistenten, die lernen und sich anpassen. Ohne Gedächtnis können Agenten nicht aus vergangenen Interaktionen lernen, den Kontext über Sitzungen hinweg aufrechterhalten oder im Laufe der Zeit Wissen aufbauen. Die Implementierung effektiver Speichersysteme ist ebenfalls komplex, da Sie sich um die Speicherung, den Abruf, die Zusammenfassung und die Kontextverwaltung kümmern müssen.

Als KI-Ingenieur Für die Erstellung von Agenten benötigen Sie Frameworks, die über den einfachen Gesprächsverlauf hinausgehen. Das richtige Gedächtnis-Framework ermöglicht es Ihren Agenten, sich Fakten zu merken, vergangene Erfahrungen abzurufen, Benutzerpräferenzen zu lernen und bei Bedarf relevanten Kontext abzurufen. In diesem Artikel werden wir es untersuchen Speicher des KI-Agenten Frameworks, die nützlich sind für:

• Speichern und Abrufen des Gesprächsverlaufs
• Langfristiges Faktenwissen verwalten
• Implementierung einer semantischen Speichersuche
• Effektiver Umgang mit Kontextfenstern
• Personalisierung des Agentenverhaltens basierend auf vergangenen Interaktionen

Lassen Sie uns jedes Framework untersuchen.

Notiz: Bei diesem Artikel handelt es sich nicht um eine erschöpfende Liste, sondern vielmehr um einen Überblick über die besten Frameworks in diesem Bereich, dargestellt in keiner bestimmten Reihenfolge.

1. Speicher0

Speicher0 ist eine dedizierte Speicherschicht für KI-Anwendungen, die intelligente, personalisierte Speicherfunktionen bietet. Es wurde speziell entwickelt, um Agenten ein Langzeitgedächtnis zu bieten, das über Sitzungen hinweg bestehen bleibt und sich im Laufe der Zeit weiterentwickelt.

Darum zeichnet sich Mem0 durch seinen Agentenspeicher aus:

• Extrahiert und speichert relevante Fakten aus Gesprächen
• Bietet mehrstufigen Speicher, der Speicherbereiche auf Benutzerebene, Sitzungsebene und Agentenebene unterstützt
• Verwendet die Vektorsuche in Kombination mit Metadatenfilterung für einen hybriden Speicherabruf, der sowohl semantisch als auch präzise ist
• Enthält integrierte Speicherverwaltungsfunktionen und Versionskontrolle für Speicher

Beginnen Sie mit dem Schnellstartanleitung für Mem0dann erkunden Speichertypen Und Speicherfilter in Mem0.

2. Zep

Zep ist ein Langzeitspeicher, der speziell für Konversations-KI-Anwendungen entwickelt wurde. Der Schwerpunkt liegt auf der Extraktion von Fakten, der Zusammenfassung von Gesprächen und der effizienten Bereitstellung relevanter Kontexte für Agenten.

Was Zep hervorragend für das Gesprächsgedächtnis macht:

• Extrahiert Entitäten, Absichten und Fakten aus Gesprächen und speichert sie in einem strukturierten Format
• Bietet eine progressive Zusammenfassung, die lange Gesprächsverläufe komprimiert und gleichzeitig wichtige Informationen bewahrt
• Bietet sowohl semantische als auch zeitliche Suche, sodass Agenten Erinnerungen basierend auf Bedeutung oder Zeit finden können
• Unterstützt die Sitzungsverwaltung mit automatischer Kontexterstellung und stellt Agenten relevante Erinnerungen für jede Interaktion bereit

Beginnen Sie mit dem Kurzanleitung und beziehen Sie sich dann auf die Zep-Kochbuch Seite für praktische Beispiele.

3. LangChain-Speicher

LangChain beinhaltet eine umfassende Speichermodul das verschiedene Speichertypen und Strategien für verschiedene Anwendungsfälle bereitstellt. Es ist äußerst flexibel und lässt sich nahtlos in das breitere LangChain-Ökosystem integrieren.

Hier erfahren Sie, warum LangChain Reminiscence für Agent-Anwendungen wertvoll ist:

• Bietet mehrere Speichertypen, einschließlich Konversationspuffer-, Zusammenfassungs-, Entitäts- und Wissensdiagrammspeicher für verschiedene Szenarien
• Unterstützt Speicher, der durch verschiedene Speicheroptionen unterstützt wird, von einfachen In-Reminiscence-Speichern bis hin zu Vektordatenbanken und herkömmlichen Datenbanken
• Bietet Speicherklassen, die einfach ausgetauscht und kombiniert werden können, um hybride Speichersysteme zu erstellen
• Integriert sich nativ in Ketten, Agenten und andere LangChain-Komponenten für eine konsistente Speicherverwaltung

Speicherübersicht – Dokumente von LangChain hat alles, was Sie brauchen, um loszulegen.

4. LlamaIndex-Speicher

LamaIndex bietet Speicherfähigkeiten in das Datengerüst integriert. Dies macht es besonders nützlich für Agenten, die sich strukturierte Informationen und Dokumente merken und darüber nachdenken müssen.

Was LlamaIndex Reminiscence für wissensintensive Agenten nützlich macht:

• Kombiniert den Chatverlauf mit dem Dokumentkontext, sodass sich Agenten sowohl Gespräche als auch referenzierte Informationen merken können
• Bietet zusammensetzbare Speichermodule, die nahtlos mit den Abfrage-Engines und Datenstrukturen von LlamaIndex zusammenarbeiten
• Unterstützt Speicher mit Vektorspeichern und ermöglicht so eine semantische Suche über vergangene Gespräche und abgerufene Dokumente
• Übernimmt die Kontextfensterverwaltung und komprimiert oder ruft bei Bedarf den relevanten Verlauf ab

Speicher in LlamaIndex ist ein umfassender Überblick über das Kurz- und Langzeitgedächtnis in LlamaIndex.

5. Letta

Letta lässt sich bei der Verwaltung des LLM-Kontexts von Betriebssystemen inspirieren und implementiert ein virtuelles Kontextverwaltungssystem, das Informationen clever zwischen unmittelbarem Kontext und Langzeitspeicherung verschiebt. Es ist einer der einzigartigsten Ansätze zur Lösung des Speicherproblems für KI-Agenten.

Warum eignet sich Letta hervorragend für das Kontextmanagement?

• Verwendet eine mehrstufige Speicherarchitektur, die die Speicherhierarchie des Betriebssystems nachahmt, mit Hauptkontext als RAM und externem Speicher als Festplatte
• Ermöglicht Agenten die Steuerung ihres Speichers durch Funktionsaufrufe zum Lesen, Schreiben und Archivieren von Informationen
• Behandelt Einschränkungen des Kontextfensters durch intelligenten Austausch von Informationen innerhalb und außerhalb des aktiven Kontexts
• Ermöglicht es Agenten, trotz fester Kontextfenstereinschränkungen praktisch unbegrenzten Speicher aufrechtzuerhalten, was es supreme für Gesprächsagenten mit langer Laufzeit macht

Einführung in Letta ist ein guter Ausgangspunkt. Kann man dann anschauen Kernkonzepte Und LLMs als Betriebssysteme: Agent Reminiscence von DeepLearning.AI.

6. Kaffee

Kaffee ist eine Open-Supply-Speicher- und Wissensgraphenschicht für KI-Anwendungen, die Informationen präzise strukturiert, verbindet und abruft. Es soll Agenten ein dynamisches, abfragbares Verständnis von Daten vermitteln – nicht nur gespeicherten Textual content, sondern vernetztes Wissen.

Darum zeichnet sich Cognee durch sein Agentengedächtnis aus:

• Erstellt Wissensdiagramme aus unstrukturierten Daten und ermöglicht es Agenten, über Beziehungen nachzudenken, anstatt nur isolierte Fakten abzurufen
• Unterstützt die Aufnahme mehrerer Quellen, einschließlich Dokumente, Konversationen und externer Daten, und vereinheitlicht den Speicher über verschiedene Eingaben hinweg
• Kombiniert das Durchqueren von Graphen mit der Vektorsuche für eine verständliche Abfrage Wie Konzepte beziehen sich aufeinander, nicht nur darauf, wie ähnlich sie sind
• Enthält Pipelines für kontinuierliche Speicheraktualisierungen, sodass sich das Wissen weiterentwickeln kann, wenn neue Informationen einfließen

Beginnen Sie mit dem Schnellstartanleitung und dann weitermachen Setup-Konfiguration um loszulegen.

Zusammenfassung

Die hier behandelten Frameworks bieten unterschiedliche Ansätze zur Lösung der Speicherherausforderung. Um praktische Erfahrungen mit dem Agentengedächtnis zu sammeln, sollten Sie einige dieser Projekte in Betracht ziehen:

• Erstellen Sie mit Mem0 einen persönlichen Assistenten, der Ihre Vorlieben lernt und sich über die Sitzungen hinweg an vergangene Gespräche erinnert
• Bauen Sie mit Zep einen Kundendienstmitarbeiter auf, der sich die Kundenhistorie merkt und personalisierten Help bietet
• Entwickeln Sie mit LangChain oder LlamaIndex Reminiscence einen Rechercheagenten, der sich sowohl Gespräche als auch analysierte Dokumente merkt
• Entwerfen Sie mit Letta einen Langkontext-Agenten, der Gespräche abwickelt, die über Standardkontextfenster hinausgehen
• Erstellen Sie mit Cognee einen persistenten Buyer-Intelligence-Agenten, der ein strukturiertes Gedächtnisdiagramm des Verlaufs, der Vorlieben, Interaktionen und Verhaltensmuster jedes Benutzers erstellt und weiterentwickelt, um bei langfristigen Gesprächen hochgradig personalisierte, kontextbezogene Unterstützung zu bieten

Viel Spaß beim Bauen!

Aktie

Put up


Aktie

Bild vom Herausgeber

# Einführung

LangChaineines der heute führenden Frameworks für die Erstellung und Orchestrierung von Anwendungen der künstlichen Intelligenz (KI), die auf großen Sprachmodellen (LLMs) und Agent Engineering basieren, hat kürzlich das veröffentlicht Bericht zum Stand der Agententechnikin dem 1.300 Fachleute mit unterschiedlichen Rollen und Geschäftshintergrund befragt wurden, um den aktuellen Stand dieses bemerkenswerten KI-Tendencies aufzudecken.

In diesem Artikel werden einige der wichtigsten Tipps und Erkenntnisse aus dem Bericht ausgewählt und in einem für ein breiteres Publikum zugänglichen Ton erläutert, wobei einige der wichtigsten Begriffe und Fachjargon im Zusammenhang mit KI-Agenten aufgedeckt werden. Weitere Informationen zu den Schlüsselkonzepten hinter KI-Agenten finden Sie auch in diesen verwandten Artikel.

Bevor wir uns auf die Fakten, Zahlen und unterstützenden Beweise für jede unserer drei wichtigsten Erkenntnisse konzentrieren, stellen wir einige wichtige Begriffe und Definitionen vor, die Sie kennen sollten, kurz erklärt:

# Große Unternehmen übertreffen Startups in der Produktion

Die wichtigsten Konzepte, die Sie kennen sollten:

• Agent: Ein KI-System, das im Gegensatz zu Commonplace-Chat-basierten Anwendungen, die reaktiv auf Benutzerinteraktionen reagieren, in der Lage ist, selbstständig Entscheidungen zu treffen und Maßnahmen zu ergreifen. Im heute am häufigsten genutzten Kontext nutzen Agenten ein LLM als ihr „Gehirn“, das sie bei der Entscheidungsfindung darüber unterstützt, welche Schritte sie als Nächstes unternehmen müssen – zum Beispiel das Abfragen einer Datenbank, das Versenden einer E-Mail oder das Durchführen einer Websuche –, um ein Ziel zu erreichen.
• Produktion (Umwelt): Obwohl dies ein grundlegendes Konzept in der Softwareentwicklung ist, magazine es für Leser mit anderen Hintergründen ungewohnt klingen. „In Produktion“ bedeutet, dass ein Softwaresystem stay ist und echte Benutzer, Kunden oder Mitarbeiter es verwenden, um Arbeiten oder Aktionen auszuführen. Im Grunde handelt es sich dabei um das, was nach einem Prototyp oder Proof of Idea (PoC) entsteht: eine Testversion der Software program, die in einer kontrollierten Umgebung ausgeführt wurde, um mögliche Probleme zu identifizieren und zu beheben.

Die wichtigsten Fakten im Bericht:

• Während es ein weit verbreitetes „bürokratisches“ Missverständnis gibt, dass größere Unternehmen bei der Einführung neuer Technologien langsamer sind, zeigen die Datenzahlen etwas anderes: Sie sind führend bei der Bereitstellung von KI-Agenten, wobei 67 % der Unternehmen mit mehr als 10.000 Mitarbeitern agentenbasierte Anwendungen in die Produktion gebracht haben, während dies nur 50 % der kleineren Unternehmen mit weniger als 100 Mitarbeitern tun.
• Gründe für den oben genannten Punkt können die Kosten für den Aufbau zuverlässiger Agentenlösungen sein, die erhebliche Investitionen in die Infrastruktur erfordern.

Ähnliche Beweise finden sich in Deloittes Stand der KI im Unternehmen im Jahr 2026 Und McKinseys Stand der KI im Jahr 2025 Berichte.

# Die Lücke zwischen Beobachtbarkeit und Bewertung

Die wichtigsten Konzepte, die Sie kennen sollten:

• Beobachtbarkeit: KI-Modelle, insbesondere fortgeschrittene, werden oft als undurchsichtige „Black Packing containers“ mit unvorhersehbaren Ergebnissen angesehen. Beobachtbarkeit ist die Fähigkeit zu untersuchen und aufzuzeichnen, was die KI „denkt“ und wie dies zu Entscheidungen oder Ergebnissen führt.
• Nachverfolgung: Ein spezifischer Aspekt der Beobachtbarkeit, der darin besteht, die Reise eines KI-Agenten Schritt für Schritt aufzuzeichnen – additionally seinen Denkweg.
• Offline-Bewertung: Dabei wird ein Testdatensatz mit bekannten „richtigen“ Antworten durchlaufen, um zu messen, wie genau und effektiv ein KI-Agent (oder ein anderes KI-System) arbeitet.

Die wichtigsten Fakten im Bericht:

• Erstaunliche 89 % der Befragten mit unterschiedlichem Hintergrund haben einen Beobachtbarkeitsmechanismus implementiert, obwohl nur 52,4 % Offline-Bewertungen durchführen, was eine bemerkenswerte Diskrepanz zwischen der Artwork und Weise, wie Groups KI-Agenten überwachen, und der strengen Prüfung ihrer Leistung zeigt.
• Dies signalisiert eine „Ship and Watch“-Mentalität, bei der Entwicklungsteams der Fehlerbehebung nach ihrem Auftreten Priorität einräumen, anstatt sie vor der Bereitstellung in der Produktion zu verhindern. Das Reparieren „kaputter Roboter“ statt sicherzustellen, dass sie ordnungsgemäß funktionieren, bevor sie die „Fabrik“ verlassen, kann unerwünschte Konsequenzen und Kosten nach sich ziehen.

Ähnliche Beweise finden sich in Giskards LLM-Beobachtbarkeit vs. Bewertung Artikel.

# Die Kosten sind nicht mehr der größte Engpass: Qualität ist es

Die wichtigsten Konzepte, die Sie kennen sollten:

• Halluzinationen: Wenn ein KI-Modell wie ein LLM selbstbewusst falsche oder unsinnige Informationen generiert, als ob sie wahr wären, spricht man von einer Halluzination. Dies stellt ein gefährliches Drawback dar, wenn KI-Agenten auf dem Laufenden bleiben, da das Drawback nicht nur darin besteht, etwas Falsches zu sagen, sondern auch darin, möglicherweise etwas Falsches zu tun – z. B. einen Flug auf der Grundlage ungenauer oder falsch ermittelter Fakten zu buchen.
• Latenz: Dies bezieht sich auf die Geschwindigkeit oder Verzögerung zwischen dem Stellen einer Frage durch einen Benutzer und dem Erhalt einer Antwort durch einen Agenten, mit einer „Denk“- oder Prozesslogik dazwischen, die häufig den Einsatz von Instruments erfordert. Dies erhöht den Zeitaufwand im Vergleich zu eigenständigen LLMs oder Chatbots.

Die wichtigsten Fakten im Bericht:

• Die Kosten für den Einsatz von KI-Agenten stellen laut den Befragten kein kritisches Drawback mehr dar. 32 % von ihnen nennen die Qualität als ihr größtes Hindernis für die Einführung und Bereitstellung.
• Qualität bezieht sich in diesem Zusammenhang auf Genauigkeit, Konsistenz und die Vermeidung von Halluzinationen.
• Unterdessen gibt es einen interessanten Haken: Die zweitkritischste Hürde ist je nach Unternehmensgröße unterschiedlich, wobei kleine Startups Latenz und Unternehmen mit über 2.000 Mitarbeitern Sicherheit und Compliance nennen.

Ähnliche unterstützende Beweise finden sich in den zuvor zitierten Bericht über Hindernisse bei der Einführung von KI von Deloitte, während differenzierte Beweise über die wichtigsten Unternehmensblocker hier weiter analysiert werden können Mittlerer Artikel.

Iván Palomares Carrascosa ist ein führender Autor, Redner und Berater in den Bereichen KI, maschinelles Lernen, Deep Studying und LLMs. Er schult und leitet andere darin, KI in der realen Welt zu nutzen.