In diesem Artikel lernen Sie fünf praktische Strategien zum Verwalten von Kontextfenstern in KI-Agent-Anwendungen mit langer Laufzeit kennen, zusammen mit den wichtigsten Kompromissen, die jeder Ansatz mit sich bringt.
Zu den Themen, die wir behandeln werden, gehören:
- Warum Kontextfenster zu einem kritischen Engpass in agentenbasierten KI-Systemen werden, die für einen dauerhaften, autonomen Betrieb konzipiert sind.
- Fünf verschiedene Kontextverwaltungsstrategien: Schiebefenster, rekursive Zusammenfassung, strukturierte Statusverwaltung, kurzlebiger Kontext über RAG und dynamisches Kontextrouting.
- Die inhärenten Kompromisse jeder Strategie, von Speicherverlust und Informationskomprimierung bis hin zu blinden Flecken beim Abrufen und Wartungskomplexität.
Einführung
Langjährige Agenten sind diejenigen, die in der Lage sind, im Laufe der Zeit eine nachhaltige autonome Ausführung zu zeigen. In diesen agentenbasierten Anwendungen – angetrieben durch Interaktionen mit Benutzern oder anderen Systemen, in denen Informationen schnell anschwellen – ist die Kontextfenster ist ein kritischer Engpass. Agenten und Giant Language Fashions, kurz LLMs, sind in modernen KI-Systemen sozusagen zwei Seiten derselben Medaille. Dementsprechend verwandelt der Übergang von „LLMs als Immediate-Response-Engines“ zu „(mit Agenten ausgestatteten) LLMs als lang laufende Hintergrundprozesse“ Kontextfenster zu einem großen Engpass bei der KI-Technik.
Aus all diesen Gründen erfordert die langfristige Verwaltung von Kontextfenstern spezifische Strategien wie Schiebefenster, mehrstufigen Speicher und dynamische Zusammenfassung. In diesem Artikel werden hierfür fünf verschiedene Betriebsstrategien sowie deren unvermeidliche Kompromisse vorgestellt.
1. Schiebefenster
Stellen Sie sich einen KI-Agenten vor, der sich nur an die letzten zehn Arbeitsminuten erinnern kann. Sliding-Window-Ansätze verwalten lediglich die Speichergrenzen: Sie löschen die ältesten Nachrichten und machen Platz für die neuesten, wobei nur Kernanweisungen oben im Kontext „gesperrt“ werden.
Hier ist ein Beispiel dafür, wie eine Schiebefenster-Implementierung aussehen könnte (der Code soll nicht eigenständig ausführbar sein; er wird nur zur Veranschaulichung gezeigt):
|
def manage_sliding_window(system_prompt, message_history, max_turns=10): „“„Behalten Sie die permanenten Systemanweisungen bei und löschen Sie die ältesten Chatrunden wenn die Geschichte zu lang wird. „„“ Wenn len(message_history) > max_turns: # Den Verlauf kürzen, um nur die „X“ neuesten Nachrichten beizubehalten message_history = message_history(–max_turns:) # Stellen Sie die Systemaufforderung immer voran, damit sich der Agent seine Identität merkt zurückkehren (system_prompt) + message_history |
Diese Strategie ist zwar extrem günstig und schnell, da keine zusätzliche KI-Verarbeitung erforderlich ist, hat jedoch einen Vorbehalt: „digitale Amnesie“. Mit anderen Worten: Wenn der Agent auf ein Downside stößt, mit dem er sich bereits eine Stunde zuvor befasst hat, hat er völlig vergessen, wie er damit umgehen soll, was dazu führen kann, dass er in Endlosschleifen gerät.
2. Rekursive Zusammenfassung
Stellen Sie sich dies als ein Bildkomprimierungsprotokoll wie JPEG vor, das jedoch auf den Bereich der Kontextfenster angewendet wird. Anstatt die ferne Vergangenheit zu entfernen, wie dies bei Schiebefenstern der Fall wäre, besteht die rekursive Zusammenfassung darin, alte Nachrichten regelmäßig zu einer Zusammenfassung zu komprimieren. Dies kann dazu beitragen, die „Mission und Handlung“ des gesamten Agenten über lange Betriebsstunden hinweg lebendig zu halten, aber natürlich gehen, wie bei einer verschwommenen JPEG-Datei, Informationen über feine Particulars verloren, was dem Agenten eine langfristige, aber vage Erinnerung an vergangene Ereignisse hinterlässt.
3. Strukturiertes Staatsmanagement
Bei dieser Strategie bleiben die laufenden Chat-Transkripte vollständig zurück. Um sie zu ersetzen, verwaltet der Agent ein verwaltbares JSON-Objekt, das Ziele, Fakten und Fehler verfolgt und als strukturierte Artwork „Notizblock“ dient. Bei jedem Schritt oder Schritt wird die Rohkonversation verworfen und dem KI-Agenten werden nur die Kernanweisungen, ein aktualisiertes JSON-Objekt und die aktuelle, neue Eingabe übergeben. Dies ist zweifellos eine sehr tokeneffiziente Strategie. Allerdings hängt es stark von den implementierten Kriterien des Entwicklers ab, was genau verfolgt werden soll. Wenn unerwartete, aber wichtige Variablen außerhalb der vordefinierten Schemagrenzen liegen, werden sie vom Agenten zwangsläufig ignoriert.
Dies ist ein vereinfachtes Beispiel dafür, wie die Umsetzung dieser Strategie aussehen könnte:
|
def run_scratchpad_turn(system_prompt, Scratchpad_state, neue_Eingabe): „“„Löscht den Gesprächsverlauf vollständig. Der Agent navigiert nur.“ unter Verwendung ihrer Kernanweisungen, des aktuellen Standing und der neuen Aufgabe. „„“ # Kombinieren des starren Zustands mit der neuen Eingabe in einer einzigen Eingabeaufforderung immediate = F„{system_prompt}nGESPEICHERTER STATUS: {scratchpad_state}nNEUE EINGABE: {new_input}“ # Die KI verarbeitet die Eingabeaufforderung und gibt ihre nächste Aktion sowie einen aktualisierten Standing zurück ai_output = call_llm(immediate, Antwortformat=„json“) zurückkehren ai_output(„ausgewählte_Aktion“), ai_output(„updated_scratchpad“) |
4. Ephemerer Kontext über RAG
Die RAG-basierte Strategie verlagert alles im kumulativen Kontext in eine externe Datenbank (eine Vektordatenbank in RAG-Systemewie erklärt Hier). Dies ist eine Various dazu, einen Agenten zu zwingen, seinen Verlauf im aktiven Speicher zu behalten, damit eine stille Suche zurückkommt nur die relevantesten vergangenen Ereignisse basierend auf ihrer Relevanz in die aktuelle Eingabeaufforderung ein. Dadurch könnte der Agent theoretisch unbegrenzt ausgeführt werden, ohne dass es zu Problemen mit der Kontextüberlastung kommt. Es gibt jedoch einen Nachteil: einen blinden Fleck beim Abrufen, insbesondere wenn der Agent zwei scheinbar nicht zusammenhängende vergangene Ereignisse erneut verbinden muss. Wenn man sich hierbei auf den Retriever und seine zugrunde liegende Suchrichtlinie verlässt, kann es dazu kommen, dass relevanter Kontext fehlt, der andernfalls wichtige „mentale Teile“ verbinden würde.
5. Dynamisches Kontextrouting
Diese Strategie ist darauf ausgelegt, Leistungsfähigkeit und Kosten in Einklang zu bringen. Dadurch arbeiten zwei unterschiedliche KI-Modelle zusammen. Der Hauptagent führt hochfrequente, sich wiederholende Aufgaben aus und stützt sich dabei auf ein schnelleres, kostengünstigeres Modell, das kleinere Kontextfenster verwaltet. Wenn in der Zwischenzeit außergewöhnliche Ereignisse eintreten – beispielsweise das dreimalige Scheitern einer Aufgabe in Folge –, wird der gesamte Rohverlauf an ein leistungsstarkes Modell mit großem Kontext weitergeleitet, das das Gesamtbild analysiert und einen saubereren Befehlssatz an das günstigere Modell zurückgibt. Dies ist eine ziemlich kostengünstige Strategie, aber der Code, der benötigt wird, um zuverlässig genau zu erkennen, wann das billigere Modell stecken bleibt, kann äußerst schwierig zu warten und zu optimieren sein.
Zusammenfassung
In diesem Artikel werden fünf Strategien – und ihre unvermeidlichen Kompromisse – zur Optimierung der Verwaltung von Kontextfenstern bei der Arbeit mit lang laufenden agentenbasierten KI-Anwendungen beschrieben. Bedenken Sie jedoch: Letztlich geht es bei der Entwicklung erfolgreicher autonomer Agentenanwendungen nicht darum, die Phantasm eines unendlichen Speichers zu verfolgen, sondern vielmehr um die Entwicklung intelligenterer Architekturen und einer zugrunde liegenden Logik, die dabei hilft, zu bestimmen, was erinnert werden muss und was der Agent vergessen kann.