LLMs beibringen, Überzeugungen für eine effiziente Interaktion über einen langen Horizont hinweg zu aktualisieren – The Berkeley Synthetic Intelligence Analysis Weblog

Überblick über ABBEL im Vergleich zur traditionellen rekursiven Zusammenfassung. Überzeugungen ersetzen den gesamten Interaktionsverlauf als Arbeitskontext des Agenten, und die Bewertung von Überzeugungen verbessert die Leistung, indem der Inhalt jedes Überzeugungszustands überwacht wird.

Wenn der Aufgabenhorizont wächst, können LLM-Kontexte nicht ewig skaliert werden. Die Selbstzusammenfassung ermöglicht prägnante, interpretierbare Kontexte, jedoch mit erheblichen Leistungseinbußen, insbesondere für Bereiche der menschlichen Unterstützung, in denen qualitativ hochwertige Daten knapp sind, z. B. bei der kollaborativen Codegenerierung. Wir gehen das mit an ABBEL: ein Framework, das den Informationsgehalt von Zusammenfassungen in Kind von Glaubenszuständen in natürlicher Sprache isoliert und überwacht.

Motivation: die Kosten der rekursiven Zusammenfassung

Damit Sprachmodelle bei immer komplexeren Aufgaben wie der Softwareentwicklung effektiv helfen können, müssen sie in der Lage sein, über Hunderte oder sogar Tausende von Schritten mit uns zu interagieren. Bei so langen Aufgaben ist es unpraktisch, den Verlauf der gesamten Interaktion im Kontext zu halten. Der bisher verwendete heuristische Ansatz conflict die Generierung von Zusammenfassungen, manchmal auch Kontextkomprimierung genannt. Beispielsweise verwendet Cursors neuester Mannequin Composer 2.5 die Komprimierung während des Trainings, um die Leistung zu verbessern (Cassano et al., 2026). Neben dem Komponisten Grandcode (DeepReinforce et al., 2026), das erste System, das alle menschlichen Konkurrenten in On-line-Codierungswettbewerben konsequent besiegte, obwohl eines der neuesten effizienten Aufmerksamkeitsmodelle verwendet wurde (Qwen 3.5-397B), ^{hielt es immer noch für notwendig, eine Kontextzusammenfassung zu verwenden.}

Aber die Verdichtung hat ein Drawback. Trotz scheinbar geringer Leistungsunterschiede in Benchmarks empfehlen Modellserver wie Cursor Benutzern weiterhin, die Komprimierung mit ihren Codierungsassistenten während einer Aufgabe zu vermeiden (Heule et al., 2026).

Um zu verstehen, warum, sehen Sie sich unten die Leistung gegenüber der RL-Feinabstimmung eines Kontextzusammenfassungsmodells im Vergleich zu Vollkontextmodellen in Kombinationsschloss an, einem Wordle-ähnlichen Spiel, das bis zu 16 Vermutungen zulässt. ^{Obwohl sich beide Modelltypen im Laufe des Trainings verbessern, schließt das zusammenfassende Modell die Lücke nie.}

Abb. 1: Durchschnittliche Versuche, das Zielwort beim Kombinationsschloss über die RL-Feinabstimmung zu erraten (weniger ist besser). Kontextzusammenfassende Richtlinien verbessern sich mit der Schulung, schließen jedoch nicht die Lücke zu Richtlinien mit vollständigem Kontext.

Die Selbstzusammenfassung von Modellen während der Erledigung einer Aufgabe erhöht die Komplexität des Lernproblems. Während dies normalerweise durch Coaching mit mehr Daten behoben werden könnte, ist der in realen interaktiven Umgebungen beobachtete Leistungsabfall wahrscheinlich auf die Schwierigkeit zurückzuführen, die wir haben, menschliche Simulatoren effektiv zu erstellen und zu nutzen, um qualitativ hochwertige Trainingsumgebungen zu erzeugen (Lin et al., 2025, Tomlin et al., 2025). Je besser Sie additionally lernen, die begrenzten und chaotischen Multiturn-Interaktionsverläufe, die Sie sammeln können, zusammenzufassen, desto besser wird Ihr Modell für nachgeschaltete Benutzer sein.

ABBEL: Handeln durch Glaubensengpässe

Abb. 2: Vom Autoencoder inspirierte Glaubensbewertung. Das Modell kodiert vorherige Überzeugungen, Handlungen und Beobachtungen (b_TA_To_T) in den hinteren Glauben b_t+1 und wird dafür belohnt, wie intestine sich ausgewählte Informationen aus der Geschichte aus diesem Glauben rekonstruieren lassen.

Um einer schlechten Lerneffizienz entgegenzuwirken, isolieren wir die Aufgabe zur Erstellung der Zusammenfassung. Inspiriert von der rekursiven Bayes’schen Schätzung formulieren wir Zusammenfassungen als Glaubenszustände, die wir das Modell regelmäßig auf der Grundlage neuer Informationen aktualisieren lassen.

‹ Vorher
Pause
Nächste >
1/16

Abb. 3: ABBEL-Rollout. Aktualisierungen der Überzeugungen aus der letzten Beobachtung wechseln sich mit der Handlungsauswahl ab, die nur von der aktuellen hinteren Überzeugung abhängt.

Glaubensbewertung

Anschließend extrahieren und überwachen wir die Inhalte der Glaubenszustände (Abb. 2, Glaubensbewertung). Die Einstufung von Überzeugungen kann man sich als das Hinzufügen einer zusätzlichen RL-Aufgabe vorstellen, bei der Heuristiken verwendet werden, um zu erfassen, was eine gute Überzeugung als Belohnung ausmacht. Eine Beispielheuristik für die Codierung könnte kürzer sein, ist besser, aber es ist auch besser, näher an der Rekonstruktion des Git-Diffs zu sein, so dass ein Ausgleich dieser beiden eine gute Annahme ergeben würde. In Bereichen, in denen gute Heuristiken schwer zu definieren sind, schlagen wir eine allgemeine, von der automatischen Kodierung inspirierte Bewertungsfunktion vor, die das aktuelle Sprachmodell π behandelt_θ als Kodierer und Dekodierer von Informationen aus der Geschichte, und die Glaubenszustände als Codes. Wir bewerten jeden Glauben mit b_t+1 danach, wie intestine es vom aktuellen Modell π genutzt werden kann_θ die jüngste Beobachtung o. rekonstruieren_T:

Gl. 1: Bewertungsziel für den Wiederaufbau. Hier b_t+1 ist der aktualisierte Glaube, o_T die neueste Beobachtung, a_T die gerade durchgeführte Aktion, b_T der vorherige Glaube, S_ICH die Aufgabenaufforderung und π_θ das aktuelle Modell. Höhere Grade belohnen Überzeugungen, die Informationen enthalten, die zum Entschlüsseln der neuesten Beobachtung erforderlich sind.

Was gewinnen wir durch die Einstufung von Überzeugungen?

Kollaboratives Codieren auf CollabBench

Mit der CollabBench-Umgebung von Candy-RL (Zhou et al., 2025).

Abb. 4: Kollaborative Codierungsumgebung CollabBench. Der Agent stellt klärende Fragen und übermittelt dann eine Funktion, die anhand versteckter Komponententests bewertet wurde.

Wir sehen, dass wir mit der allgemeinen rekonstruktionsbasierten Glaubensbewertungsfunktion den Leistungsunterschied gegenüber Vollkontextmodellen um etwa 50 % reduzieren und im Vergleich zu Trainingsmodellen zum Zusammenfassen ohne Glaubensbewertung (kein BG) in 50 % weniger Schritten trainieren. Nach dem Coaching verbraucht ABBEL immer noch deutlich weniger Speicher als die vollständige Kontexteinstellung, gemessen an der maximalen Kontext-Token-Länge (Peak Tokens).

Kombinationsschloss

Darüber hinaus zeigen wir in CombinationLock, dass ABBEL mit einem Glaubensbewertungsprogramm, das Domänenwissen nutzt (indem es nützliche Statistiken über den Verlauf berechnet und überprüft, ob sie aus dem Glaubenszustand rekonstruiert werden können), eine noch höhere Lerneffizienz ermöglicht als Vollkontextmodelle (FULL CTX).

Abb. 6: Durchschnittliche Versuche, das Zielwort auf dem Zahlenschloss zu erraten (je niedriger, desto besser). Mit der Einstufung von domänenwissensbezogenen Überzeugungen nähert sich ABBEL in dieser Umgebung dem VOLLSTÄNDIGEN CTX an oder übertrifft es; Ohne Glaubensbeurteilung ist das Lernen langsamer.

Beantwortung multiobjektiver Fragen

In einer dritten Umgebung erfolgt die Beantwortung multiobjektiver Fragen (ab MEM1 Zhang et al., 2025eine aktuelle Arbeit, die eine Finish-to-Finish-Optimierung in einer modifizierten Model der typischen rekursiven Zusammenfassung durchführte), demonstrieren wir den Nutzen der Isolierung von Überzeugungszuständen aus der Argumentation, indem wir zeigen, dass eine Peak-Perception-Längenstrafe (weitere Particulars in der Arbeit) die Speichernutzung bei minimaler Leistungseinbuße erheblich reduziert, anders als es üblicherweise bei der Bestrafung von Argumentationslängen beobachtet wird (Arora et al., 2025).

Abb. 7: Precise-Match-Rating und Spitzengedächtnis im Vergleich zur Anzahl der Ziele in der Multi-Ziel-QA. ABBEL mit einem Peak-Perception-Penalty (PBP) behält in dieser Bewertung eine vergleichbare Leistung bei, verbraucht jedoch weniger Speicher als MEM1 und ABBEL ohne PBP.

Various Lösungen zur Verwaltung langer Kontexte beinhalten unterschiedliche Kompromisse und sind je nach den Anforderungen eines bereitgestellten Techniques eine Überlegung wert. Kontextkomprimierungsmethoden erzeugen dichte Darstellungen, die zwar recheneffizient sind, aber die Verständlichkeit für den Menschen beeinträchtigen (Kontonis et al., 2026, Eyuboglu et al., 2025, Gupta et al., 2025, Chevalier et al., 2023, Deng et al., 2025, Deng et al., 2025, Bulatov et al., 2022). Von Hand gestaltete Zusammenfassungsaufforderungen (Wang et al., 2025, Örwall et al., 2025, Starace et al., 2025) und Schnittstrategien (Jiang et al., 2024), die für Zielumgebungen spezifisch sind, erfordern menschliches Expertenwissen und ermöglichen es einem Agenten nicht, zu lernen, was er im Rahmen seiner Entscheidungsstrategie beachten muss. Methoden, die lange Kontexte in einem externen Speicher verarbeiten (Packer et al., 2023, Xu et al., 2025), damit die Agenten oder Subagenten abfragen können (Zhang et al., 2025) ergänzen sich, da sie möglicherweise von einer besseren Erstellung des nächsten Kontexts durch Zusammenfassungstraining profitieren. Wir möchten auf einige spannende Arbeiten im Bereich der allgemeinen rekursiven Zusammenfassung mit Schwerpunkt Mathematik hinweisen (Wu et al., 2026), Argumentation mit Glaubensgenerierung (Zhou et al., 2025), kompetitives Codieren mit einem destillierten Zusammenfassungsmodul, das ähnliche Autoencoding-Ziele wie unser allgemeiner Glaubensbewerter verwendet (DeepReinforce et al., 2026) und das Hinzufügen fortlaufender Funktionen zu Zusammenfassungen (Kontonis et al., 2026).

Was kommt als nächstes für ein besseres Gedächtnis?

Durch die Verwendung expliziter Glaubenszustände als Informationsengpässe für mehrstufige Interaktion werden viele weitere Möglichkeiten eröffnet. Sie könnten Aktionen basierend auf ihrer Auswirkung auf den Glaubenszustand belohnen, um die Erkundung zu leiten, die expliziten Glaubenszustände für eine bessere Kommunikation zwischen Agenten übertragen oder sogar die Kontrollierbarkeit des Benutzers verbessern, indem Sie die Erinnerungen, auf denen die Entscheidungen der Agenten basieren, direkt modifizieren.

Manche Informationen, z. B. wie eine Individual aussieht, lassen sich allein durch Textual content nicht intestine wiedergeben. Auch ein kontinuierlich lernendes System muss solche Informationen erfassen. Wenn wir außerdem möchten, dass ein System lernt, in einer brandneuen Sprache zu kommunizieren oder ein brandneues Spiel besser zu spielen als jeder andere Mensch auf der Welt, müssen die im Laufe der Lebensdauer von Gesprächen oder Spielen angesammelten Fähigkeiten in einer sehr komprimierten Kind gespeichert werden, die im Wesentlichen die Rolle der Gewichte des Modells selbst übernimmt.

Leistungsstärkere Systeme werden wahrscheinlich eine Kombination mehrerer Formen des Gedächtnisses nutzen, wobei die Inhalte des Kontexts dem Arbeitsgedächtnis entsprechen können, während andere Ansätze für das Kurz- und Langzeitgedächtnis verwendet werden. Wie man diese anderen Formen des Gedächtnisses instanziiert, beispielsweise durch Testzeittraining, Adaptergedächtnisse, kontinuierliche Kontextgedächtnisse oder eine Kombination davon, stellt eine spannende Herausforderung dar.

Danksagungen

Zitat

Wenn Abbel Sie für Ihre zukünftige Arbeit inspiriert hat, zitieren Sie uns bitte hiermit! Und hier sind einige Beratung für die Durchführung ähnlicher Forschung!

@misc{lidayan2026abbellearningnaturallanguagebelief,
      title={ABBEL: Studying Pure-Language Perception States for Reminiscence-Environment friendly Interplay}, 
      creator={Aly Lidayan and Jakob Bjorner and Satvik Golechha and Kartik Goyal and Alane Suhr},
      yr={2026},
      eprint={2512.20111},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2512.20111}, 
}