Kontinuierliches Lernen für LLM-Agenten ohne Feinabstimmung

Haben Sie sich jemals gewünscht, dass Ihr KI -Agent im laufenden Flug lernen und sich anpassen könnte, genau wie Sie? Stellen Sie sich einen AI -Assistenten vor, der sich nach einem einmaligen Aufgabe an seinen Fehler erinnert und sie nie wiederholt. Eine KI, die nicht nur auf Eingabeaufforderungen reagiert, sondern auch bei jeder einzelnen Interaktion aktiv schlauer wird.

Seit Jahren ist dies der heilige Gral der künstlichen Intelligenz, ein Traum, der von zwei Hauptstraßen zurückgehalten wurde. Wir haben mächtige KI-Agenten aufgebaut, aber sie bleiben entweder in einer festen Denkweise festgefahren oder scheitern in realen Szenarien, die kontinuierliches Lernen benötigen. Es ist ein klassisches Dilemma: ein statisches Genie im Vergleich zu einem langsamen Lernenden mit einem unendlichen Appetit auf Leistung und Daten.

Aber was wäre, wenn es einen dritten Weg gäbe? A Neues Forschungspapier hat einen Weg herausgekommen, der es KI-Agenten ermöglicht, kontinuierlich aus einer sich ändernden Umgebung zu lernen, ohne die kräftigen Kosten für die Feinabstimmung der massiven Modelle mit ihnen einzubeziehen. Memento ist ein revolutionärer Ansatz, der genau das tut. Memento gibt LLM-Agenten ein externes, menschliches Gedächtnis und bietet einen skalierbaren, effizienten und unglaublich leistungsfähigen Weg zur nächsten Era der Generalisten der Generalisten. In diesem Weblog werden wir die Particulars von Memento und wie es funktioniert.

Das Downside mit den heutigen LLM -Agenten

LLM -Agenten des großen Sprachmodells sind die Zukunft. Im Gegensatz zu herkömmlichen LLMs, die nur Fragen beantworten, sind diese Agenten proaktive Problemlöser. Sie können autonom komplexe Aufgaben durchführen, indem sie externe Instruments und Argumentation durch Probleme Schritt für Schritt verwenden.

So mächtig sie auch sind, die meisten LLM -Agenten fallen in eine von zwei Kategorien mit jeweils einen kritischen Fehler:

1. Der starre Agent: Diese Artwork von Agent wird mit einem festen, hart codierten Workflow erstellt. Es ist großartig in seinem spezifischen Job, aber es kann sich nicht anpassen. Es werden keine neuen Informationen selbst einbeziehen oder aus seinen Fehlern in Echtzeit lernen. Stellen Sie sich eine hochspezialisierte Maschine vor, die nur eine Aufgabe perfekt erledigen kann.
2. Der Feinabstimmungsagent: Dies ist der flexiblere, aber unglaublich kostspieligere Ansatz. Diese Wirkstoffe werden durch Feinabstimmung ihrer Kern-LLM-Parameter auf der Grundlage neuer Daten oder Verstärkungslernen aktualisiert. Dies ermöglicht ein dynamischeres Verhalten, aber der Prozess ist ein logistischer Albtraum. Dies macht sie für kontinuierliches On-line -Lernen unpraktisch.

Memento wurde gebaut, um diese zentrale Herausforderung zu lösen: Wie erstellen wir eine KI, die kontinuierlich ohne den konstanten, teuren und riskanten Prozess von lernen kann Feinabstimmung?

Was ist Memento?

Memento ist im Grunde ein speichergetriebenes Framework, das es erlaubt Llm Agenten, die aus Erfahrung lernen, wie jeder Mensch. Sie erinnern sich an, passen und wiederverwenden in vergangenen Fällen, ohne das Foundation -Großsprachmodell, auf dem sie aufgebaut sind, umzuschulungen.

Die Schöpfer von Memento schauten auf die leistungsstärkste und effizienteste Lernmaschine, die wir kennen: das menschliche Gehirn. Menschen „feinst“ ihr Gehirn nicht jedes Mal, wenn sie etwas Neues lernen. Stattdessen verlassen wir uns auf unser Gedächtnis. Wir speichern frühere Erfahrungen, lernen aus unseren Erfolgen und Misserfolgen und nutzen diese Erinnerungen, um unsere zukünftigen Entscheidungen zu leiten, die als Fallbasis (CBR) bezeichnet werden. Es ist ein psychologisches Prinzip, das darauf hindeutet, dass wir neue Probleme lösen, indem wir Lösungen aus ähnlichen vergangenen Situationen erinnern und anpassen.

Memento bringt diesen menschlichen Ansatz in LLM-Agenten. Anstatt das Kernmodell des LLM zu optimieren, gibt Memento dem Agenten einen externen episodischen Speicher, der als Case Financial institution bezeichnet wird. Die Case Financial institution speichert frühere Flugbahnen, einschließlich Schritte, die Ergebnisse, und ob sie mit Erfolg oder Misserfolg endeten. Auf diese Weise kann der Agent „in der Fliege lernen“, ohne ein einzelnes Gradienten -Replace für sein Grundmodell zu finden.

Der Memento Framework -Code finden Sie hier: Github

Was passiert in Memento?

Der Kern dieses Techniques ist ein Speicher-Markov-Entscheidungsprozess (M-MDP). Es ist eine Möglichkeit, den Entscheidungsprozess des Agenten zu modellieren, bei dem sein Gedächtnis ein wesentlicher Bestandteil jeder Wahl ist. Dies ist eine huge Verschiebung von traditionellen Modellen, die ausschließlich auf ihrem internen, festen Wissen beruhen.

Nachdem wir wissen, was Memento ist, tauchen wir in seine Architektur ein.

Wie funktioniert die Architektur von Memento?

Memento arbeitet auf einem einfachen, aber leistungsstarken zweistufigen Framework:

Stufe 1: Fallbasierte Planung

Hier denkt der Agent. Ein LLM wirkt wie das Planerum eine Benutzerabfrage aufzunehmen und, genau wie ein Mensch, sie in eine Liste von Unteraufgaben unterteilt. Die geheime Sauce hier ist der Fallgedächtnis.

Bevor er handelt, „liest“ der Planer aus seiner Fallbank und ruft frühere Erfahrungen ab, die der aktuellen Aufgabe am ähnlichsten sind. Der Agent verwendet dann diese vergangenen Fälle, einschließlich erfolgreicher und fehlgeschlagener Versuche, um seinen aktuellen Plan zu informieren und ihm zu helfen, frühere Fehler zu vermeiden und bewährte Strategien anzuwenden.

Stufe 2: Toolbasierte Ausführung

Sobald der Planer seine Strategie hat, übergibt er die Unteraufgaben zum Testamentsvollstrecker. Dies ist ein weiteres LLM, das mit einem umfassenden Satz externer Instruments wie Websuche, Code -Dolmetscher und Dateiprozessoren verbessert wird. Der Testamentsvollstrecker führt den Plan durch, jeweils eine Unteraufgabe, und verwendet die richtigen Instruments, um die Aufgabe zu erledigen. Der Agent ist sogar mit leistungsstarken Such- und Kriechtools ausgestattet, um Informationen aus dem Internet in Echtzeit abzurufen und zu analysieren.

Jede Aktion, die der Agent ergriffen und die Belohnung, die er erhält (Erfolg oder Misserfolg), wird in die Case Financial institution wieder aufgenommen und „geschrieben“. Dies schafft eine kontinuierliche Rückkopplungsschleife, in der das Gedächtnis des Agenten mit jeder neuen Interaktion ständig wächst und schlauer wird. Dieser Prozess wird durch Mushy formalisiert Q-Studyingeine Methode, die es dem Agenten ermöglicht, den Wert verschiedener Fälle (Erfahrungen) im Laufe der Zeit zu lernen. Es ist eine raffinierte Artwork, sicherzustellen, dass der Agent lernt, welche vergangenen Erfahrungen am wertvollsten sind, um abzurufen.

Memento: Actual World Efficiency

Das Memento -Framework ist nicht nur ein theoretisches Konzept. Es hat wirklich bemerkenswerte Ergebnisse erzielt. In der Papier werden umfangreiche Bewertungen über mehrere Benchmarks hinweg beschrieben, und die Zahlen sind überzeugend:

1. High-1 auf Gaia: Memento erreichte den Platz 1 in der Gaia-Rangliste, ein Benchmark, der die Fähigkeit eines Agenten testet, komplexe Langzeitaufgaben auszuführen, die die Verwendung von Werkzeugen und autonome Planung erfordern. Die Ergebnisse waren im Testsatz besonders stark, wo es 79,40percenterzielte, einen neuen Benchmark für Open-Supply-Agent-Frameworks.
2. Übertreffen Sie die Konkurrenz: Im DeepRearcher-Datensatz, in dem die Webforschung in Echtzeit getestet wird, erreichte Memento einen beeindruckenden 66,6% igen F1-Rating und 80,4% PM. IT übertraf modernde schultrainingebasierte Systeme, was zeigt, dass ein speicherbasierter Ansatz effektiver sein kann als die Feinabstimmung der Brute-Pressure.
3. Die Kraft des Gedächtnisses: Ablationsstudien in der Arbeit bestätigten die kritische Rolle der Fallbank. Durch die Hinzufügung von Fallbasierter Speicher allein wurde die Genauigkeit von Aufgaben außerhalb der Verteilung um bis zu 9,6percentgesteigert und zeigt die Kraft des Lernens aus früheren Erfahrungen.

Das Memento -Framework, der von einer Kombination von Modellen wie angetrieben wird GPT-4.1 Und o4-minizeigt, dass es nicht darum geht, das größte Modell zu verwenden, sondern um den richtigen Rahmen, um die Funktionen dieses Modells zu nutzen.

Abschluss

Das Memento -Framework stellt eine tiefgreifende Verschiebung in unserer Denk- und Erstellung dar KI -Agenten. Es beweist, dass wir hochkarätige, kontinuierliche Lernsysteme erstellen können, ohne die lähmenden Kosten und die technischen Komplexität der Feinabstimmung der Modellmodell zu erledigen.

Dieser Ansatz bietet einen leistungsstarken, skalierbaren und effizienten Weg, um wirklich generalistische LLM -Agenten zu bauen, die Artwork von KI, die eine breite Palette von Aufgaben in Angriff nehmen und mit jeder einzelnen Interaktion besser werden kann. Memento ist nicht nur ein besserer Weg, um KI aufzubauen. Es ist eine intuitivere. Es ist ein Schritt in Richtung Agi, der sich nicht nur clever handelt, sondern sich auf eine Weise lernt und anpasst, die sich viel mehr … menschlich anfühlt.

Sind Sie bereit zu sehen, wie ein Speicheransatz die Artwork und Weise verändern kann, wie Sie KI erstellen? Schauen Sie sich den Code an und sehen Sie sich Memento selbst in Aktion. Die Zukunft der KI ist hier und basiert auf einer Grundlage des Gedächtnisses, nicht nur auf der rohen Leistung.

Häufig gestellte Fragen

Anu Madan ist ein Experte für Unterrichtsdesign, Inhaltsschreiben und B2B -Advertising mit einem Expertise, komplexe Ideen in wirkungsvolle Erzählungen zu verwandeln. Mit ihrem Fokus auf generative KI erstellt sie aufschlussreiche, progressive Inhalte, die ein sinnvolles Engagement erziehen, inspiriert und fördert.