Der gleichzeitige Multi-LoRA-Stack von Trajectory meldet einen 2,81-fachen Anstieg des Experimentierdurchsatzes gegenüber Single-Tenant-RL, wobei sich der gesamte Code im NovaSky-AI/SkyRL-GitHub-Repository befindet.

Die meisten Sprachmodelle verbessern sich durch diskontinuierliche Sprünge. Ein Crew sammelt Daten, trainiert und versendet eine neue Model. Dies dauert Monate und führt zu bemerkenswertem oder katastrophalem Verhalten für Benutzer. Trajectory möchte diesen Zyklus durch kontinuierliches Lernen ersetzen.

Das Trajectory-Crew hat einen Erfahrungsbericht veröffentlicht, in dem beschrieben wird, wie. Es wurde eine gleichzeitige Multi-LoRA-Trainingsplattform für kontinuierlich lernende Arbeitslasten aufgebaut. Die Arbeit wurde mit UC Berkeley Sky Lab und Anyscale durchgeführt. Der gesamte Trainingscode ist Open-Supply im NovaSky-AI/SkyRL-Repository.

Das Ergebnis ist eine 2,81-fache Verbesserung des Finish-to-Finish-Experimentdurchsatzes. Der Vergleich erfolgt mit einem Single-Tenant-Trainingsframework. Trajectory meldet keine Regression bei Trainingsbelohnungen.

Was Multi-LoRA-Coaching eigentlich ist

Kontinuierliches Lernen erfordert, dass Modelle anhand von Stay-Suggestions und Produktionsinteraktionen aktualisiert werden. Ein Codierungsagent könnte technische Muster lernen, während Entwickler seine Arbeit korrigieren. Ein Supportmitarbeiter könnte Hardtickets lösen, während die Mitarbeiter in schwierigen Fällen eingreifen.

Die meisten Trainingsinfrastrukturen gehen immer noch von einem linearen Lebenszyklus aus. Groups weisen GPUs zu, initialisieren das Modell, führen einen Job aus und fahren dann herunter. Kontinuierliches Lernen überarbeitet diese Beziehung. Wenn Produktionsinteraktionen zu Trainingseingaben werden, wird die Schulung Teil eines Stay-Methods.

Modernes RL-Coaching reduziert sich auf drei Kernprimitive. Der Sampler generiert Trajektorien aus dem aktuellen Richtlinienmodell. Der Coach berechnet Farbverläufe und aktualisiert die Richtliniengewichte. Parametersynchronisation sendet aktualisierte Gewichte an Inferenzarbeiter zurück.

Trajectory nennt seinen Ansatz Steady Multi-LoRA Coaching oder C-LoRA. Jedes Experiment wird einem dedizierten LoRA-Adapter auf einer warmen, mandantenfähigen Engine zugeordnet.

Die Probleme, auf die es abzielt

Das Trajectory-Crew identifiziert vier Ineffizienzen bei herkömmlichen Stacks:

(1) Kaltstarts sind langsam: Jeder serielle Job lädt Prüfpunkte neu, initialisiert die verteilte Laufzeit und erwärmt Inferenz-Engines. Bei großen Modellen kann dieser Schritt allein 30 Minuten professional Durchlauf überschreiten.

(2) RL ist speicherintensiv: Grenzmodelle überschreiten häufig 100 Milliarden Parameter. Für Qwen3.5-397B können bis zu acht H200-Knoten erforderlich sein, um in den Speicher zu passen. LoRA reduziert die Speichernutzung um eine Größenordnung. Es friert das Basismodell ein und trainiert nur kleine Adaptergewichte.

(3) Herkömmliche Stacks sind Single-Tenant-Stacks: Sie führen jeweils ein Experiment durch. Multi-LoRA ordnet jedes Experiment einem Adapter zu, wodurch der Durchsatz um den Faktor N gemultiplext wird.

(4) Die Arbeitsauslastung ist gering: Coach und Inferenzmaschinen bleiben stehen, während sie aufeinander warten. Multi-LoRA-Lastausgleich über Jobs hinweg, um ungenutzte Kapazitäten zu füllen.

In der Architektur

Die meisten Durchsatzgewinne resultieren aus Inferenz. In vLLM werden alle Adapter im laufenden Betrieb in den GPU-Speicher geladen. Durch Dekodierschritte können dann Token von verschiedenen Adaptern im selben Stapel gemischt werden. Der Schlüsselfaktor ist der SGMV-Dekodierungskernel. Es vereint die Matrixvektorarbeit professional Adapter in einem GPU-Begin professional Dekodierschritt.

Nach jedem Optimierungsschritt werden aktualisierte LoRA-Gewichte direkt in die Inferenz-Engine geladen. Der Scheduler friert nicht ein, sodass andere Mandanten weiterhin dekodieren.

Coaching funktioniert anders. Ein aktiver LoRA-Adapter trainiert auf der GPU. Der Relaxation befindet sich im fixierten CPU-Speicher. Der Staat jedes Mieters lebt in einem AdapterStore. Es enthält LoRA-Parameter, FP32-Mastergewichte, Optimierungsmomente und Gradientenpuffer.

Die Engine tauscht den Standing eines Mandanten auf die GPU aus, führt einen einzelnen „forward_backward“-Durchlauf aus und tauscht ihn dann zurück. Dieser Trainingspfad ist immer noch ein Einzeladapter. Die Vorteile der Inferenz-Parallelität gelten noch nicht für das Coaching.

Die Zahlen

Trajektorie auf einem einzelnen H200-Knoten mit Qwen3-4B-Instruct-2507 getestet. Es führte Sync RL auf GSM8K in einer Agenteneinstellung aus. Das Trajectory-Crew hat GSM8K als Lernaufgabe für den Werkzeuggebrauch umgestaltet. Das Modell entscheidet, wann a aufgerufen wird Kalkulator und a Endgültige Antwort Werkzeug. Die Belohnung beträgt nur 1,0, wenn die endgültige Antwort mit der richtigen Antwort aufgerufen wird.

Die Richtlinie beginnt bei Schritt 0 mit einer Genauigkeit von etwa 40 %. Mit dem richtigen Lernalgorithmus steigt sie bei Schritt 9 auf über 90 %.

Das Trajectory-Crew skalierte auf acht gleichzeitige Multi-LoRA-Läufe. Die letzte Experimentzeit betrug 5433 Sekunden bei N=8, eine 2,81-fache Beschleunigung. Acht gleichzeitige Experimente wurden abgeschlossen, bevor drei aufeinanderfolgende Serienläufe stattfanden. Auch die mittlere Experimentzeit verbesserte sich und erreichte ihren Höhepunkt bei N=4 mit einer 1,88-fachen Beschleunigung. Jede Parallelitätsstufe erreichte bei Schritt 9 eine Belohnungsgenauigkeit von über 90 %.

Die Kompromisse

Höhere Durchsatzkosten professional Schrittlatenz. Wenn N zunimmt, verkürzen sich die Zeit des ersten Experiments und die Zeit des Schritts. Bei N=8 endet das erste Reihenexperiment 1,97-mal schneller. Die mittlere Schrittzeit steigt von 191 Sekunden auf 500 Sekunden, additionally nur 2,62-mal langsamer.

Der größte Teil dieser Steigerung ist auf die Einführungszeit zurückzuführen. Der Rollout wächst von 162 auf 401, was etwa 77 % des Anstiegs entspricht. Bei N=2 erhöht die Verdoppelung der Final die Rollout-Zeit nur um 15 %. Das ist der Idealfall für Multi-LoRA.

Das Muster hielt an einer härteren Arbeitsbelastung fest. Beim τ-Bench-Einzelhandel mit dem MoE-Modell NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 beendete N=2 10 Schritte 1,28-mal schneller. Die Schrittzeit professional Mandant stieg um das 1,57-fache.

Stärken und Schwächen

Stärken:

• 2,81-fache Steigerung des Finish-to-Finish-Experimentdurchsatzes bei acht gleichzeitigen Durchläufen
• Keine Genauigkeitsregression; Die Läufe folgten in den letzten Schritten der seriellen Grundlinie innerhalb von ±1σ
• LoRA reduziert den Speicher um eine Größenordnung im Vergleich zur vollständigen Feinabstimmung
• Vollständig Open-Supply in NovaSky-AI/SkyRL, damit die Neighborhood darauf aufbauen kann

Schwächen:

• Die Latenz professional Schritt und die Zeit für das erste Experiment nehmen mit zunehmendem N ab
• Die Schulungen werden weiterhin mieterübergreifend durchgeführt. Nur die Inferenz wird gemultiplext
• Getestet hauptsächlich an mittelgroßen Modellen, nicht an Parametern im Grenzmaßstab
• Für die Einrichtung sind ein 8× H100/H200-Knoten und ein Megatron-Construct erforderlich

Wichtige Erkenntnisse

• Trajectory hat einen gleichzeitigen Multi-LoRA-RL-Trainingsstapel für kontinuierliches Lernen erstellt, der als Open-Supply-Lösung in NovaSky-AI/SkyRL verfügbar ist.
• Es wird ein 2,81-facher Anstieg des Finish-to-Finish-Experimentdurchsatzes gegenüber einer Basislinie mit einem einzelnen Mandanten gemeldet, ohne Regression der Belohnung.
• Jedes Experiment wird einem dedizierten LoRA-Adapter auf einer immer heißen Engine zugeordnet, der den Durchsatz um N multiplext.
• Die meisten Gewinne ergeben sich aus der vLLM-Multi-LoRA-Inferenz über den SGMV-Dekodierungskernel; Ausbildung bleibt Single-Adapter.
• Der Kompromiss besteht in der Latenz professional Schritt: Bei N=8 steigt die Schrittzeit von 191 Sekunden auf 500 Sekunden.

Der visuelle Erklärer von Marktechpost

Wo (Schlussfolgerungen) ausgeführt werden sollen

---

Schauen Sie sich das an Repo Und Technische Particulars. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 150.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Vernetzen Sie sich mit uns

Das MIT Siegel Household Quest for Intelligence (SQI), eine Forschungseinheit am MIT Schwarzman School of Computing, bringt Forscher aus dem gesamten MIT zusammen, die ihr vielfältiges Fachwissen bündeln, um Intelligenz durch eng gekoppelte wissenschaftliche Forschung und strenge Technik zu verstehen. Diese Forscher engagieren sich in gemeinsamen Anstrengungen, die Wissenschaft, Technik, Geisteswissenschaften und mehr umfassen.

SQI möchte verstehen, wie Gehirne Intelligenz produzieren und wie diese in künstlichen Systemen repliziert werden kann, um reale Probleme anzugehen, die die Fähigkeiten aktueller Technologien der künstlichen Intelligenz übersteigen.

„Bei SQI untersuchen wir Intelligenz wissenschaftlich und allgemein, in der Hoffnung, dass wir durch die Untersuchung der Neurowissenschaften und des Verhaltens bei Menschen und Tieren sowie durch die Untersuchung dessen, was wir als intelligente technische Artefakte bauen können, in der Lage sein werden, die grundlegenden Prinzipien der Intelligenz zu verstehen“, sagt er Leslie Pack KaelblingSQI-Forschungsdirektor und Panasonic-Professor an der MIT-Abteilung für Elektrotechnik und Informatik.

„Wir bei SQI glauben, dass das Verständnis der menschlichen Intelligenz eine der größten offenen Fragen in der Wissenschaft ist – gleichauf mit dem Ursprung des Universums und unserem Platz darin sowie dem Ursprung des Lebens. Die Frage der menschlichen Intelligenz besteht aus zwei Teilen: Wie sie funktioniert und woher sie kommt. Wenn wir diese verstehen, werden wir Ergebnisse sehen, die weit über unsere derzeitigen Vorstellungen hinausgehen“, sagt er Jim DiCarloSQI-Direktor und Peter de Florez-Professor für Neurowissenschaften an der MIT-Abteilung für Gehirn- und Kognitionswissenschaften.

Erforschung der großen Geheimnisse des Geistes

Das MIT Siegel Household Quest for Intelligence wurde kürzlich in Anerkennung einer großen Schenkung des MIT Siegel Household umbenannt Stiftung der Familie Siegel Das ermöglicht weiteres Wachstum in SQIs Forschung und Aktivitäten.

Die Bemühungen von SQI sind um Missionen herum organisiert – langfristige, gemeinschaftliche Projekte, die auf grundlegenden Fragen der Intelligenz basieren und von Plattformen – Systemen und Software program – unterstützt werden, die neue Forschung ermöglichen und Benchmarking- und Testschnittstellen schaffen.

„Unsere Einheit am MIT ist die einzige, die sich dem Aufbau eines wissenschaftlichen Verständnisses von Intelligenz widmet und dabei mit Forschern im gesamten Institut zusammenarbeitet“, sagt DiCarlo. „In den letzten zehn Jahren gab es bemerkenswerte Fortschritte in der KI, aber ich glaube, dass das nächste Jahrzehnt noch größere Fortschritte in unserem Verständnis der menschlichen Intelligenz bringen wird – Fortschritte, die das, was wir KI nennen, neu gestalten werden. Indem David Siegel, die Siegel Household Endowment und unsere anderen Spender uns unterstützen, zeigen sie ihr Vertrauen in unseren Ansatz.“

Ein Erbe interdisziplinärer Unterstützung

Im Jahr 2011 gründete David Siegel SM ’86, PhD ’91 das Siegel Household Endowment (SFE), um Organisationen zu unterstützen, die an der Schnittstelle von Lernen, Arbeitskräften und Infrastruktur arbeiten. SFE finanziert Organisationen, die sich den kritischsten Herausforderungen der Gesellschaft stellen, und unterstützt gleichzeitig progressive Bürger- und Gemeindeführer, Sozialunternehmer, Forscher und andere, die diese Arbeit vorantreiben. Siegel ist Informatiker, Unternehmer und Philanthrop. Während seines Graduiertenstudiums am Synthetic Intelligence Lab des MIT arbeitete er in der Gruppe von Tomás Lozano-Pérez – derzeit Professor für Lehrexzellenz an der Faculty of Engineering – an Robotik und konzentrierte sich dabei auf das Erfassen und Erfassen. Später conflict er Mitbegründer von Two Sigma mit der Überzeugung, dass progressive Technologie, KI und Datenwissenschaft dazu beitragen könnten, den Wert der Daten der Welt zu entdecken. Heute treibt Two Sigma den Wandel in der gesamten Finanzdienstleistungsbranche in den Bereichen Investmentmanagement, Risikokapital, Personal Fairness und Immobilien voran.

Siegel erklärt: „Das menschliche Gehirn ist möglicherweise das komplexeste physikalische System im Universum, doch die meisten Menschen haben kein großes Interesse daran gezeigt, wie es funktioniert. Die Menschen halten den Geist für selbstverständlich, wundern sich aber so sehr über andere wissenschaftliche Geheimnisse, wie zum Beispiel den Ursprung des Universums. Meine Faszination für das Gehirn und seine Schnittstelle mit künstlicher Intelligenz rührt daher. Es ist mir egal, ob es kommerzielle Anwendungen für diese Suche gibt; stattdessen sollten wir Forschungen wie die am MIT Siegel Household Quest for Intelligence durchgeführte durchführen, um unsere Forschung voranzutreiben.“ Wenn wir mehr über die menschliche Intelligenz erfahren, hoffe ich, dass wir nicht nur den Grundstein für die Weiterentwicklung der künstlichen Intelligenz legen, sondern auch für die Erweiterung unseres eigenen Denkens.“

Als langjähriger Verfechter des Middle for Brains, Minds, and Machines (CBMM), einer von der Nationwide Science Basis finanzierten kooperativen interdisziplinären Forschungsinitiative, und einer der ersten Spender des MIT Quest for Intelligence half David Siegel dabei, den Grundstein für die heute laufende Forschung zu legen. Anfang 2024 gründete er Open Athena, eine gemeinnützige Organisation, die die Lücke zwischen akademischer Forschung und modernster KI schließt. Open Athena stattet Universitäten mit erstklassigen KI- und Datentechniktalenten aus, um bahnbrechende Entdeckungen in großem Maßstab zu beschleunigen. Siegel ist Mitglied des Govt Committee der MIT Company, stellvertretender Vorsitzender der Scratch Basis und Mitglied des Cornell Tech Council. Er sitzt außerdem im Vorstand von Re:Construct Manufacturing, Khan Academy, NYC FIRST und Carnegie Corridor.

Ein Katalysator für globale Zusammenarbeit

MIT-Präsidentin Sally Kornbluth sagt: „Von all den Spendern und Unterstützern, deren Großzügigkeit das Quest for Intelligence vorangetrieben hat, conflict niemand von Anfang an wichtiger als David Siegel. Ohne sein langjähriges Engagement für CBMM und seine Unterstützung für das Quest hätte sich diese Gemeinschaft vielleicht nie gebildet. Es gibt allen Grund zu der Annahme, dass Davids jüngste Schenkung, die das Quest for Intelligence umbenannt und auch das Schwarzman School of Computing unterstützt, die Zukunft dieser Initiative und des Fachgebiets selbst noch stärker prägen wird.“ Sie fährt fort: „Angetrieben durch großzügige Spender – insbesondere David Siegels transformative Gabe – ist SQI bereit, eine noch wichtigere Rolle zu übernehmen.“

Wissenschaftler und Ingenieure des SQI präsentieren ihre Arbeit umfassend, veröffentlichen Artikel und entwickeln neue Werkzeuge und Technologien, die in Forschungseinrichtungen auf der ganzen Welt eingesetzt werden, während sie mit Kollegen aus Disziplinen im gesamten Institut sowie an Universitäten und Institutionen auf der ganzen Welt zusammenarbeiten. DiCarlo erklärt: „Wir sind Teil des Schwarzman School of Computing, an der Schnittstelle zwischen den Menschen, die sich für Biologie und verschiedene Formen der Intelligenz interessieren, und den Menschen, die sich für KI interessieren. Wir arbeiten mit Partnern an anderen Universitäten, in gemeinnützigen Organisationen und in der Industrie zusammen – wir können es nicht alleine schaffen.“

„Grundsätzlich handelt es sich bei uns nicht um eine KI-Anstrengung. Wir sind eine menschliche Intelligenzanstrengung, die die Werkzeuge der Technik nutzt“, sagt DiCarlo. „Das gibt uns unter anderem sehr nützliche Erkenntnisse für das menschliche Lernen und die Gesundheit, aber auch sehr nützliche Werkzeuge für die KI – einschließlich KI, die in einer menschlichen Welt einfach viel besser funktionieren wird.“

Die gesamte SQI-Gemeinschaft aus Lehrkräften, Studierenden und Mitarbeitern freut sich darauf, sich den neuen Herausforderungen im Bemühen, die Grundlagen der Intelligenz zu verstehen, zu stellen.

Neue Missionen und nächste Horizonte

Die SQI-Forschung wird ausgeweitet: Die Hauptforscher der Mission bündeln ihre Bemühungen in verschiedenen Interessengebieten und erhöhen so ihre Wirkung auf dem Gebiet. In den kommenden Monaten plant die Organisation den Begin einer neuen Social-Intelligence-Mission.

„Wir müssen uns auf Probleme konzentrieren, die natürliche und künstliche Intelligenz widerspiegeln – und sicherstellen, dass wir neue Modelle für Aufgaben evaluieren, die widerspiegeln, was Menschen und andere natürliche Intelligenz tun können“, sagt er Nick RoySQI-Direktor für Systemtechnik und Professor für Luft- und Raumfahrt am MIT. Er prognostiziert, dass die zukünftige Forschung von SQI darauf angewiesen sein wird, die richtigen Fragen zu stellen: „Wir sind zwar intestine darin, Aufgaben auszuwählen, die unsere Rechenmodelle testen, und wir sind extrem intestine darin, Aufgaben auszuwählen, die irgendwie mit dem übereinstimmen, was unsere Modelle bereits leisten können, aber wir müssen besser darin werden, Aufgaben und Benchmarks auszuwählen, die auch etwas über die natürliche Intelligenz aussagen“, sagt er.

Am 24. November 2025 versammelten sich Lehrkräfte, Mitarbeiter, Studierende und Unterstützer zu einer Veranstaltung mit dem Titel „Der nächste Horizont: Die Zukunft von Quest„, um das nächste Kapitel von SQI zu feiern. Die Veranstaltung bestand aus einem Nachmittag mit Forschungsaktualisierungen, einer Podiumsdiskussion und einer Postersitzung zu neuer und sich entwickelnder Forschung und wurde von David Siegel, Vertretern des Siegel Household Endowment und verschiedenen Mitgliedern der MIT Company besucht. Aufzeichnungen der Präsentationen der Veranstaltung sind auf SQI verfügbar YouTube-Kanal.

Modelle, die in der Lage sind, eine Vielzahl von Aufgaben wie Recherche und Codierung zu automatisieren. Oftmals arbeitet man jedoch mit einem LLM, erledigt eine Aufgabe und fängt bei der nächsten Interaktion mit dem LLM wieder ganz von vorne an.

Dies ist ein großes Drawback bei der Arbeit mit LLMs. Wir verschwenden viel Zeit damit, Anweisungen an LLMs einfach zu wiederholen, etwa zur gewünschten Codeformatierung oder zur Ausführung von Aufgaben nach Ihren Wünschen.

Hier ist agenten.md Dateien kommen herein: Eine Möglichkeit, kontinuierliches Lernen auf LLMs anzuwenden, wobei das LLM Ihre Muster und Verhaltensweisen lernt, indem es verallgemeinerbare Informationen in einer separaten Datei speichert. Diese Datei wird dann jedes Mal gelesen, wenn Sie eine neue Aufgabe starten, wodurch das Drawback des Kaltstarts vermieden wird und Sie die Wiederholung von Anweisungen vermeiden können.

In diesem Artikel gebe ich einen allgemeinen Überblick darüber, wie ich mit LLMs durch kontinuierliche Aktualisierung kontinuierliches Lernen erreiche agenten.md Datei.

Warum brauchen wir kontinuierliches Lernen?

Es braucht Zeit, mit einem neuen Agentenkontext zu beginnen. Der Agent muss Ihre Präferenzen berücksichtigen, und Sie müssen mehr Zeit mit der Interaktion mit dem Agenten verbringen, damit er genau das tut, was Sie wollen.

Zum Beispiel:

• Weisen Sie den Agenten an, die Python 3.13-Syntax anstelle von 3.12 zu verwenden
• Den Agenten darüber informieren, bei Funktionen immer Rückgabetypen zu verwenden
• Sicherstellen, dass der Agent das niemals verwendet Beliebig Typ

Ich musste den Agenten oft explizit anweisen, die Python 3.13-Syntax und nicht die 3.12-Syntax zu verwenden, wahrscheinlich weil die 3.12-Syntax in ihrem Trainingsdatensatz häufiger vorkommt.

Der Sinn und Zweck des Einsatzes von KI-Agenten besteht darin, schnell zu sein. Daher möchten Sie keine Zeit damit verschwenden, Anweisungen zu wiederholen, welche Python-Model verwendet werden soll oder dass der Agent niemals den Typ „Any“ verwenden sollte.

Darüber hinaus verbringt der KI-Agent manchmal zusätzliche Zeit damit, Informationen herauszufinden, die Ihnen bereits zur Verfügung stehen, zum Beispiel:

• Der Title Ihrer Dokumententabelle
• Die Namen Ihrer CloudWatch-Protokolle
• Die Präfixe in Ihren S3-Buckets

Wenn der Agent den Namen Ihrer Dokumententabelle nicht kennt, muss er Folgendes tun:

1. Pay attention Sie alle Tabellen auf
2. Suchen Sie eine Tabelle, die wie die Dokumententabelle klingt (es könnten mehrere mögliche Optionen sein)
3. Schauen Sie zur Bestätigung entweder in der Tabelle nach oder fragen Sie den Benutzer

Dies nimmt viel Zeit in Anspruch und kann leicht verhindert werden, indem wir den Namen der Dokumenttabelle, CloudWatch-Protokolle und S3-Bucket-Präfixe hinzufügen agenten.md.

Daher ist der Hauptgrund, warum wir kontinuierliches Lernen benötigen, der, dass das Wiederholen von Anweisungen frustrierend und zeitaufwändig ist und wir bei der Arbeit mit KI-Agenten so effektiv wie möglich sein wollen.

Wie man kontinuierliches Lernen anwendet

Es gibt zwei Hauptmethoden, mit denen ich das kontinuierliche Lernen angehen kann, wobei beide eine intensive Nutzung des erfordern agenten.md Datei, die Sie in jedem Repository haben sollten, an dem Sie arbeiten:

1. Immer wenn der Agent einen Fehler macht, teile ich ihm mit, wie er den Fehler korrigieren kann, und merke mir dies für später agent.md Datei
2. Nach jedem Thread, den ich mit dem Agenten hatte, verwende ich die folgende Eingabeaufforderung. Dadurch wird sichergestellt, dass alles, was ich dem Agenten im Verlauf des Threads gesagt habe, oder Informationen, die er im Verlauf des Threads entdeckt hat, für die spätere Verwendung gespeichert wird. Dies macht spätere Interaktionen weitaus effektiver.

Generalize the data from this thread, and keep in mind it for later. 
Something that might be helpful to know for a later interplay, 
when doing comparable issues. Retailer in brokers.md

Die Anwendung dieser beiden einfachen Konzepte wird Sie zu 80 % auf dem Weg zum kontinuierlichen Lernen mit LLMs bringen und Sie zu einem weitaus effektiveren Ingenieur machen.

---

Der wichtigste Punkt ist, das Agentengedächtnis immer beizubehalten agenten.md im Hinterkopf. Wenn der Agent etwas tut, das Ihnen nicht gefällt, müssen Sie immer daran denken, es aufzubewahren agenten.md

Sie denken vielleicht, Sie riskieren ein Aufblähen agenten.md Dadurch wird der Agent langsamer und teurer. Dies ist jedoch nicht wirklich der Fall. LLMs sind äußerst intestine darin, Informationen in einer Datei zusammenzufassen. Darüber hinaus, auch wenn Sie eine haben agenten.md Wenn eine Datei aus Tausenden von Wörtern besteht, ist das kein wirkliches Drawback, weder im Hinblick auf die Kontextlänge noch auf die Kosten.

Die Kontextlänge von Frontier-LLMs beträgt Hunderttausende Token, das ist additionally überhaupt kein Drawback. Und was die Kosten angeht, werden Sie wahrscheinlich die Kosten für die Nutzung des LLM erkennen gehen. Der Grund dafür ist, dass der Agent weniger Token für die Ermittlung von Informationen aufwendet, da diese Informationen bereits vorhanden sind agenten.md.

Starker Gebrauch von agenten.md für den Agentenspeicher wird sowohl die LLM-Nutzung beschleunigen als auch die Kosten senken

Einige zusätzliche Tipps

Ich möchte auch einige zusätzliche Tipps hinzufügen, die beim Umgang mit dem Agentengedächtnis nützlich sind.

Der erste Tipp ist, dass Sie bei der Interaktion mit Claude Code mit „#“ auf den Speicher des Agenten zugreifen und dann schreiben können, was Sie sich merken möchten. Schreiben Sie beispielsweise Folgendes in das Terminal, wenn Sie mit Claude Code interagieren:

# At all times use Python 3.13 syntax, keep away from 3.12 syntax

Sie erhalten dann eine Choice, wie Sie im Bild unten sehen. Entweder Sie speichern es im Benutzerspeicher, der die Informationen für alle Ihre Interaktionen mit Claude Code speichert, unabhängig vom Code-Repository. Dies ist nützlich für allgemeine Informationen, z. B. für die ständige Verfügbarkeit eines Rückgabetyps für Funktionen.

Die zweite und dritte Choice besteht darin, es in dem aktuellen Ordner, in dem Sie sich befinden, oder im Stammordner Ihres Projekts zu speichern. Dies kann nützlich sein, um entweder ordnerspezifische Informationen zu speichern, die beispielsweise nur einen bestimmten Dienst beschreiben. Oder zum Speichern von Informationen über ein Code-Repository im Allgemeinen.

Darüber hinaus verwenden unterschiedliche Codierungsagenten unterschiedliche Speicherdateien.

• Claude Code verwendet CLAUDE.md
• Warp verwendet WARP.md
• Cursor verwendet .cursorrules

Normalerweise lesen jedoch alle Agenten agenten.md, Aus diesem Grund empfehle ich, Informationen in dieser Datei zu speichern, damit Sie Zugriff auf den Speicher des Agenten haben, unabhängig davon, welchen Codierungsagenten Sie verwenden. Das liegt daran, dass Claude Code eines Tages der Beste sein wird, aber vielleicht sehen wir an einem anderen Tag einen anderen Coding-Agenten an der Spitze.

AGI und kontinuierliches Lernen

Ich möchte auch eine Anmerkung zu AGI und kontinuierlichem Lernen hinzufügen. Echtes kontinuierliches Lernen wird manchmal als eines der letzten Hindernisse auf dem Weg zur AGI angesehen.

Derzeit täuschen LLMs im Wesentlichen kontinuierliches Lernen vor, indem sie das Gelernte einfach in Dateien speichern, die sie später lesen (z. B. „brokers.md“). Best wäre jedoch, dass LLMs ihre Modellgewichte kontinuierlich aktualisieren, wenn sie neue Informationen lernen, im Wesentlichen so, wie Menschen Instinkte lernen.

Leider ist echtes kontinuierliches Lernen noch nicht erreicht, aber es ist wahrscheinlich eine Fähigkeit, von der wir in den kommenden Jahren mehr sehen werden.

Abschluss

In diesem Artikel habe ich darüber gesprochen, wie Sie ein weitaus effektiverer Ingenieur werden können, indem Sie Brokers.md für kontinuierliches Lernen nutzen. Auf diese Weise erfasst Ihr Agent Ihre Gewohnheiten, die Fehler, die Sie machen, die Informationen, die Sie normalerweise verwenden, und viele andere nützliche Informationen. Dadurch werden spätere Interaktionen mit Ihrem Agenten wiederum wesentlich effektiver. Ich glaube, dass eine starke Nutzung der Datei „brokers.md“ für die Entwicklung eines guten Ingenieurs unerlässlich ist und dass Sie ständig danach streben sollten.

Meine kostenlosen Ressourcen

Verzehnfachen Sie Ihr Engineering mit LLMs (kostenloser 3-tägiger E-Mail-Kurs)

Holen Sie sich mein kostenloses E-Guide „Imaginative and prescient Language Fashions“.

Mein Webinar zu Imaginative and prescient Language Fashions

Finden Sie mich in den sozialen Netzwerken:

Abonnieren Sie meinen E-newsletter

Nehmen Sie Kontakt auf

LinkedIn

X / Twitter

Medium

Haben Sie sich jemals gewünscht, dass Ihr KI -Agent im laufenden Flug lernen und sich anpassen könnte, genau wie Sie? Stellen Sie sich einen AI -Assistenten vor, der sich nach einem einmaligen Aufgabe an seinen Fehler erinnert und sie nie wiederholt. Eine KI, die nicht nur auf Eingabeaufforderungen reagiert, sondern auch bei jeder einzelnen Interaktion aktiv schlauer wird.

Seit Jahren ist dies der heilige Gral der künstlichen Intelligenz, ein Traum, der von zwei Hauptstraßen zurückgehalten wurde. Wir haben mächtige KI-Agenten aufgebaut, aber sie bleiben entweder in einer festen Denkweise festgefahren oder scheitern in realen Szenarien, die kontinuierliches Lernen benötigen. Es ist ein klassisches Dilemma: ein statisches Genie im Vergleich zu einem langsamen Lernenden mit einem unendlichen Appetit auf Leistung und Daten.

Aber was wäre, wenn es einen dritten Weg gäbe? A Neues Forschungspapier hat einen Weg herausgekommen, der es KI-Agenten ermöglicht, kontinuierlich aus einer sich ändernden Umgebung zu lernen, ohne die kräftigen Kosten für die Feinabstimmung der massiven Modelle mit ihnen einzubeziehen. Memento ist ein revolutionärer Ansatz, der genau das tut. Memento gibt LLM-Agenten ein externes, menschliches Gedächtnis und bietet einen skalierbaren, effizienten und unglaublich leistungsfähigen Weg zur nächsten Era der Generalisten der Generalisten. In diesem Weblog werden wir die Particulars von Memento und wie es funktioniert.

Das Downside mit den heutigen LLM -Agenten

LLM -Agenten des großen Sprachmodells sind die Zukunft. Im Gegensatz zu herkömmlichen LLMs, die nur Fragen beantworten, sind diese Agenten proaktive Problemlöser. Sie können autonom komplexe Aufgaben durchführen, indem sie externe Instruments und Argumentation durch Probleme Schritt für Schritt verwenden.

So mächtig sie auch sind, die meisten LLM -Agenten fallen in eine von zwei Kategorien mit jeweils einen kritischen Fehler:

1. Der starre Agent: Diese Artwork von Agent wird mit einem festen, hart codierten Workflow erstellt. Es ist großartig in seinem spezifischen Job, aber es kann sich nicht anpassen. Es werden keine neuen Informationen selbst einbeziehen oder aus seinen Fehlern in Echtzeit lernen. Stellen Sie sich eine hochspezialisierte Maschine vor, die nur eine Aufgabe perfekt erledigen kann.
2. Der Feinabstimmungsagent: Dies ist der flexiblere, aber unglaublich kostspieligere Ansatz. Diese Wirkstoffe werden durch Feinabstimmung ihrer Kern-LLM-Parameter auf der Grundlage neuer Daten oder Verstärkungslernen aktualisiert. Dies ermöglicht ein dynamischeres Verhalten, aber der Prozess ist ein logistischer Albtraum. Dies macht sie für kontinuierliches On-line -Lernen unpraktisch.

Memento wurde gebaut, um diese zentrale Herausforderung zu lösen: Wie erstellen wir eine KI, die kontinuierlich ohne den konstanten, teuren und riskanten Prozess von lernen kann Feinabstimmung?

Was ist Memento?

Memento ist im Grunde ein speichergetriebenes Framework, das es erlaubt Llm Agenten, die aus Erfahrung lernen, wie jeder Mensch. Sie erinnern sich an, passen und wiederverwenden in vergangenen Fällen, ohne das Foundation -Großsprachmodell, auf dem sie aufgebaut sind, umzuschulungen.

Die Schöpfer von Memento schauten auf die leistungsstärkste und effizienteste Lernmaschine, die wir kennen: das menschliche Gehirn. Menschen „feinst“ ihr Gehirn nicht jedes Mal, wenn sie etwas Neues lernen. Stattdessen verlassen wir uns auf unser Gedächtnis. Wir speichern frühere Erfahrungen, lernen aus unseren Erfolgen und Misserfolgen und nutzen diese Erinnerungen, um unsere zukünftigen Entscheidungen zu leiten, die als Fallbasis (CBR) bezeichnet werden. Es ist ein psychologisches Prinzip, das darauf hindeutet, dass wir neue Probleme lösen, indem wir Lösungen aus ähnlichen vergangenen Situationen erinnern und anpassen.

Memento bringt diesen menschlichen Ansatz in LLM-Agenten. Anstatt das Kernmodell des LLM zu optimieren, gibt Memento dem Agenten einen externen episodischen Speicher, der als Case Financial institution bezeichnet wird. Die Case Financial institution speichert frühere Flugbahnen, einschließlich Schritte, die Ergebnisse, und ob sie mit Erfolg oder Misserfolg endeten. Auf diese Weise kann der Agent „in der Fliege lernen“, ohne ein einzelnes Gradienten -Replace für sein Grundmodell zu finden.

Der Memento Framework -Code finden Sie hier: Github

Was passiert in Memento?

Der Kern dieses Techniques ist ein Speicher-Markov-Entscheidungsprozess (M-MDP). Es ist eine Möglichkeit, den Entscheidungsprozess des Agenten zu modellieren, bei dem sein Gedächtnis ein wesentlicher Bestandteil jeder Wahl ist. Dies ist eine huge Verschiebung von traditionellen Modellen, die ausschließlich auf ihrem internen, festen Wissen beruhen.

Nachdem wir wissen, was Memento ist, tauchen wir in seine Architektur ein.

Wie funktioniert die Architektur von Memento?

Memento arbeitet auf einem einfachen, aber leistungsstarken zweistufigen Framework:

Stufe 1: Fallbasierte Planung

Hier denkt der Agent. Ein LLM wirkt wie das Planerum eine Benutzerabfrage aufzunehmen und, genau wie ein Mensch, sie in eine Liste von Unteraufgaben unterteilt. Die geheime Sauce hier ist der Fallgedächtnis.

Bevor er handelt, „liest“ der Planer aus seiner Fallbank und ruft frühere Erfahrungen ab, die der aktuellen Aufgabe am ähnlichsten sind. Der Agent verwendet dann diese vergangenen Fälle, einschließlich erfolgreicher und fehlgeschlagener Versuche, um seinen aktuellen Plan zu informieren und ihm zu helfen, frühere Fehler zu vermeiden und bewährte Strategien anzuwenden.

Stufe 2: Toolbasierte Ausführung

Sobald der Planer seine Strategie hat, übergibt er die Unteraufgaben zum Testamentsvollstrecker. Dies ist ein weiteres LLM, das mit einem umfassenden Satz externer Instruments wie Websuche, Code -Dolmetscher und Dateiprozessoren verbessert wird. Der Testamentsvollstrecker führt den Plan durch, jeweils eine Unteraufgabe, und verwendet die richtigen Instruments, um die Aufgabe zu erledigen. Der Agent ist sogar mit leistungsstarken Such- und Kriechtools ausgestattet, um Informationen aus dem Internet in Echtzeit abzurufen und zu analysieren.

Jede Aktion, die der Agent ergriffen und die Belohnung, die er erhält (Erfolg oder Misserfolg), wird in die Case Financial institution wieder aufgenommen und „geschrieben“. Dies schafft eine kontinuierliche Rückkopplungsschleife, in der das Gedächtnis des Agenten mit jeder neuen Interaktion ständig wächst und schlauer wird. Dieser Prozess wird durch Mushy formalisiert Q-Studyingeine Methode, die es dem Agenten ermöglicht, den Wert verschiedener Fälle (Erfahrungen) im Laufe der Zeit zu lernen. Es ist eine raffinierte Artwork, sicherzustellen, dass der Agent lernt, welche vergangenen Erfahrungen am wertvollsten sind, um abzurufen.

Memento: Actual World Efficiency

Das Memento -Framework ist nicht nur ein theoretisches Konzept. Es hat wirklich bemerkenswerte Ergebnisse erzielt. In der Papier werden umfangreiche Bewertungen über mehrere Benchmarks hinweg beschrieben, und die Zahlen sind überzeugend:

1. High-1 auf Gaia: Memento erreichte den Platz 1 in der Gaia-Rangliste, ein Benchmark, der die Fähigkeit eines Agenten testet, komplexe Langzeitaufgaben auszuführen, die die Verwendung von Werkzeugen und autonome Planung erfordern. Die Ergebnisse waren im Testsatz besonders stark, wo es 79,40percenterzielte, einen neuen Benchmark für Open-Supply-Agent-Frameworks.
2. Übertreffen Sie die Konkurrenz: Im DeepRearcher-Datensatz, in dem die Webforschung in Echtzeit getestet wird, erreichte Memento einen beeindruckenden 66,6% igen F1-Rating und 80,4% PM. IT übertraf modernde schultrainingebasierte Systeme, was zeigt, dass ein speicherbasierter Ansatz effektiver sein kann als die Feinabstimmung der Brute-Pressure.
3. Die Kraft des Gedächtnisses: Ablationsstudien in der Arbeit bestätigten die kritische Rolle der Fallbank. Durch die Hinzufügung von Fallbasierter Speicher allein wurde die Genauigkeit von Aufgaben außerhalb der Verteilung um bis zu 9,6percentgesteigert und zeigt die Kraft des Lernens aus früheren Erfahrungen.

Das Memento -Framework, der von einer Kombination von Modellen wie angetrieben wird GPT-4.1 Und o4-minizeigt, dass es nicht darum geht, das größte Modell zu verwenden, sondern um den richtigen Rahmen, um die Funktionen dieses Modells zu nutzen.

Abschluss

Das Memento -Framework stellt eine tiefgreifende Verschiebung in unserer Denk- und Erstellung dar KI -Agenten. Es beweist, dass wir hochkarätige, kontinuierliche Lernsysteme erstellen können, ohne die lähmenden Kosten und die technischen Komplexität der Feinabstimmung der Modellmodell zu erledigen.

Dieser Ansatz bietet einen leistungsstarken, skalierbaren und effizienten Weg, um wirklich generalistische LLM -Agenten zu bauen, die Artwork von KI, die eine breite Palette von Aufgaben in Angriff nehmen und mit jeder einzelnen Interaktion besser werden kann. Memento ist nicht nur ein besserer Weg, um KI aufzubauen. Es ist eine intuitivere. Es ist ein Schritt in Richtung Agi, der sich nicht nur clever handelt, sondern sich auf eine Weise lernt und anpasst, die sich viel mehr … menschlich anfühlt.

Sind Sie bereit zu sehen, wie ein Speicheransatz die Artwork und Weise verändern kann, wie Sie KI erstellen? Schauen Sie sich den Code an und sehen Sie sich Memento selbst in Aktion. Die Zukunft der KI ist hier und basiert auf einer Grundlage des Gedächtnisses, nicht nur auf der rohen Leistung.

Häufig gestellte Fragen

Stellen Sie sich vor, Sie haben einen kleinen Roboter, der in Ihrem Garten herumläuft und Ihre Pflanzen gießt. Zunächst verbringen Sie einige Wochen damit, Daten zu sammeln, um den Roboter zu trainieren und zu testen. Dabei investieren Sie viel Zeit und Ressourcen. Der Roboter lernt, effizient durch den Garten zu navigieren, wenn der Boden mit Gras und nackter Erde bedeckt ist.

Doch im Laufe der Wochen beginnen die Blumen zu blühen und das Aussehen des Gartens verändert sich deutlich. Der Roboter, der mit Daten aus einer anderen Jahreszeit trainiert wurde, kann seine Umgebung nun nicht mehr richtig erkennen und hat Schwierigkeiten, seine Aufgaben zu erfüllen. Um dies zu beheben, müssen Sie dem Modell neue Beispiele des blühenden Gartens hinzufügen.

Ihr erster Gedanke ist, dem Coaching neue Datenbeispiele hinzuzufügen und das Modell von Grund auf neu zu trainieren. Aber das ist teuer und Sie möchten dies nicht jedes Mal tun, wenn sich die Umgebung ändert. Darüber hinaus haben Sie gerade festgestellt, dass Ihnen nicht alle historischen Trainingsdaten zur Verfügung stehen.

Nun überlegen Sie, das Modell mit neuen Stichproben zu optimieren. Dies ist jedoch riskant, da das Modell möglicherweise einige seiner zuvor erlernten Fähigkeiten verliert, was zu katastrophales Vergessen (eine State of affairs, in der das Modell beim Erlernen neuer Informationen zuvor erworbenes Wissen und Fähigkeiten verliert).

..gibt es additionally eine Different? Ja, durch kontinuierliches Lernen!

Natürlich ist der Roboter, der die Pflanzen in einem Garten bewässert, nur ein anschauliches Beispiel für das Downside. Im weiteren Verlauf des Textes werden Sie realistischere Anwendungen sehen.

Adaptiv lernen mit Continuous Studying (CL)

Es ist nicht möglich, alle möglichen Szenarien vorherzusehen und sich darauf vorzubereiten, mit denen ein Modell in Zukunft konfrontiert werden könnte. Daher kann in vielen Fällen ein adaptives Coaching des Modells bei Eintreffen neuer Beispiele eine gute Possibility sein.

In CL wollen wir ein Gleichgewicht finden zwischen Stabilität eines Modells und seiner Plastizität. Stabilität ist die Fähigkeit eines Modells, zuvor erlernte Informationen zu behalten, und Plastizität ist seine Fähigkeit, sich an neue Informationen anzupassen, wenn neue Aufgaben eingeführt werden.

„(…) im Szenario des kontinuierlichen Lernens ist ein Lernmodell erforderlich, um interne Darstellungen schrittweise aufzubauen und dynamisch zu aktualisieren, da sich die Aufgabenverteilung im Laufe seiner Lebensdauer dynamisch ändert..” (2)

Aber wie lassen sich Stabilität und Plastizität kontrollieren?

Forscher haben eine Reihe von Möglichkeiten zum Aufbau adaptiver Modelle identifiziert. In (3) wurden folgende Kategorien festgelegt:

1. Regularisierungsbasierter Ansatz

• Bei diesem Ansatz fügen wir einen Regularisierungsterm hinzu, der die Auswirkungen alter und neuer Aufgaben auf die Modellstruktur ausgleichen soll.
• Zum Beispiel Gewichtsregulierung zielt darauf ab, die Variation der Parameter zu kontrollieren, indem der Verlustfunktion ein Strafterm hinzugefügt wird, der die Änderung des Parameters bestraft, indem berücksichtigt wird, wie viel er zu den vorherigen Aufgaben beigetragen hat.

2. Replay-basierter Ansatz

• Diese Methodengruppe konzentriert sich auf die Wiederherstellung einiger historischer Daten, damit das Modell frühere Aufgaben weiterhin zuverlässig lösen kann. Eine der Einschränkungen dieses Ansatzes besteht darin, dass wir Zugriff auf historische Daten benötigen, was nicht immer möglich ist.
• Erleben Sie beispielsweise die Wiedergabewo wir eine Auswahl alter Trainingsdaten aufbewahren und wiedergeben. Beim Trainieren einer neuen Aufgabe werden einige Beispiele aus vorherigen Aufgaben hinzugefügt, um das Modell einer Mischung aus alten und neuen Aufgabentypen auszusetzen und so das katastrophale Vergessen einzuschränken.

3. Optimierungsbasierter Ansatz

• Hier möchten wir die Optimierungsmethoden manipulieren, um die Leistung für alle Aufgaben aufrechtzuerhalten und gleichzeitig die Auswirkungen des katastrophalen Vergessens zu reduzieren.
• Beispielsweise Gradientenprojektion ist eine Methode, bei der für neue Aufgaben berechnete Gradienten so projiziert werden, dass vorherige Gradienten nicht beeinflusst werden.

4. Repräsentationsbasierter Ansatz

• Der Schwerpunkt dieser Methodengruppe liegt auf der Erlangung und Verwendung robuster Merkmalsdarstellungen, um katastrophales Vergessen zu vermeiden.
• Zum Beispiel selbstüberwachtes Lernenwo ein Modell eine robuste Darstellung der Daten erlernen kann, bevor es für bestimmte Aufgaben trainiert wird. Die Idee besteht darin, qualitativ hochwertige Merkmale zu erlernen, die eine gute Generalisierung für verschiedene Aufgaben widerspiegeln, mit denen ein Modell in Zukunft konfrontiert werden kann.

5. Architekturbasierter Ansatz

• Die vorherigen Methoden gehen von einem einzelnen Modell mit einem einzelnen Parameterraum aus, es gibt jedoch auch eine Reihe von Techniken in CL, die die Architektur des Modells ausnutzen.
• Beispielsweise Parameterzuordnungwobei während des Trainings jeder neuen Aufgabe ein dedizierter Unterraum in einem Netzwerk zugewiesen wird, wodurch das Downside der destruktiven Interferenz von Parametern beseitigt wird. Wenn das Netzwerk jedoch nicht festgelegt ist, wächst seine Größe mit der Anzahl neuer Aufgaben.

Und wie ist die Leistung der CL-Modelle zu bewerten?

Die grundlegende Leistungsfähigkeit von CL-Modellen kann aus mehreren Blickwinkeln gemessen werden (3):

• Gesamtbewertung der Leistung: Durchschnittliche Leistung über alle Aufgaben hinweg
• Bewertung der Speicherstabilität: Berechnung der Differenz zwischen der maximalen Leistung für eine bestimmte Aufgabe vor und der aktuellen Leistung nach kontinuierlichem Coaching
• Bewertung der Lernplastizität: Messen des Unterschieds zwischen der gemeinsamen Trainingsleistung (bei Coaching mit allen Daten) und der Leistung bei Coaching mit CL

Warum stellen additionally nicht alle KI-Forscher sofort auf kontinuierliches Lernen um?

Wenn Sie Zugriff auf die historischen Trainingsdaten haben und sich keine Sorgen über den Rechenaufwand machen, erscheint es Ihnen möglicherweise einfacher, das Coaching von Grund auf neu zu beginnen.

Einer der Gründe dafür ist, dass die Interpretierbarkeit dessen, was während des kontinuierlichen Trainings im Modell passiert, immer noch begrenzt ist. Wenn das Coaching von Grund auf dieselben oder bessere Ergebnisse liefert als das kontinuierliche Coaching, dann ziehen die Leute vielleicht den einfacheren Ansatz vor, d. h. das erneute Coaching von Grund auf, anstatt Zeit damit zu verbringen, die Leistungsprobleme von CL-Methoden zu verstehen.

Darüber hinaus konzentriert sich die aktuelle Forschung eher auf die Bewertung von Modellen und Frameworks, die möglicherweise die tatsächlichen Anwendungsfälle des Unternehmens nicht intestine widerspiegeln. Wie in (6) erwähnt, gibt es viele synthetische inkrementelle Benchmarks, die reale Situationen, in denen es eine natürliche Entwicklung von Aufgaben gibt, nicht intestine widerspiegeln.

Und schließlich konzentrieren sich, wie in (4) angemerkt, viele Aufsätze zum Thema CL auf den Speicher- und nicht auf den Rechenaufwand. Tatsächlich ist das Speichern historischer Daten jedoch weitaus kostengünstiger und verbraucht weniger Energie als das erneute Trainieren des Modells.

Wenn der Fokus stärker auf der Einbeziehung von Rechen- und Umweltkosten bei der Neuschulung von Modellen liegen würde, könnten mehr Leute daran interessiert sein, den aktuellen Stand der Technik bei CL-Methoden zu verbessern, da sie messbare Vorteile sehen würden. Wie in (4) erwähnt, kann die Neuschulung von Modellen beispielsweise 10.000 GPU-Tage der Ausbildung für aktuelle Großmodelle.

Warum sollten wir an der Verbesserung von CL-Modellen arbeiten?

Kontinuierliches Lernen soll einen der größten Engpässe aktueller KI-Modelle lösen: die Tatsache, dass sich die Datenverteilung im Laufe der Zeit ändert. Das erneute Lernen ist teuer und erfordert große Rechenmengen, was aus wirtschaftlicher und ökologischer Sicht kein sehr nachhaltiger Ansatz ist. Daher könnten intestine entwickelte CL-Methoden in Zukunft Modelle ermöglichen, die für eine größere Benutzergruppe leichter zugänglich und wiederverwendbar sind.

Wie in (4) festgestellt und zusammengefasst, gibt es eine Liste von Anwendungen, die von Natur aus die intestine entwickelten CL-Methoden erfordern oder von ihnen profitieren könnten:

1. Modellbearbeitung

• Selektives Bearbeiten eines fehleranfälligen Teils eines Modells, ohne andere Teile des Modells zu beschädigen. Kontinuierliche Lerntechniken könnten dazu beitragen, Modellfehler bei deutlich geringerem Rechenaufwand kontinuierlich zu korrigieren.

2. Personalisierung und Spezialisierung

• Allgemeine Modelle müssen manchmal angepasst werden, um sie für bestimmte Benutzer persönlicher zu gestalten. Mit Continuous Studying könnten wir nur einen kleinen Satz von Parametern aktualisieren, ohne dass das Modell katastrophales Vergessen begünstigt.

3. Lernen auf dem Gerät

• Kleine Geräte verfügen nur über begrenzten Speicher und begrenzte Rechenressourcen. Daher könnten in diesem Bereich Methoden nützlich sein, mit denen das Modell effizient in Echtzeit trainiert werden kann, wenn neue Daten eintreffen, ohne dass man von vorne beginnen muss.

4. Schnelleres Umlernen mit Warmstart

• Modelle müssen aktualisiert werden, wenn neue Stichproben verfügbar werden oder sich die Verteilung erheblich verschiebt. Mit Continuous Studying kann dieser Prozess effizienter gestaltet werden, indem nur die von neuen Stichproben betroffenen Teile aktualisiert werden, anstatt von Grund auf neu trainiert zu werden.

5. Bestärkendes Lernen

• Beim bestärkenden Lernen interagieren Agenten mit einer Umgebung, die oft nicht stationär ist. Daher könnten effiziente Methoden und Ansätze des kontinuierlichen Lernens für diesen Anwendungsfall möglicherweise nützlich sein.

Erfahren Sie mehr

Wie Sie sehen, gibt es noch viel Raum für Verbesserungen im Bereich der Methoden des kontinuierlichen Lernens. Wenn Sie interessiert sind, können Sie mit den folgenden Materialien beginnen:

• Einführungskurs: (Weiterbildungskurs) Vorlesung Nr. 1: Einführung und Motivation von ContinualAI auf YouTube https://youtu.be/z9DDg2CJjeE?si=j57_qLNmpRWcmXtP
• Beitrag zur Motivation für das kontinuierliche Lernen: Kontinuierliches Lernen: Anwendung und der Weg nach vorn (4)
• Artikel über die neuesten Techniken im Bereich des kontinuierlichen Lernens: Umfassende Untersuchung zum Thema kontinuierliches Lernen: Theorie, Methode und Anwendung (3)

Wenn Sie Fragen oder Anmerkungen haben, können Sie diese gerne im Kommentarbereich teilen.

Prost!

(1) Awasthi, A. & Sarawagi, S. (2019). Kontinuierliches Lernen mit neuronalen Netzwerken: Ein Überblick. In Proceedings der gemeinsamen internationalen Konferenz von ACM India zu Datenwissenschaft und Datenmanagement (S. 362–365). Affiliation for Computing Equipment.

(2) Continuous AI Wiki Einführung in kontinuierliches Lernen https://wiki.continualai.org/the-continualai-wiki/introduction-to-continual-learning

(3) Wang, L., Zhang, X., Su, H., & Zhu, J. (2024). Eine umfassende Untersuchung des kontinuierlichen Lernens: Theorie, Methode und Anwendung. IEEE Transactions on Sample Evaluation and Machine Intelligence, 46(8), 5362–5383.

(4) Eli Verwimp, Rahaf Aljundi, Shai Ben-David, Matthias Bethge, Andrea Cossu, Alexander Gepperth, Tyler L. Hayes, Eyke Hüllermeier, Christopher Kanan, Dhireesha Kudithipudi, Christoph H. Lampert, Martin Mundt, Razvan Pascanu, Adrian Popescu , Andreas S. Tolias, Joost van de Weijer, Bing Liu, Vincenzo Lomonaco, Tinne Tuytelaars und Gido M. van de Ven. (2024). Kontinuierliches Lernen: Anwendungen und der Weg in die Zukunft https://arxiv.org/abs/2311.11908

(5) Awasthi, A., & Sarawagi, S. (2019). Kontinuierliches Lernen mit neuronalen Netzwerken: Ein Überblick. In Proceedings der gemeinsamen internationalen Konferenz von ACM India zu Datenwissenschaft und Datenmanagement (S. 362–365). Vereinigung für Rechenmaschinen.

(6) Saurabh Garg, Mehrdad Farajtabar, Hadi Pouransari, Raviteja Vemulapalli, Sachin Mehta, Oncel Tuzel, Vaishaal Shankar und Fartash Faghri. (2024). TiC-CLIP: Kontinuierliches Coaching von CLIP-Modellen.