Was kommt nach Transformers? Google Analysis schlägt eine neue Möglichkeit vor, Sequenzmodellen mit Titans und MIRAS ein nutzbares Langzeitgedächtnis zu verleihen und gleichzeitig das Coaching parallel und die Inferenz nahezu linear zu halten.

Titans ist eine konkrete Architektur, die einem Rückgrat im Transformer-Stil ein tiefes neuronales Gedächtnis hinzufügt. MIRAS ist ein allgemeines Framework, das die meisten modernen Sequenzmodelle als Instanzen der On-line-Optimierung über einen assoziativen Speicher betrachtet.

Warum Titanen und MIRAS?

Normal-Transformer verwenden Aufmerksamkeit gegenüber einem Schlüsselwert-Cache. Dies ermöglicht ein starkes Kontextlernen, aber die Kosten steigen quadratisch mit der Kontextlänge, sodass der praktische Kontext selbst mit FlashAttention und anderen Kernel-Tips begrenzt ist.

Effiziente lineare rekurrente neuronale Netze und Zustandsraummodelle wie Mamba-2 komprimieren den Verlauf in einen Zustand fester Größe, sodass die Kosten linear in der Sequenzlänge sind. Bei dieser Komprimierung gehen jedoch Informationen in sehr langen Sequenzen verloren, was Aufgaben wie die Genommodellierung und den extrem langen Kontextabruf beeinträchtigt.

Titans und MIRAS kombinieren diese Ideen. Die Aufmerksamkeit fungiert als präzises Kurzzeitgedächtnis für das aktuelle Fenster. Ein separates neuronales Modul stellt das Langzeitgedächtnis bereit, lernt zum Testzeitpunkt und ist so trainiert, dass seine Dynamik auf Beschleunigern parallelisierbar ist.

Titans, ein neuronales Langzeitgedächtnis, das bei Prüfungen lernt

Der Titans-Forschungspapier führt ein neuronales Langzeitgedächtnismodul ein, das selbst ein tiefes mehrschichtiges Perzeptron und kein Vektor- oder Matrixzustand ist. Aufmerksamkeit wird als Kurzzeitgedächtnis interpretiert, da sie nur ein begrenztes Fenster sieht, während das neuronale Gedächtnis als dauerhaftes Langzeitgedächtnis fungiert.

Für jeden Token definiert Titans einen assoziativen Gedächtnisverlust

ℓ(Mₜ₋₁; kₜ, vₜ) = ‖Mₜ₋₁(kₜ) − vₜ‖²

Dabei ist Mₜ₋₁ der aktuelle Speicher, kₜ der Schlüssel und vₜ der Wert. Der Gradient dieses Verlusts in Bezug auf die Speicherparameter ist die „Überraschungsmetrik“. Große Gradienten entsprechen überraschenden Token, die gespeichert werden sollten, kleine Gradienten entsprechen erwarteten Token, die größtenteils ignoriert werden können.

Die Speicherparameter werden zum Testzeitpunkt durch Gradientenabstieg mit Impuls- und Gewichtsabfall aktualisiert, die zusammen als Retention Gate und Vergessensmechanismus fungieren. Um diese On-line-Optimierung effizient zu halten, zeigt das Forschungspapier, wie diese Aktualisierungen mit gestapelten Matrixmultiplikationen über Sequenzblöcke berechnet werden, wodurch das parallele Coaching über lange Sequenzen hinweg erhalten bleibt.

Architektonisch verwendet Titans drei Speicherzweige im Spine, die häufig in der Titans-MAC-Variante vorkommen:

• ein Kernzweig, der Normal-Kontextlernen mit Aufmerksamkeit durchführt
• ein kontextueller Speicherzweig, der aus der aktuellen Sequenz lernt
• ein persistenter Speicherzweig mit festen Gewichtungen, der das Wissen vor dem Coaching kodiert

Das Langzeitgedächtnis komprimiert vergangene Token zu einer Zusammenfassung, die dann als zusätzlicher Kontext an die Aufmerksamkeit weitergegeben wird. Die Aufmerksamkeit kann entscheiden, wann diese Zusammenfassung gelesen werden soll.

Experimentelle Ergebnisse für Titanen

Bei Sprachmodellierungs- und Frequent-Sense-Argumentation-Benchmarks wie C4, WikiText und HellaSwag übertreffen Titans-Architekturen die hochmodernen linearen rekurrenten Basislinien-Modelle Mamba-2 und Gated DeltaNet und Transformer++ vergleichbarer Größe. Die Google-Forschung führt dies auf die höhere Ausdruckskraft des Deep Reminiscence und seine Fähigkeit zurück, die Leistung bei zunehmender Kontextlänge aufrechtzuerhalten. Tiefe neuronale Erinnerungen mit dem gleichen Parameterbudget, aber höherer Tiefe führen zu einer durchweg geringeren Ratlosigkeit.

Für die Erinnerung an extrem lange Kontexte verwendet das Forschungsteam den BABILong-Benchmark, bei dem Fakten auf sehr lange Dokumente verteilt werden. Titans übertrifft alle Basismodelle, einschließlich sehr großer Modelle wie GPT-4, verwendet dabei viel weniger Parameter und lässt sich auf Kontextfenster über 2.000.000 Token skalieren.

Das Forschungsteam berichtet, dass Titans ein effizientes paralleles Coaching und schnelle lineare Schlussfolgerungen ermöglicht. Das neuronale Gedächtnis allein ist etwas langsamer als die schnellsten linearen wiederkehrenden Modelle, aber Hybrid-Titans-Schichten mit Sliding Window Consideration bleiben beim Durchsatz konkurrenzfähig und verbessern gleichzeitig die Genauigkeit.

MIRAS, ein einheitliches Framework für Sequenzmodelle als assoziatives Gedächtnis

Das MIRAS-Forschungspapier, „Alles hängt zusammen: Eine Reise durch das Auswendiglernen von Testzeiten, Aufmerksamkeitsverzerrung, Merkfähigkeit und On-line-Optimierung.“„verallgemeinert diese Ansicht. Es stellt fest, dass moderne Sequenzmodelle als assoziative Erinnerungen betrachtet werden können, die Schlüssel zu Werten abbilden und gleichzeitig Lernen und Vergessen in Einklang bringen.

MIRAS definiert jedes Sequenzmodell durch vier Designoptionen:

1. Speicherstruktur zum Beispiel ein Vektor, eine lineare Karte oder MLP
2. Aufmerksamkeitsdefizit der interne Verlust, der definiert, welche Ähnlichkeiten die Erinnerung interessiert
3. Rückhaltetor der Regularisierer, der den Speicher nahe seinem früheren Zustand hält
4. Speicheralgorithmus Bei der On-line-Optimierungsregel kommt es häufig zu einem Gradientenabstieg mit Schwung

Mithilfe dieser Linse stellt MIRAS mehrere Familien wieder her:

• Lineare wiederkehrende Modelle im Hebbian-Stil und RetNet als Skalarprodukt-basierte assoziative Erinnerungen
• Delta-Regelmodelle wie DeltaNet und Gated DeltaNet als MSE-basierte Speicher mit Wertersatz und spezifischen Retention Gates
• Titans LMM als nichtlinearer MSE-basierter Speicher mit lokaler und globaler Aufbewahrung, optimiert durch Gradientenabstieg mit Impuls

Entscheidend ist, dass MIRAS dann über die üblichen MSE- oder Dot-Product-Ziele hinausgeht. Das Forschungsteam konstruiert neue Aufmerksamkeitsverzerrungen auf der Grundlage von Lₚ-Normen, robustem Huber-Verlust und robuster Optimierung sowie neue Retention Gates auf der Grundlage von Divergenzen über Wahrscheinlichkeitsvereinfachungen, elastischer Netzregularisierung und Bregman-Divergenz.

Ausgehend von diesem Designraum instanziiert das Forschungsteam drei aufmerksamkeitsfreie Modelle:

• Moneta verwendet einen 2-Schicht-MLP-Speicher mit Lₚ-Aufmerksamkeitsverzerrung und einem hybriden Retention-Gate basierend auf allgemeinen Normen
• Yaad verwendet den gleichen MLP-Speicher mit Huber-Verlust-Aufmerksamkeitsfehler und einem Vergessenstor im Zusammenhang mit Titans
• Memora verwendet Regressionsverlust als Aufmerksamkeitsverzerrung und ein auf KL-Divergenz basierendes Retention-Gate über einem Wahrscheinlichkeits-Simplex-Speicher.

Diese MIRAS-Varianten ersetzen Aufmerksamkeitsblöcke in einem Grundgerüst im Lama-Stil, verwenden in der Tiefe trennbare Windungen in der Miras-Schicht und können in Hybridmodellen mit Sliding Window Consideration kombiniert werden. Das Coaching bleibt parallel, indem Sequenzen aufgeteilt und Gradienten in Bezug auf den Speicherzustand des vorherigen Blocks berechnet werden.

In Forschungsexperimenten erreichen oder übertreffen Moneta, Yaad und Memora starke lineare wiederkehrende Modelle und Transformer++ in Bezug auf Sprachmodellierung, vernünftiges Denken und abrufintensive Aufgaben, während gleichzeitig die lineare Zeitinferenz beibehalten wird.

Wichtige Erkenntnisse

1. Titans führt ein tiefes neuronales Langzeitgedächtnis ein, das zum Zeitpunkt der Prüfung lerntwobei der Gradientenabstieg bei einem assoziativen L2-Speicherverlust verwendet wird, sodass das Modell selektiv nur überraschende Token speichert und gleichzeitig Aktualisierungen auf Beschleunigern parallelisierbar hält.
2. Titans kombiniert Aufmerksamkeit mit neuronalem Gedächtnis für lange KontexteDabei werden Zweige wie der Kern, das Kontextgedächtnis und das persistente Gedächtnis verwendet, damit die Aufmerksamkeit die Präzision im Nahbereich verarbeitet und das neuronale Modul Informationen über Sequenzen über 2.000.000 Token hinweg verwaltet.
3. Titans übertrifft starke lineare RNNs und Transformer++-Basislinieneinschließlich Mamba-2 und Gated DeltaNet, zu Sprachmodellierungs- und Frequent-Sense-Argumentation-Benchmarks auf vergleichbaren Parameterskalen, während sie gleichzeitig beim Durchsatz wettbewerbsfähig bleiben.
4. Bei extrem langen Kontext-Recall-Benchmarks wie BABILongTitans erreicht eine höhere Genauigkeit als alle Basislinien, einschließlich größerer Aufmerksamkeitsmodelle wie GPT 4, verwendet dabei weniger Parameter und ermöglicht dennoch effizientes Coaching und Inferenz.
5. MIRAS bietet einen vereinheitlichenden Rahmen für Sequenzmodelle als assoziative Erinnerungenindem es sie durch Speicherstruktur, Aufmerksamkeitsverzerrung, Retention Gate und Optimierungsregel definiert und neue aufmerksamkeitsfreie Architekturen wie Moneta, Yaad und Memora hervorbringt, die linearen RNNs und Transformer++ bei langen Kontext- und Argumentationsaufgaben entsprechen oder diese übertreffen.

---

Schauen Sie sich das an Technische Particulars. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Im Kontext von Sprachmodellen und agentenbasierter KI sind Gedächtnis und Erdung wichtige und aufstrebende Forschungsfelder. Und obwohl sie in einem Satz oft eng nebeneinander stehen und oft miteinander verbunden sind, erfüllen sie in der Praxis unterschiedliche Funktionen. In diesem Artikel möchte ich die Verwirrung um diese beiden Begriffe aufklären und zeigen, welche Rolle das Gedächtnis bei der allgemeinen Erdung eines Modells spielen kann.

In meinem letzten Artikel haben wir über die Wichtige Rolle des Gedächtnisses in der agentenbasierten KI. Das Gedächtnis in Sprachmodellen bezieht sich auf die Fähigkeit von KI-Systemen, relevante Informationen zu behalten und abzurufen, was zu ihrer Fähigkeit beiträgt, logisch zu denken und kontinuierlich aus ihren Erfahrungen zu lernen. Das Gedächtnis kann in vier Kategorien eingeteilt werden: Kurzzeitgedächtnis, Langzeitgedächtnis, Langzeitgedächtnis und Arbeitsgedächtnis.

Das klingt kompliziert, aber lassen Sie es uns einfach aufschlüsseln:

Kurzzeitgedächtnis (KZG):

Das KTM speichert Informationen für einen sehr kurzen Zeitraum, der Sekunden bis Minuten betragen kann. Wenn Sie einem Sprachmodell eine Frage stellen, muss es Ihre Nachrichten lange genug speichern, um eine Antwort auf Ihre Frage zu generieren. Genau wie Menschen haben Sprachmodelle Schwierigkeiten, sich zu viele Dinge gleichzeitig zu merken.

Millers Gesetzbesagt, dass „das Kurzzeitgedächtnis ein Bestandteil des Gedächtnisses ist, der eine kleine Menge an Informationen in einem aktiven, leicht verfügbaren Zustand für einen kurzen Zeitraum, typischerweise einige Sekunden bis eine Minute, speichert. Die Dauer des Kurzzeitgedächtnisses scheint zwischen 15 und 30 Sekunden zu liegen, und die Kapazität des Kurzzeitgedächtnisses ist begrenzt und wird oft auf etwa 7±2 Elemente geschätzt.“

Wenn Sie additionally ein Sprachmodell fragen: „Zu welchem ​​Style gehört das Buch, das ich in meiner vorherigen Nachricht erwähnt habe?“, muss es sein Kurzzeitgedächtnis nutzen, um auf aktuelle Nachrichten zu verweisen und eine relevante Antwort zu generieren.

Implementierung:

Der Kontext wird in externen Systemen gespeichert, beispielsweise in Sitzungsvariablen oder Datenbanken, die einen Teil des Konversationsverlaufs enthalten. Jede neue Benutzereingabe und Assistentenantwort wird an den vorhandenen Kontext angehängt, um einen Konversationsverlauf zu erstellen. Während der Inferenz wird der Kontext zusammen mit der neuen Abfrage des Benutzers an das Sprachmodell gesendet, um eine Antwort zu generieren, die die gesamte Konversation berücksichtigt. Dies Forschungsbericht bietet einen tieferen Einblick in die Mechanismen, die das Kurzzeitgedächtnis ermöglichen.

Kurz- und Langzeitgedächtnis (SLTM):

SLTM speichert Informationen für einen moderaten Zeitraum, der von Minuten bis Stunden reichen kann. Beispielsweise können Sie innerhalb derselben Sitzung dort weitermachen, wo Sie in einem Gespräch aufgehört haben, ohne den Kontext wiederholen zu müssen, da er als SLTM gespeichert wurde. Dieser Prozess ist auch ein externer Prozess und kein Teil des Sprachmodells selbst.

Implementierung:

Sitzungen können mithilfe von Kennungen verwaltet werden, die Benutzerinteraktionen im Laufe der Zeit verknüpfen. Kontextdaten werden so gespeichert, dass sie über Benutzerinteraktionen hinweg innerhalb eines definierten Zeitraums bestehen bleiben, z. B. in einer Datenbank. Wenn ein Benutzer die Konversation fortsetzt, kann das System den Konversationsverlauf aus vorherigen Sitzungen abrufen und ihn während der Inferenz an das Sprachmodell weitergeben. Ähnlich wie beim Kurzzeitgedächtnis wird jede neue Benutzereingabe und jede Assistentenantwort an den vorhandenen Kontext angehängt, um den Konversationsverlauf aktuell zu halten.

Langzeitgedächtnis (LTM):

LTM speichert Informationen für einen vom Administrator festgelegten Zeitraum, der unbegrenzt sein kann. Wenn wir beispielsweise einen KI-Tutor entwickeln würden, wäre es für das Sprachmodell wichtig zu verstehen, in welchen Fächern der Schüler gute Leistungen erbringt, wo er noch Schwierigkeiten hat, welche Lernstile für ihn am besten geeignet sind und vieles mehr. Auf diese Weise kann das Modell relevante Informationen abrufen, um seine zukünftigen Unterrichtspläne zu erstellen. Eichhörnchen-KI ist ein Beispiel für eine Plattform, die das Langzeitgedächtnis nutzt, um „personalisierte Lernpfade zu erstellen, gezielt zu unterrichten und bei Bedarf emotionale Interventionen bereitzustellen“.

Implementierung:

Informationen können in strukturierten Datenbanken, Wissensgraphen oder Dokumentspeichern gespeichert werden, die bei Bedarf abgefragt werden. Relevante Informationen werden basierend auf der aktuellen Interaktion und dem bisherigen Verlauf des Benutzers abgerufen. Dies bietet Kontext für das Sprachmodell, das mit der Antwort des Benutzers oder der Systemaufforderung zurückgegeben wird.

Arbeitsspeicher:

Der Arbeitsspeicher ist eine Komponente des Sprachmodells selbst (im Gegensatz zu den anderen Speichertypen, die externe Prozesse sind). Er ermöglicht es dem Sprachmodell, Informationen zu speichern, zu bearbeiten und zu verfeinern – und verbessert so die Denkfähigkeit des Modells. Dies ist wichtig, da sich das Verständnis der Aufgabe und die Schritte, die es zur Ausführung unternehmen muss, während das Modell die Anfrage des Benutzers verarbeitet, ändern kann. Sie können sich den Arbeitsspeicher als Notizblock des Modells für seine Gedanken vorstellen. Wenn beispielsweise ein mehrstufiges mathematisches Downside wie (5 + 3) * 2 vorliegt, muss das Sprachmodell in der Lage sein, die (5+3) in den Klammern zu berechnen und diese Informationen zu speichern, bevor die Summe der beiden Zahlen mit 2 multipliziert wird. Wenn Sie sich tiefer mit diesem Thema befassen möchten, finden Sie die Papier „TransformerFAM: Suggestions consideration is working reminiscence“ bietet einen neuen Ansatz zur Erweiterung des Arbeitsgedächtnisses und ermöglicht es einem Sprachmodell, Eingaben/Kontextfenster unbegrenzter Länge zu verarbeiten.

Implementierung:

Mechanismen wie Aufmerksamkeitsebenen in Transformatoren oder versteckte Zustände in rekurrierenden neuronalen Netzwerken (RNNs) sind für die Aufrechterhaltung von Zwischenberechnungen verantwortlich und bieten die Möglichkeit, Zwischenergebnisse innerhalb derselben Inferenzsitzung zu manipulieren. Während das Modell Eingaben verarbeitet, aktualisiert es seinen internen Zustand, was stärkere Denkfähigkeiten ermöglicht.

Alle vier Speichertypen sind wichtige Komponenten für die Erstellung eines KI-Methods, das Informationen über verschiedene Zeiträume und Kontexte hinweg effektiv verwalten und nutzen kann.

Die Antworten eines Sprachmodells sollten im Kontext des Gesprächs immer Sinn ergeben – sie sollten nicht nur aus einer Ansammlung von Tatsachenbehauptungen bestehen.. Grounding misst die Fähigkeit eines Modells, eine Ausgabe zu produzieren, die kontextbezogen related und sinnvoll ist. Der Prozess des Grounding eines Sprachmodells kann eine Kombination aus Sprachmodelltraining, Feinabstimmung und externen Prozessen (einschließlich Gedächtnis!) sein.

Coaching und Feinabstimmung des Sprachmodells

Die Daten, mit denen das Modell anfangs trainiert wird, machen einen wesentlichen Unterschied darin, wie fundiert das Modell ist. Das Coaching eines Modells mit einem großen Korpus unterschiedlicher Daten ermöglicht es ihm, Sprachmuster, Grammatik und Semantik zu lernen, um das nächste relevante Wort vorherzusagen. Das vorab trainierte Modell wird dann anhand domänenspezifischer Daten feinabgestimmt, was ihm hilft, relevantere und genauere Ergebnisse für bestimmte Anwendungen zu generieren, die tieferes domänenspezifisches Wissen erfordern. Dies ist besonders wichtig, wenn das Modell bei bestimmten Texten, mit denen es während seines anfänglichen Trainings möglicherweise nicht konfrontiert wurde, gute Ergebnisse erzielen soll. Obwohl unsere Erwartungen an die Fähigkeiten eines Sprachmodells hoch sind, können wir nicht erwarten, dass es bei etwas, das es noch nie zuvor gesehen hat, gute Ergebnisse erzielt. Genauso wie wir von einem Schüler nicht erwarten würden, dass er bei einer Prüfung intestine abschneidet, wenn er den Stoff nicht gelernt hat.

Externer Kontext

Wenn Sie das Modell mit kontextspezifischen Echtzeitinformationen oder aktuellen Informationen versorgen, bleibt es auch auf dem Boden der Tatsachen. Dafür gibt es viele Methoden, beispielsweise die Integration mit externen Wissensdatenbanken, APIs und Echtzeitdaten. Diese Methode wird auch als Retrieval Augmented Era (RAG) bezeichnet.

Speichersysteme

Gedächtnissysteme in der KI spielen eine entscheidende Rolle dabei, sicherzustellen, dass das System auf der Grundlage seiner zuvor ausgeführten Aktionen, gewonnenen Erkenntnisse, seiner Leistung im Laufe der Zeit und seiner Erfahrungen mit Benutzern und anderen Systemen geerdet bleibt. Die vier zuvor im Artikel beschriebenen Gedächtnistypen spielen eine entscheidende Rolle dabei, die Fähigkeit eines Sprachmodells zu erden, kontextbewusst zu bleiben und relevante Ergebnisse zu liefern. Gedächtnissysteme arbeiten Hand in Hand mit Erdungstechniken wie Coaching, Feinabstimmung und externer Kontextintegration, um die Gesamtleistung und Relevanz des Modells zu verbessern.

Gedächtnis und Erdung sind miteinander verbundene Elemente, die die Leistung und Zuverlässigkeit von KI-Systemen verbessern. Während das Gedächtnis es der KI ermöglicht, Informationen über verschiedene Zeiträume hinweg zu behalten und zu verarbeiten, stellt die Erdung sicher, dass die Ausgaben der KI kontextbezogen related und aussagekräftig sind. Durch die Integration von Gedächtnissystemen und Erdungstechniken können KI-Systeme ein höheres Maß an Verständnis und Effektivität bei ihren Interaktionen und Aufgaben erreichen.