Bis zum heutigen Tag erinnere ich mich, dass ich in unserer Kursarbeit wiederkehrende neuronale Netzwerke gestoßen habe. Sequenzdaten erregen Sie zunächst, aber dann setzt Verwirrung bei der Unterscheidung zwischen den mehreren Architekturen ein. Ich fragte meinen Berater: „Soll ich ein LSTM oder eine Gru für dieses NLP -Projekt verwenden?“ Seine vorzeitige „Es kommt darauf an“ nichts, um meine Verwirrung zu beurteilen. Nach vielen Experimenten und unzähligen Projekten hat mein Verständnis in Bezug auf die vorbildlichen Bedingungen für jede Architektur erheblich gereift. Wenn Sie mit einer ähnlichen Entscheidung konfrontiert sind, haben Sie Ihren Platz gefunden. Lassen Sie uns LSTMS und GRUS ausführlich untersuchen, um Ihnen bei der Entscheidung für Ihr nächstes Projekt zu helfen.

LSTM -Architektur: Speicher mit feiner Kontrolle

Langes Kurzzeitgedächtnis (LSTM) Networks entstanden 1997 als Lösung für das verschwindende Gradientenproblem in traditionellen RNNs. Ihre Architektur dreht sich um eine Speicherzelle, die Informationen über lange Zeiträume aufrechterhalten kann, die von drei Toren regiert werden:

1. Vergessen Sie Tor: Entscheidet, welche Informationen aus dem Zellzustand abwerfen sollen
2. Eingabetor: Entscheidet, welche Werte aktualisiert werden sollen
3. Ausgangstor: Steuert, welche Teile des Zellzustands ausgegeben werden

Diese Tore geben LSTMs eine bemerkenswerte Kontrolle über den Informationsfluss und ermöglichen es ihnen, langfristige Abhängigkeiten in Sequenzen zu erfassen.

Gru Architektur: Elegante Einfachheit

Gated Recurrent Items (GRUS), die 2014 eingeführt wurde, rationalisieren das LSTM -Design gleichzeitig und halten Sie einen Großteil seiner Wirksamkeit beibehalten. Grus Function nur zwei Tore:

1. Tor zurücksetzen: Bestimmt, wie man neue Eingaben mit vorherigen Speicher kombiniert
2. Replace Gate: Kontrolliert, welche Informationen von früheren Schritten abgehalten werden sollen und was aktualisiert werden soll

Diese vereinfachte Architektur macht Grus rechnerisch leichter, während er sich gleichzeitig mit dem verschwundenen Gradientenproblem effektiv befasst.

Leistungsvergleiche: Wenn jede Architektur glänzt

Recheneffizienz

Grus gewinnen für:

• Projekte mit begrenzten Rechenressourcen
• Echtzeit-Anwendungen, bei denen Inferenzgeschwindigkeit wichtig ist
• Bereitstellungen für cell oder Edge Computing
• Größere Chargen und längere Sequenzen auf fester {Hardware}

Die Zahlen sprechen für sich: Grus Trainieren Sie in der Regel 20-30% schneller als äquivalente LSTM-Modelle aufgrund ihrer einfacheren internen Struktur und weniger Parametern. Während eines kürzlich durchgeführten Textklassifizierungsprojekts zu Verbraucherüberprüfungen beobachtete ich Trainingszeiten von 3,2 Stunden für ein LSTM -Modell gegenüber 2,4 Stunden für eine vergleichbare GRU für dieselbe {Hardware} – ein sinnvoller Unterschied, wenn Sie mehrere experimentelle Designs durchführen.

Umgang mit langen Sequenzen

LSTMS gewinnen für:

• Sehr lange Sequenzen mit komplexen Abhängigkeiten
• Aufgaben, die eine präzise Speicherkontrolle erfordern
• Probleme, bei denen das Vergessen spezifischer Informationen kritisch ist

Nach meiner Erfahrung mit Finanzzeitreihen, die mehrere Jahre täglicher Daten umfassen, übertrafen LSTMs den Grus, wenn sie Tendencies prognostizierten, die von saisonalen Mustern ab mehr als 6 Monaten abhing. Die separate Speicherzelle in LSTMS bietet eine zusätzliche Kapazität, um wichtige Informationen über längere Zeiträume aufrechtzuerhalten.

Trainingsstabilität

Grus gewinnen für:

• Kleinere Datensätze, bei denen Überanpassung ein Downside darstellt
• Projekte, die eine schnellere Konvergenz erfordern
• Anwendungen, bei denen das Hyperparameter -Tuning -Finances begrenzt ist

Ich habe festgestellt, dass Grus während des Trainings oft schneller konvergiert und manchmal in 25% weniger Epochen als LSTMs eine akzeptable Leistung erzielt. Dies macht experimentelle Zyklen schneller und produktiver.

Modellgröße und Bereitstellung

Grus gewinnen für:

• Umgebungen von Gedächtnisbeschränken
• Modelle, die an Kunden geliefert werden müssen
• Anwendungen mit strengen Latenzanforderungen

Ein produktionsbereites LSTM-Sprachmodell I, das für eine Kundendienstanwendung erstellt wurde, benötigte 42 MB Speicher, während die GRU-Model nur 31 MB benötigte-eine Reduzierung von 26%, die die Bereitstellung für Edge-Geräte erheblich praktischer machte.

Aufgabenspezifische Überlegungen

Verarbeitung natürlicher Sprache

Bei den meisten NLP-Aufgaben mit moderaten Sequenzlängen (20-100 Token) können Grus beim schnelleren Coaching häufig gleich oder besser als LSTMs abschneiden. Bei Aufgaben, die eine sehr lange Dokumentanalyse oder ein komplexes Sprachverständnis beinhalten, können LSTMs jedoch einen Vorteil haben.

Während eines kürzlich durchgeführten Projekts zur Analyse von Sentiment fand mein Staff praktisch identische F1 -Scores zwischen den GRU- und LSTM -Modellen (0,91 gegenüber 0,92), aber der GRu -trainierte in ungefähr 70% der Fälle.

Zeitreihenprognose

Für die Prognose mit mehreren saisonalen Mustern oder sehr langfristigen Abhängigkeiten tendieren LSTMs tendenziell aus. Ihre explizite Speicherzelle hilft, komplexe zeitliche Muster zu erfassen.

In einem Prognoseprognoseprognose für Einzelhandelsbedarf reduzierte LSTMS den Vorhersagefehler um 8% im Vergleich zu Grus bei der Arbeit mit 2+ Jahren täglicher Verkaufsdaten mit wöchentlicher, monatlicher und jährlicher Saisonalität.

Spracherkennung

Bei Spracherkennungsanwendungen mit moderaten Sequenzlängen funktionieren Grus häufig besser, vergleichbar mit LSTMs und gleichzeitig rechnerisch effizienter.

Beim Aufbau eines Schlüsselwort-Recognizing-Methods erreichte meine GRU-Implementierung eine Genauigkeit von 96,2% gegenüber 96,8% für das LSTM, jedoch mit 35% schnellerer Schlussfolgerung-ein Kompromiss, der sich für die Echtzeitanwendung lohnt.

Praktischer Entscheidungsrahmen

Betrachten Sie bei der Entscheidung zwischen LSTMS und GRUS die folgenden Fragen:

1. Ressourcenbeschränkungen: Sind Sie durch Berechnungs-, Speicher- oder Bereitstellungsanforderungen begrenzt?
   • Wenn ja → Grus betrachten
   • Wenn keine → eine der Architektur funktionieren kann
2. Sequenzlänge: Wie lange dauert Ihre Eingabebedingungen?
   • Kurz bis mittel (<100 Schritte) → Grus oft ausreichend
   • Sehr lang (Hunderte oder Tausende von Schritten) → LSTMs können besser abschneiden
3. Problemkomplexität: Battet Ihre Aufgabe sehr komplexe zeitliche Abhängigkeiten?
   • Einfache bis mäßige Komplexität → Grus wahrscheinlich angemessen
   • Hochkomplexe Muster → LSTMs können einen Vorteil haben
4. Datensatzgröße: Wie viel Trainingsdaten haben Sie?
   • Begrenzte Daten → Grus könnten besser verallgemeinern
   • Viele Daten → Beide Architekturen können intestine funktionieren
5. Experimentierbudget: Wie viel Zeit haben Sie für die Modellentwicklung?
   • Begrenzte Zeit → Beginnen Sie mit Grus für eine schnellere Iteration
   • Ausreichende Zeit → Testen Sie beide Architekturen

Hybridansätze und moderne Alternativen

Die LSTM vs. Gru -Debatte verpasst manchmal einen wichtigen Punkt: Sie sind nicht darauf beschränkt, nur eine zu verwenden! In mehreren Projekten habe ich Erfolg mit hybriden Ansätzen gefunden:

• Verwenden von GRU für Codierung und LSTMs für die Dekodierung in Sequenz-zu-Sequenz-Modellen
• Stapeln verschiedener Schichttypen (z. B. Gru -Ebenen für die anfängliche Verarbeitung, gefolgt von einer LSTM -Schicht für die endgültige Speicherintegration)
• Ensemble -Methoden, die Vorhersagen aus beiden Architekturen kombinieren

Es ist auch erwähnenswert NLP Aufgaben, obwohl wiederkehrende Modelle für die Zeitreihenanalyse und Szenarien, in denen Aufmerksamkeitsmechanismen rechenintensiv sind, von hoher Relevanz sind.

Abschluss

Das Verständnis ihrer relativen Stärken sollte Ihnen helfen, das richtige für Ihren Anwendungsfall auszuwählen. Meine Richtlinie wäre, Grus zu verwenden, da sie einfacher und effizienter sind und nur dann zu LSTMs umsteigen, wenn es Hinweise darauf gibt, dass sie die Leistung für Ihre Anwendung verbessern würden.

Oft bewirken gute Function -Engineering, Datenvorverarbeitung und Regularisierungsregelmäßigkeit mehr Einfluss auf die Modellleistung als die bloße Auswahl der Architektur zwischen beiden. Verbringen Sie additionally Ihre Zeit damit, sofortige Fakten zu erhalten, bevor Sie sich Sorgen darüber machen, ob LSTM oder Gru verwendet wird. Beachten Sie in beiden Fällen, wie die Entscheidung getroffen wurde und was die Experimente ergeben. Ihr zukünftiges Selbst (und Teamkollegen) wird es Ihnen danken, wenn Sie Monate später über das Projekt zurückblicken!

Bild vom Autor

LSTMs wurden ursprünglich in den frühen 1990er Jahren von Autoren eingeführt Sepp Hochreiter Und Jürgen Schmidhuber. Das ursprüngliche Modell struggle extrem rechenintensiv und erst Mitte der 2010er Jahre erlangten RNNs und LSTMs Aufmerksamkeit. Da mehr Daten und bessere GPUs verfügbar waren, wurden LSTM-Netzwerke zur Standardmethode für die Sprachmodellierung und zum Rückgrat für das erste große Sprachmodell. Das struggle bis zur Veröffentlichung von so Aufmerksamkeitsbasierte Transformatorarchitektur im Jahr 2017. LSTMs wurden nach und nach von der Transformer-Architektur übertroffen, die heute der Normal für alle neueren großen Sprachmodelle, einschließlich ChatGPT, Mistral und Llama, ist.

Die jüngste Veröffentlichung des xLSTM-Papier vom ursprünglichen LSTM-Autor Sepp Hochreiter hat in der Forschungsgemeinschaft für großes Aufsehen gesorgt. Die Ergebnisse zeigen vergleichbare Ergebnisse vor dem Coaching mit den neuesten LLMs und es stellt sich die Frage, ob LSTMs erneut die Verarbeitung natürlicher Sprache übernehmen können.

Übersicht über die Excessive-Degree-Architektur

Das ursprüngliche LSTM-Netzwerk hatte einige wesentliche Einschränkungen, die seine Verwendbarkeit für größere Kontexte und tiefere Modelle einschränkten. Nämlich:

• LSTMs waren sequentielle Modelle, die es schwierig machten, Coaching und Inferenz zu parallelisieren.
• Sie verfügten über begrenzte Speicherkapazitäten und alle Informationen mussten in einem einzigen Zellenzustand komprimiert werden.

Das jüngste xLSTM-Netzwerk führt neue sLSTM- und mLSTM-Blöcke ein, um diese beiden Mängel zu beheben. Werfen wir einen Blick aus der Vogelperspektive auf die Modellarchitektur und sehen uns den Ansatz der Autoren an.

Kurzer Rückblick auf Authentic LSTM

Das LSTM-Netzwerk nutzte einen verborgenen Zustand und einen Zellenzustand, um dem Drawback des verschwindenden Gradienten in den Vanilla-RNN-Netzwerken entgegenzuwirken. Sie fügten außerdem die Vergessens-, Eingabe- und Ausgabe-Sigmoid-Gatter hinzu, um den Informationsfluss zu steuern. Die Gleichungen lauten wie folgt:

Bild von Papier

Der Zellzustand (ct) durchlief die LSTM-Zelle mit geringfügigen linearen Transformationen, die dazu beitrugen, den Gradienten über große Eingabesequenzen hinweg aufrechtzuerhalten.

Das xLSTM-Modell modifiziert diese Gleichungen in den neuen Blöcken, um die bekannten Einschränkungen des Modells zu beheben.

sLSTM-Block

Der Block modifiziert die Sigmoid-Gatter und verwendet die Exponentialfunktion für das Eingabe- und Vergessen-Gatter. Wie von den Autoren zitiert, kann dies die Speicherprobleme in LSTM verbessern und dennoch mehrere Speicherzellen ermöglichen, die eine Speichermischung innerhalb jedes Kopfes ermöglichen, jedoch nicht kopfübergreifend. Die modifizierte sLSTM-Blockgleichung lautet wie folgt:

Bild von Papier

Da die Exponentialfunktion außerdem große Werte verursachen kann, werden die Gate-Werte mithilfe von Protokollfunktionen normalisiert und stabilisiert.

mLSTM-Block

Um den Parallelisierbarkeits- und Speicherproblemen im LSTM-Netzwerk entgegenzuwirken, ändert xLSTM den Zellzustand von einem eindimensionalen Vektor in eine zweidimensionale quadratische Matrix. Sie speichern eine zerlegte Model als Schlüssel- und Wertvektoren und verwenden dasselbe exponentielle Gating wie der sLSTM-Block. Die Gleichungen lauten wie folgt:

Bild von Papier

Architekturdiagramm

Bild von Papier

Die gesamte xLSTM-Architektur ist eine sequentielle Kombination von mLSTM- und sLSTM-Blöcken in unterschiedlichen Anteilen. Wie das Diagramm zeigt, kann der xLSTM-Block eine beliebige Speicherzelle haben. Die verschiedenen Blöcke werden mit Schichtnormalisierungen zusammengestapelt, um ein tiefes Netzwerk aus Restblöcken zu bilden.

Bewertungsergebnisse und Vergleich

Die Autoren trainieren das xLSTM-Netzwerk auf Sprachmodellaufgaben und vergleichen die Verwirrung (weniger ist besser) des trainierten Modells mit den aktuellen Transformer-basierten LLMs.

Die Autoren trainieren die Modelle zunächst auf 15B-Tokens von SlimPajama. Die Ergebnisse zeigten, dass xLSTM alle anderen Modelle im Validierungssatz mit dem niedrigsten Perplexity-Rating übertrifft.

Bild von Papier

Sequenzlängen-Extrapolation

Die Autoren analysieren auch die Leistung, wenn die Länge der Testzeitsequenz die Kontextlänge überschreitet, auf der das Modell trainiert wurde. Sie trainierten alle Modelle auf einer Sequenzlänge von 2048 und die folgende Grafik zeigt die Validierungsschwierigkeiten bei Änderungen der Token-Place:

Bild von Papier

Die Grafik zeigt, dass xLSTM-Netzwerke auch bei viel längeren Sequenzen einen stabilen Perplexity-Rating beibehalten und bei viel längeren Kontextlängen eine bessere Leistung als jedes andere Modell erbringen.

Skalierung von xLSMT auf größere Modellgrößen

Die Autoren trainieren das Modell weiter mit 300B-Tokens aus dem SlimPajama-Datensatz. Die Ergebnisse zeigen, dass xLSTM selbst bei größeren Modellgrößen besser skaliert als die aktuelle Transformer- und Mamba-Architektur.

Bild von Papier

Zusammenfassung

Das struggle vielleicht schwer zu verstehen und das ist in Ordnung! Nichtsdestotrotz sollten Sie jetzt verstehen, warum dieser Forschungsbericht in letzter Zeit die ganze Aufmerksamkeit auf sich gezogen hat. Es hat sich gezeigt, dass es mindestens genauso intestine funktioniert wie die jüngsten großen Sprachmodelle, wenn nicht sogar besser. Es ist nachweislich für größere Modelle skalierbar und kann ein ernstzunehmender Konkurrent für alle neueren LLMs sein, die auf Transformers basieren. Nur die Zeit wird zeigen, ob LSTMs ihren Glanz wiedererlangen werden, aber im Second wissen wir, dass die xLSTM-Architektur hier ist, um die Überlegenheit der renommierten Transformers-Architektur herauszufordern.

Kanwal Mehreen Kanwal ist Ingenieur für maschinelles Lernen und technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Technology Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Variety in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.