Es gibt viele gute Ressourcen, die die Transformatorarchitektur on-line erklären, aber Einbettung der Drehposition (RoPE) wird oft schlecht erklärt oder ganz übersprungen.

RoPE wurde erstmals in dem Artikel vorgestellt RoFormer: Verbesserter Transformator mit Rotationspositionseinbettungund während die beteiligten mathematischen Operationen relativ einfach sind – hauptsächlich Rotationsmatrix und Matrixmultiplikationen – liegt die eigentliche Herausforderung darin, die Instinct hinter ihrer Funktionsweise zu verstehen. Ich werde versuchen, eine Möglichkeit zu bieten, zu veranschaulichen, was es mit Vektoren macht, und zu erklären, warum dieser Ansatz so effektiv ist.

Ich gehe davon aus, dass Sie in diesem Beitrag über ein grundlegendes Verständnis von Transformatoren und dem Aufmerksamkeitsmechanismus verfügen.

RoPE-Instinct

Da es Transformatoren an inhärentem Verständnis für Ordnung und Abstände mangelt, entwickelten Forscher Positionseinbettungen. Folgendes sollten Positionseinbettungen bewirken:

• Näher beieinander liegende Token sollten eine höhere Gewichtung haben, während entfernte Token eine niedrigere Gewichtung haben sollten.

• Die Place innerhalb einer Sequenz sollte keine Rolle spielen, d. h. wenn zwei Wörter nahe beieinander liegen, sollten sie einander mit höherer Gewichtung folgen, unabhängig davon, ob sie am Anfang oder am Ende einer langen Sequenz stehen.

• Um diese Ziele zu erreichen, relative Positionseinbettungen sind weitaus nützlicher als absolute Positionseinbettungen.

Wichtige Erkenntnisse: LLMs sollten sich auf die relativen Positionen zwischen zwei Token konzentrieren, was für die Aufmerksamkeit wirklich wichtig ist.

Wenn Sie diese Konzepte verstehen, haben Sie bereits die Hälfte geschafft.

Vor RoPE

Die ursprünglichen Positionseinbettungen aus der wegweisenden Arbeit Aufmerksamkeit ist alles, was Sie brauchen wurden durch eine Gleichung in geschlossener Type definiert und dann in die semantischen Einbettungen eingefügt. Das Mischen von Positions- und Semantiksignalen im verborgenen Zustand warfare keine gute Idee. Spätere Untersuchungen bestätigten, dass LLMs Positionen eher merken (überanpassen) als verallgemeinern, was zu einer schnellen Verschlechterung führt, wenn die Sequenzlängen die Trainingsdaten überschreiten. Aber die Verwendung einer Formel in geschlossener Type macht Sinn, sie ermöglicht uns, sie auf unbestimmte Zeit zu erweitern, und RoPE macht etwas Ähnliches.

Eine Strategie, die sich im frühen Deep Studying als erfolgreich erwiesen hat, warfare: Wenn Sie nicht sicher sind, wie nützliche Funktionen für ein neuronales Netzwerk berechnet werden sollen, lassen Sie das Netzwerk diese selbst lernen! Genau das haben Modelle wie GPT-3 getan – sie haben ihre eigenen Positionseinbettungen gelernt. Die Bereitstellung von zu viel Freiheit erhöht jedoch das Risiko einer Überanpassung und führt in diesem Fall zu harten Einschränkungen für Kontextfenster (Sie können es nicht über Ihr trainiertes Kontextfenster hinaus erweitern).

Die besten Ansätze konzentrierten sich auf die Modifizierung des Aufmerksamkeitsmechanismus, sodass nahegelegene Token höhere Aufmerksamkeitsgewichtungen erhalten, während entfernte Token niedrigere Gewichtungen erhalten. Durch die Isolierung der Positionsinformationen im Aufmerksamkeitsmechanismus bleibt der verborgene Zustand erhalten und bleibt auf die Semantik fokussiert. Diese Techniken versuchten in erster Linie geschickt zu modifizieren Q Und Okay Ihre Skalarprodukte würden additionally die Nähe widerspiegeln. In vielen Artikeln wurden unterschiedliche Methoden ausprobiert, aber RoPE löste das Drawback am besten.

Rotationsintuition

RoPE ändert sich Q Und Okay durch Anwenden von Drehungen auf sie. Eine der schönsten Eigenschaften der Rotation besteht darin, dass sie Vektormodule (Größe) beibehält, die möglicherweise semantische Informationen enthalten.

Lassen q sei die Abfrageprojektion eines Tokens und okay die Schlüsselprojektion eines anderen sein. Für Token, die im Textual content nahe beieinander liegen, wird eine minimale Drehung angewendet, während weit entfernte Token größere Rotationstransformationen durchlaufen.

Stellen Sie sich zwei identische Projektionsvektoren vor – jede Drehung würde sie weiter voneinander entfernen. Genau das wollen wir.

Nun ergibt sich eine möglicherweise verwirrende Scenario: Wenn zwei Projektionsvektoren bereits weit voneinander entfernt sind, kann eine Drehung sie näher zusammenbringen. Das ist nicht was wir wollen! Sie werden gedreht, weil sie im Textual content weit entfernt sind und daher keine hohe Aufmerksamkeitsgewichtung erhalten sollten. Warum funktioniert das immer noch?

• In 2D gibt es nur eine Rotationsebene (xy). Sie können nur im oder gegen den Uhrzeigersinn drehen.

• In 3D gibt es unendlich viele Rotationsebenen, sodass es höchst unwahrscheinlich ist, dass die Rotation zwei Vektoren näher zusammenbringt.

• Moderne Modelle arbeiten in sehr hochdimensionalen Räumen (10.000+ Dimensionen), was dies noch unwahrscheinlicher macht.

Denken Sie daran: Beim Deep Studying zählen Wahrscheinlichkeiten am meisten! Es ist akzeptabel, gelegentlich falsch zu liegen, solange die Wahrscheinlichkeiten gering sind.

Drehwinkel

Der Drehwinkel hängt von zwei Faktoren ab: m Und i. Lassen Sie uns jeden einzelnen untersuchen.

Absolute Place des Tokens m

Die Rotation nimmt mit der absoluten Place des Tokens zu m erhöht sich.

Ich weiß, was Sie denken: „m ist die absolute Place, aber haben Sie nicht gesagt, dass relative Positionen am wichtigsten sind?“

Hier liegt der Zauber: Stellen Sie sich eine 2D-Ebene vor, in der Sie einen Vektor um 𝛼 und einen anderen um β drehen. Der Winkelunterschied zwischen ihnen beträgt 𝛼-β. Die absoluten Werte von 𝛼 und β spielen keine Rolle, nur ihre Differenz. Additionally für zwei Token an Positionen m Und ndie Drehung verändert den Winkel zwischen ihnen proportional zu m-n.

Der Einfachheit halber können wir uns vorstellen, dass wir nur rotieren q (Dies ist mathematisch korrekt, da uns die endgültigen Entfernungen und nicht die Koordinaten wichtig sind.)

Hidden-State-Index i

Anstatt eine gleichmäßige Rotation über alle Dimensionen des verborgenen Zustands hinweg anzuwenden, verarbeitet RoPE jeweils zwei Dimensionen und wendet dabei unterschiedliche Rotationswinkel auf jedes Paar an. Mit anderen Worten: Es zerlegt den langen Vektor in mehrere Paare, die in 2D um verschiedene Winkel gedreht werden können.

Wir drehen verborgene Zustandsdimensionen unterschiedlich – die Drehung ist höher, wenn i ist niedrig (Vektoranfang) und niedriger, wenn i hoch ist (Vektorende).

Diese Operation zu verstehen ist einfach, aber um zu verstehen, warum wir sie brauchen, bedarf es weiterer Erklärungen:

• Dadurch kann das Modell auswählen, was es haben soll kürzere oder längere Einflussbereiche.

• Stellen Sie sich Vektoren in 3D vor (xyz).

• Der x Und y Achsen repräsentieren frühe Dimensionen (niedrig). i), die eine höhere Rotation erfahren. Hauptsächlich auf projizierte Token x Und y Um mit hoher Intensität teilnehmen zu können, muss man sehr nah dran sein.

• Der z Achse, wo i ist höher, rotiert weniger. Hauptsächlich auf projizierte Token z kann auch aus der Ferne teilnehmen.

Diese Struktur fängt komplizierte Nuancen der menschlichen Sprache ein – ziemlich cool, oder?

Ich weiß wieder einmal, was Sie denken: „Nach zu viel Rotation kommen sie sich wieder näher.“

Das ist richtig, aber hier ist der Grund, warum es immer noch funktioniert:

1. Wir visualisieren in 3D, aber das geschieht tatsächlich in viel höheren Dimensionen.
2. Während einige Dimensionen näher zusammenwachsen, wachsen andere, die langsamer rotieren, immer weiter auseinander. Daher ist es wichtig, Bemaßungen um verschiedene Winkel zu drehen.
3. RoPE ist nicht perfekt – aufgrund seiner Rotationsnatur treten lokale Maxima auf. Sehen Sie sich die theoretische Tabelle der Originalautoren an:

Die theoretische Kurve weist einige verrückte Unebenheiten auf, aber in der Praxis habe ich festgestellt, dass sie sich viel besser verhält:

Mir kam die Idee, den Drehwinkel so zu beschneiden, dass die Ähnlichkeit mit zunehmendem Abstand deutlich abnimmt. Ich habe gesehen, dass Clipping auf andere Techniken angewendet wurde, nicht jedoch auf RoPE.

Bedenken Sie jedoch, dass die Kosinusähnlichkeit tendenziell zunimmt (wenn auch langsam), wenn der Abstand weit über unseren Basiswert hinaus wächst (später werden Sie genau sehen, was diese Foundation der Formel ist). Eine einfache Lösung besteht hier darin, die Foundation zu vergrößern oder sie sogar Techniken wie lokaler Aufmerksamkeit oder Fensteraufmerksamkeit zu überlassen.

Fazit: Der LLM lernt, weitreichende und kurzreichweitige Bedeutungseinflüsse in verschiedenen Dimensionen zu projizieren q Und okay.

Hier sind einige konkrete Beispiele für Abhängigkeiten mit großer und kurzer Reichweite:

• Das LLM verarbeitet Python-Code, bei dem eine anfängliche Transformation auf einen Datenrahmen angewendet wird df. Diese relevanten Informationen sollten möglicherweise eine große Reichweite haben und die kontextuelle Einbettung nachgelagerter Prozesse beeinflussen df Token.

• Adjektive charakterisieren typischerweise nahe Substantive. In „Ein schöner Berg erstreckt sich über das Tal hinaus“, das Adjektiv Schön beschreibt speziell die Bergnicht die Schluchtes sollte sich additionally in erster Linie auf die auswirken Berg Einbettung.

Die Winkelformel

Nachdem Sie nun die Konzepte verstanden haben und eine starke Instinct haben, finden Sie hier die Gleichungen. Der Drehwinkel ist definiert durch:

(textual content{Winkel} = m instances theta)
(theta = 10.000^{-2(i-1)/d_{Modell}})

• m ist die absolute Place des Tokens

• i ∈ {1, 2, …, d/2} repräsentiert verborgene Zustandsdimensionen, da wir zwei Dimensionen gleichzeitig verarbeiten, zu denen wir nur iterieren müssen d/2 statt d.

• d<sub>mannequin</sub> ist die verborgene Zustandsdimension (z. B. 4.096)

Beachten Sie Folgendes:

(i=1 Rightarrow theta=1 quad textual content{(hohe Rotation)} )
(i=d/2 Rightarrow theta approx 1/10.000 quad textual content{(geringe Rotation)})

Abschluss

• Wir sollten clevere Wege finden, Wissen in LLMs einzubringen, anstatt sie alles selbstständig lernen zu lassen.

• Dies erreichen wir, indem wir die richtigen Operationen bereitstellen, die ein neuronales Netzwerk zur Datenverarbeitung benötigt – Aufmerksamkeit und Faltungen sind gute Beispiele.

• Geschlossene Gleichungen können auf unbestimmte Zeit erweitert werden, da Sie nicht die Einbettung jeder Place erlernen müssen.

• Aus diesem Grund bietet RoPE eine hervorragende Flexibilität bei der Sequenzlänge.

• Die wichtigste Eigenschaft: Die Aufmerksamkeitsgewichte nehmen mit zunehmender relativer Entfernung ab.

• Dies folgt der gleichen Instinct wie die lokale Aufmerksamkeit in alternierenden Aufmerksamkeitsarchitekturen.

Ausgehend von einer hohen Ebene benötigen Transformer zwei Informationen für Eingaben: die Token-Einbettungen und die Positionskodierungen. Token-Einbettungen sind Dinge wie tiktoken Dabei verwenden sie eine feste Vokabulargröße, um für jedes Token einen eindeutigen Schlüssel zu generieren. Durch Coaching lernt das Modell dann die Abfrage und den Wert für jedes Token, sodass es mit den Informationen erfolgreich das nächste Token generieren kann.

Zusätzlich zu den Einbettungen benötigen wir auch Positionsinformationen, um dem LLM mitzuteilen, wo in einem Satz sich das Token befindet. Die obigen Gleichungen zeigen die am stärksten abstrahierte Sichtweise für die Weitergabe der Positionsinformationen. Wir haben 3 Funktionen, 1 für jedes Ingredient des Tokens, und 2 Worteinbettungsvektoren (XM und XNWo M Und N bedeuten die unterschiedlichen Dimensionen, die jeder Vektor hat).

Ein Ansatz besteht darin, einfach für jedes angezeigte Token einen neuen Vektor zu erstellen, sodass die Place vollkommen eindeutig ist. Der Nachteil hierbei ist natürlich, dass der eindeutige Vektor es dem Modell erschwert, Ähnlichkeiten in den Trainingsdaten zu erkennen, was die Leistung beeinträchtigt.

Ein sekundärer Ansatz wäre, für jedes Token einen Vektor zu erstellen, der einen Ähnlichkeitsfaktor mit anderen Vektoren aufweist. Auf diese Weise erfassen wir immer noch Informationen darüber, wie ähnlich eine State of affairs einer anderen bestimmten State of affairs ist. Da wir jedoch Kollisionen dieser Vektoren erzeugen können, kann diese Methodik zu Verwirrung führen.

Wie finden wir die beste Kombination dieser Ansätze?

Die Branche hat sich weitgehend auf RoPE konzentriert, um das Beste aus beiden Welten herauszuholen. Ohne zu tief in die Mathematik einzusteigen, verwendet RoPE Sinusfunktionen, um den Token Positionswerte zuzuweisen. Da sich Sinusfunktionen von Natur aus wiederholen, gibt es einige Positionswerte, die anderen sehr ähnlich sind. Folglich haben ähnliche Elemente einen quantitativen Wert, der angibt, wie ähnlich sie sind.

Wie Sie der obigen Gleichung entnehmen können, haben wir eine dünn besetzte Matrix, die mit verschiedenen Funktionen gefüllt ist, die sich um den Wert θ drehen, der übergeben wird, um alle Positionskodierungen in Beziehung zu halten.

Der genaue Zusammenhang dieser θ ist unten dargestellt:

Der kritischste Teil dieser Gleichung für die Kontextgröße ist der Wert 10.000. Da wir versucht haben, größere Kontexte mit nicht unendlichen Zahlenbereichen zu erstellen, ist der Wert von 10.000 zu einem begrenzenden Faktor geworden – schließlich gibt es nur eine begrenzte Anzahl von Vektoren, die Sie mit dieser Zahl als Foundation erstellen können.

Sie könnten zwar ein neues Modell mit einem größeren Basiswert für Ihre Positionskodierungen von Grund auf trainieren, es gibt jedoch einige Gründe, die die Allgemeinheit davon abhalten, dies zu tun. Erstens ist die Schulung von Grund auf mit enormen Kosten verbunden. Da derzeit nur wenige Organisationen auf der Welt über die Ressourcen dafür verfügen, ist die Belastung dafür groß. Zweitens ist es unglaublich schwierig, eine große Menge an qualitativ hochwertigem Langtext zu finden. Da für das Coaching Billionen von Token erforderlich sind, ist die Suche nach qualitativ hochwertigen Langdaten in diesem Umfang eine große Herausforderung.

Daher haben Forscher verschiedene Methoden zur Ausweitung von RoPE auf größere Thetas vorgeschlagen.

Die erste Methode ist die lineare Positionsinterpolation (PI), bei der Sie die Anzahl der möglichen Positionen erweitern können, indem Sie Theta um einen Wert λ reduzieren. Die folgende Gleichung verwendet Beta, um die θ^(2/d)-Gleichung darzustellen, die wir verwendet haben, um alle Thetas von zuvor zu verbinden.

Obwohl dies funktioniert, stellen die Autoren des Papiers fest, dass es einen Crowding-Effekt gibt, bei dem einige der Informationen nach der Reduzierung verloren gehen.

Die zweite Methode ist YaRN (One more RoPE extensioN methodology), bei der wir die RoPE-Dimensionen in drei Gruppen unterteilen und jeder von ihnen einen anderen linearen Faktor zuweisen. Die Grundidee besteht darin, dass häufig vorkommende Token nicht verändert werden sollten (ihr λ := 1) und diejenigen, die seltener vorkommen, verändert werden. Aus der folgenden Grafik können wir ersehen, dass dies bei der Erweiterung auf eine Kontextlänge von bis zu 128 KB intestine funktioniert. Hier geht es um die Festlegung der Gruppierungen. Die Gruppen werden von Menschen bestimmt und somit kann es zu suboptimalen Entscheidungen kommen, die die Leistung mindern.

Obwohl sowohl YaRN als auch Linear Projection (PI) funktionieren, weisen sie Einschränkungen auf, die sie behindern. Lengthy RoPE nutzt das Beste aus jeder Idee und findet einen cleveren Weg, sie zu kombinieren.

Die Forscher von Lengthy RoPE erkannten, dass sie zur Verbesserung früherer Methoden zwei Schlüsselideen einführen müssten: (1) die Verteilung von gutem λ ist unregelmäßig, daher ist die Suche nach λ besser als die Annahme einer korrekten Antwort, und (2) es gibt eine Teilmenge von Token, deren Place einfach nicht geändert werden sollte.

Beide Ergebnisse sind in der folgenden Formel enthalten. Um das optimale λ zu finden, erstellten sie eine Verlustfunktion, die sie minimieren konnten. Die folgende Formel ist eine neu formatierte Model von RoPE mit dem Ergebnis 𝕀 und ( n/ βich ) stellt die Skalierung unseres Positionsvektors dar. Wenn sie den kleinsten Verlust finden, wählen sie das entsprechende λ.

Mit der 𝕀-Step-Funktion aktualisieren wir die Teilmenge der Token, die nicht geändert werden sollten. Indem wir den Wert 1 wählen, signalisieren wir, dass die Positionskodierungen dort gleich bleiben sollten. Um die Suche einzuschränken, wurden nur n-hat-Werte von berücksichtigt {0, 1, 2, 4, 8, 12, 16, 20, 24, 28, 32, 64, 128, 256}. Je höher der Wert von n-hat, desto mehr Token behalten ihre ursprüngliche Positionscodierung.

Nachdem wir uns nun mit der Theorie befasst haben, wollen wir uns die Ergebnisse ansehen!

Lengthy RoPE funktioniert sowohl ohne Feinabstimmung als auch mit. Die obige Grafik zeigt die Leistung von LongRoPE bei Anwendung auf LLaMA2–7B. Der ursprüngliche Kontext für dieses Modell conflict 4k. Indem sie das optimale λ fanden, konnten sie das Kontextfenster auf 32.000 Token erweitern, ohne dass sich die Verwirrung merklich änderte! Das Unglaubliche daran ist, dass der für eine solche Änderung erforderliche Rechenaufwand im Vergleich zu den Kosten für die Feinabstimmung nahezu vernachlässigbar ist. Eine 8-fache Erweiterung ohne großen Rechenaufwand ist unglaublich.

Um eine enorme Erweiterung zu erreichen, ist eine Kombination aus Feinabstimmung und der Suche nach dem optimalen λ erforderlich. Die Forscher in der Arbeit erreichten nach dieser Methodik eine 512-fache Erweiterung. Sie haben das Modell zunächst auf eine Größe von 128 KB und 256 KB gebracht. Sie haben eine Feinabstimmung für 400 Schritte bei 128k vorgenommen und sind dann dazu übergegangen, die 256k-Faktoren für weitere 600 Schritte zu verwenden. Da dies besser funktionierte als nur die direkte Feinabstimmung von 256k, scheint es, dass das Erlernen einer allgemeineren Verteilung statt nur einer der skalierten eine bessere Leistung bringt. Anschließend optimierten sie erneut für das beste λ und erreichten ein Kontextfenster von 2048 KB, eine Steigerung von 512 gegenüber dem ursprünglichen 4 KB-Kontextfenster!

Eine der Schwierigkeiten eines größeren Kontexts ist ein Leistungsverlust bei Aufgaben mit kleinen Kontexten. Dieses Verhalten wurde schon früher beobachtet und die Theorie besagt, dass die Daten zu Beginn auf einen kleineren Bereich komprimiert werden, was zu einem gewissen Aufmerksamkeitsverlust führt.

Sie lösten dieses Drawback im 2048k-Kontextfenstermodell, indem sie das ideale λ für kürzere Längen fanden (in der Arbeit waren dies 4k und 8k). Wenn während der Inferenz festgestellt wird, dass der Kontext klein ist, geht das LLM dynamisch dazu über, das kleinere λ für die Positionskodierungsdaten zu verwenden.

LLMs sind hervorragend im Denken und überraschen uns immer wieder mit ihren Anwendungen in der realen Welt. Mit einem größeren Kontextfenster, insbesondere einem, das zu begrenzten Kosten und dennoch hoher Leistung erhältlich ist, werden ihre Anwendungen nur wachsen.

Eine interessante Frage ist, ob dynamische Positionskodierungsberechnungen der Weg der Zukunft sind. Wenn Sie mehrere Positionscodierungen optimieren und eine qualitativ hochwertige Leistung für 2 λs erzielen können, verfügen wir möglicherweise über ein Modell, das zur Inferenzzeit nahtlos zwischen mehreren λs wechseln kann.

Eines der Dinge, die ich am LLM-Bereich am spannendsten finde, ist die Möglichkeit, Daten zu sichten. Während das Web bei der Demokratisierung des Zugangs zu Informationen hervorragende Arbeit geleistet hat, hat es leider auch unser Leben mit Lärm überschwemmt. Es gibt viele Dinge, die uns on-line gezeigt werden und die für uns quick keine Konsequenzen haben. Mit einem Instrument, das die wichtigen Informationen aus dem Alltäglichen und sogar Schädlichen herausfiltern kann, können wir das Potenzial des Internets voll ausschöpfen.

Mit größeren Kontextfenstern kann die Fähigkeit des LLM, Informationen zusammenzufassen und zu verdichten, noch effektiver genutzt werden. Es könnte sogar eine Zeit kommen, in der große Fortschritte dadurch erzielt werden, dass LLMs zwei scheinbar unterschiedliche Informationssätze erhalten und sie etwas Neues herausfinden lassen, das angesichts der Prämissen in jedem Satz begründet werden kann.

Es ist eine aufregende Zeit zum Bauen.