Willkommen in Teil 2 meines LLM Deep Dive. Wenn Sie Teil 1 nicht gelesen haben, ermutige ich Sie dringend prüfen Sie es zuerst.

Zuvor haben wir die ersten beiden Hauptstadien des Trainings als LLM behandelt:

1. Vorausbildung-Lernen von massiven Datensätzen zur Bildung eines Basismodells.
2. Übersichtliche Feinabstimmung (SFT)-Verfeinerung des Modells mit kuratierten Beispielen, um es nützlich zu machen.

Jetzt tauchen wir in die nächste große Bühne: Verstärkungslernen (RL). Während sich vor der Ausbildung und der SFT intestine etabliert sind, entwickelt sich RL immer noch weiter, ist jedoch zu einem kritischen Bestandteil der Trainingspipeline geworden.

Ich habe Referenz von genommen von Andrej Karpathys weit verbreitete 3,5-stündige YouTube. Andrej ist Gründungsmitglied von Openai, seine Erkenntnisse sind Gold – Sie haben die Idee.

Lass uns gehen

Was ist der Zweck des Verstärkungslernens (RL)?

Menschen und LLMs verarbeiten Informationen unterschiedlich. Was für uns intuitiv ist – wie die grundlegende Arithmetik – ist möglicherweise nicht für ein LLM, der nur Textual content als Sequenzen von Token sieht. Umgekehrt kann ein LLM Experten-Degree-Antworten zu komplexen Themen generieren, nur weil es während des Trainings genügend Beispiele gesehen hat.

Dieser Unterschied in der Wahrnehmung macht es für menschliche Annotatoren schwierig, die „perfekte“ Etiketten zu liefern, die eine LLM konsequent zur richtigen Antwort führen.

RL überbrückt diese Lücke, indem er das Modell zulässt aus eigener Erfahrung lernen.

Anstatt sich ausschließlich auf explizite Etiketten zu verlassen, untersucht das Modell verschiedene Token -Sequenzen und empfängt Suggestions – Belohnungssignale -, auf denen die Ausgänge am nützlichsten sind. Im Laufe der Zeit lernt es, sich mit der menschlichen Absicht besser auszurichten.

Instinct hinter Rl

LLMs sind stochastisch – was bedeutet, dass ihre Antworten nicht festgelegt sind. Selbst bei der gleichen Eingabeaufforderung variiert der Ausgang, da er aus einer Wahrscheinlichkeitsverteilung abgetastet wird.

Wir können diese Zufälligkeit nutzen, indem wir Tausende oder sogar Millionen möglicher Antworten erzeugen parallel. Betrachten Sie es als das Modell, das verschiedene Wege erforscht – einige gute, manche schlecht. Unser Ziel ist es, es zu ermutigen, die besseren Wege öfter aufzunehmen.

Dazu trainieren wir das Modell auf den Sequenzen von Token, die zu besseren Ergebnissen führen. Im Gegensatz zu beaufsichtigten Feinabstimmungen, bei denen menschliche Experten beschriftete Daten liefern, liefern sie. Das Verstärkungslernen ermöglicht das Modell von sich selbst lernen.

Das Modell entdeckt, welche Antworten am besten funktionieren, und nach jedem Trainingsschritt aktualisieren wir seine Parameter. Im Laufe der Zeit führt das Modell mit höherer Wahrscheinlichkeit hochwertige Antworten, wenn sie in Zukunft ähnliche Eingabeaufforderungen erhalten.

Aber wie bestimmen wir, welche Antworten am besten sind? Und wie viel RL sollen wir tun? Die Particulars sind schwierig, und sie richtig zu machen ist nicht trivial.

RL ist nicht „neu“ – es kann das menschliche Fachwissen übertreffen (Alphago, 2016)

Ein großartiges Beispiel für RLs Kraft ist DeepMinds Alphago, die erste KI, die einen professionellen Go-Spieler besiegt und späteres Spiel auf Menschenebene übertroffen hat.

Im 2016 Naturpapier (Graph unten) Als ein Modell nur durch SFT trainiert wurde (Angabe des Modells Tonnen guter Beispiele zum Nachahmung) konnte das Modell in der Lage sein, die Leistung auf menschlicher Ebene zu erreichen. Aber übertreffen Sie es niemals.

Die gepunktete Linie repräsentiert Lee Sedols Leistung – der beste Go -Spieler der Welt.

Dies liegt daran, dass es bei SFT um Replikation und nicht um Innovation geht. Es erlaubt das Modell nicht, neue Strategien über das menschliche Wissen hinaus zu entdecken.

RL ermöglichte Alphago jedoch, gegen sich selbst zu spielen, seine Strategien zu verfeinern und letztendlich das menschliche Fachwissen übertreffen (blaue Linie).

RL repräsentiert eine aufregende Grenze in der KI, an der Modelle Strategien, die über die menschliche Vorstellungskraft hinausgehen, untersuchen können, wenn wir sie auf einem vielfältigen und herausfordernden Pool von Problemen ausbilden, um die Denkstrategien zu verfeinern.

RL Foundations Recap

Lassen Sie uns die Schlüsselkomponenten eines typischen RL -Setups schnell wiederholen:

• Agent – Der Lernende oder Entscheidungsträger. Es beobachtet die aktuelle Scenario (Zustand), wählt eine Aktion aus und aktualisiert dann ihr Verhalten anhand des Ergebnisses ((belohnen).
• Umfeld– Das externe System, in dem der Agent arbeitet.
• Zustand – Ein Schnappschuss der Umgebung in einem bestimmten Schritt T.

Bei jedem Zeitstempel führt der Agent eine durch Aktion In der Umgebung, die den Staat der Umwelt in einen neuen verwandelt. Der Agent erhält außerdem Suggestions, die angeben, wie intestine oder schlecht die Aktion warfare.

Dieses Suggestions heißt a belohnenund wird in numerischer Kind dargestellt. Eine constructive Belohnung fördert dieses Verhalten, und eine detrimental Belohnung entmutigt es.

Durch die Verwendung von Suggestions aus verschiedenen Zuständen und Aktionen lernt der Agent allmählich die optimale Strategie zu Maximieren Sie die Gesamtbelohnung im Laufe der Zeit.

Politik

Die Richtlinie ist die Strategie des Agenten. Wenn der Agent einer guten Richtlinie folgt, wird er konsequent gute Entscheidungen treffen, was zu höheren Belohnungen in vielen Schritten führt.

In mathematischer Begriffen ist es eine Funktion, die die Wahrscheinlichkeit verschiedener Ausgaben für einen bestimmten Zustand bestimmt –(πθ (a | s)).

Wertfunktion

Eine Schätzung, wie intestine es in einem bestimmten Zustand ist, wenn man die langfristige erwartete Belohnung berücksichtigt. Für eine LLM kann die Belohnung aus menschlichem Suggestions oder einem Belohnungsmodell stammen.

Schauspieler-kritische Architektur

Es ist ein beliebtes RL -Setup, das zwei Komponenten kombiniert:

1. Schauspieler – lernt und aktualisiert die Politik (πθ) und entscheiden, welche Aktion in jedem Zustand ergreifen soll.
2. Kritiker – bewertet die Wertfunktion (V (s)) dem Schauspieler Suggestions darüber geben, ob seine gewählten Aktionen zu guten Ergebnissen führen.

Wie es funktioniert:

• Der Schauspielerwählt eine Aktion aus, die auf ihrer aktuellen Richtlinie basiert.
• Der KritikerBewertet das Ergebnis (Belohnung + nächster Zustand) und aktualisiert seine Wertschätzung.
• Das Suggestions des Kritikers hilft dem Akteur, seine Richtlinie so zu verfeinern, dass zukünftige Maßnahmen zu höheren Belohnungen führen.

Alles zusammen für LLMs zusammenstellen

Der Staat kann der aktuelle Textual content (Aufforderung oder Konversation) sein, und die Aktion kann das nächste Token sein, das generiert werden muss. Ein Belohnungsmodell (z. B. menschliches Suggestions) sagt dem Modell, wie intestine oder schlecht es erzeugt wird.

Die Richtlinie ist die Strategie des Modells zur Auswahl des nächsten Tokens, während die Wertfunktion schätzt, wie vorteilhaft der aktuelle Textkontext ist, um schließlich qualitativ hochwertige Antworten zu erzeugen.

Deepseek-R1 (veröffentlicht am 22. Januar 2025)

Um die Bedeutung von RL hervorzuheben, lassen Sie uns erkunden Deepseek-R1, ein Argumentationsmodell, das eine erstklassige Leistung erzielt und gleichzeitig Open-Supply bleibt. Das Papier führte zwei Modelle vor: Deepseek-R1-Zero und Deepseek-R1.

• Deepseek-R1-Null wurde ausschließlich über groß angelegte RL ausgebildet und übersprungen beaufsichtigte Feinabstimmungen (SFT).
• Deepseek-R1 baut darauf auf und befasst sich mit den auftretenden Herausforderungen.

Lassen Sie uns in einige dieser wichtigen Punkte eintauchen.

1. RL Algo: Gruppenrelative Richtlinienoptimierung (GRPO)

Ein wichtiger RL -Algorithmus für Spiele ist die Gruppenrelationsrichtlinie (GRPO), eine Variante der weit verbreiteten proximalen Richtlinienoptimierung (PPO). Grpo wurde im Februar 2024 in der Papier von Deepseekmath eingeführt.

Warum Grpo über PPO?

PPO kämpft mit Argumentationsaufgaben aufgrund von:

1. Abhängigkeit von einem Kritikermodell.
   PPO benötigt ein separates Kritikermodell, das den Speicher und Berechnung effektiv verdoppelt.
   Coaching des Kritikers kann für nuancierte oder subjektive Aufgaben komplex sein.
2. Hohe Rechenkosten als RL -Pipelines erfordern erhebliche Ressourcen, um die Antworten zu bewerten und zu optimieren.
3. Absolute Belohnungsbewertungen
   Wenn Sie sich auf eine absolute Belohnung verlassen-was bedeutet, dass es einen einzigen Commonplace oder eine Metrik gibt, um zu beurteilen, ob eine Antwort „intestine“ oder „schlecht“ ist-kann es schwierig sein, die Nuancen offener, vielfältiger Aufgaben über verschiedene Argumentationsbereiche hinweg zu erfassen.

Wie GRPO diese Herausforderungen ansprach:

GRPO eliminiert das Kritikermodell durch Verwendung Relative Bewertung– Die Antworten werden in einer Gruppe verglichen und nicht nach einem festen Commonplace beurteilt.

Stellen Sie sich vor, Studenten, die ein Drawback lösen. Anstatt dass ein Lehrer sie einzeln bewertet, vergleichen sie Antworten und lernen voneinander. Im Laufe der Zeit konvergiert die Leistung in Richtung höherer Qualität.

Wie passt Grpo in den gesamten Trainingsprozess?

GRPO modifiziert, wie der Verlust berechnet wird, während andere Trainingsschritte unverändert bleiben:

1. Daten sammeln (Abfragen + Antworten)
   – Für LLMs sind Abfragen wie Fragen
   – Die alte Richtlinie (älterer Schnappschuss des Modells) generiert mehrere Kandidatenantworten für jede Abfrage
2. Belohnungen zuweisen– Jede Antwort in der Gruppe wird bewertet (die „Belohnung“).
3. Berechnen Sie den Grpo -Verlust
   Traditionell berechnen Sie einen Verlust – der die Abweichung zwischen der Modellvorhersage und dem wahren Etikett zeigt.
   In GRPO messen Sie jedoch:
   a) Wie wahrscheinlich ist die neue Richtlinie, um vergangene Antworten zu produzieren?
   b) Sind diese Antworten relativ oder schlechter?
   c) Anwenden Sie das Ausschneiden an, um excessive Updates zu verhindern.
   Dies ergibt einen skalaren Verlust.
4. Rückenausbreitung + Gradientenabstieg
   – Die Rückausbreitung berechnet, wie jeder Parameter zum Verlust beigetragen hat
   – Gradientenabstieg aktualisiert diese Parameter, um den Verlust zu verringern
   – Über viele Iterationen verändert dies die neue Richtlinie nach und nach, um höhere Belohnungsantworten zu bevorzugen
5. Aktualisieren Sie die alte Richtlinie gelegentlich, um die neue Richtlinie zu entsprechen.
   Dies aktualisiert die Grundlinie für die nächste Vergleichsrunde.

2. Denkkette (COT)

Traditionelles LLM-Coaching folgt vor der Coaching → SFT → RL. Deepseek-R1-Null übersprungen sftdamit das Modell das COT -Argumentation direkt erforschen kann.

Wie Menschen, die durch eine schwierige Frage nachdenken, ermöglicht COT Modellen, Probleme in Zwischenschritte zu unterteilen und komplexe Argumentationsfunktionen zu steigern. Das O1 -Modell von OpenAI nutzt dies auch, wie in seinem Bericht im September 2024 erwähnt: Die Leistung von O1 verbessert sich mit mehr RL (Zug-Zeit-Laptop) und mehr Argumentationszeit (Take a look at-Time-Laptop).

Deepseek-R1-Null zeigte reflektierende Tendenzen und verfeinerte seine Argumentation autonom.

Ein Schlüsseldiagramm (unten) in der Arbeit zeigte während des Trainings ein erhöhtes Denken, was zu längeren (mehr Token), detaillierteren und besseren Antworten führte.

Ohne explizite Programmierung begann es, vergangene Argumentationsschritte zu überdenken und die Genauigkeit zu verbessern. Dies unterstreicht die Gedankenkette als eine aufstrebende Eigenschaft der RL-Ausbildung.

Das Modell hatte auch einen „AHA -Second“ (unten) – ein faszinierendes Beispiel dafür, wie RL zu unerwarteten und raffinierten Ergebnissen führen kann.

Hinweis: Im Gegensatz zu Deepseek-R1 zeigt Openai in O1 keine genauen Denkketten, da sie über ein Destillationsrisiko besorgt sind-wo jemand hereinkommt und versucht, diese Argumentationsspuren nachzuahmen und einen Großteil der Argumentationsleistung wiederzugewinnen, indem sie nur nachahmt. Stattdessen nur Zusammenfassungen dieser Ketten von Gedanken.

Verstärkungslernen mit menschlichem Suggestions (RLHF)

Bei Aufgaben mit überprüfbaren Ausgängen (z. B. Mathematikproblemen, sachlichen Q & A) können AI -Antworten leicht bewertet werden. Aber was ist mit Bereichen wie Summarisierung oder kreativem Schreiben, wo es keine einzige „korrekte“ Antwort gibt?

Hier kommt das menschliche Suggestions ins Spiel – aber naive RL -Ansätze sind unvergleichlich.

Schauen wir uns den naiven Ansatz mit einigen willkürlichen Zahlen an.

Das sind eine Milliarde menschliche Bewertungen, die benötigt werden! Dies ist zu kostspielig, langsam und unvergleichlich. Eine intelligentere Lösung besteht daher darin, ein KI -Belohnungsmodell zu schulen, um menschliche Vorlieben zu erlernen und die menschliche Anstrengung dramatisch zu verringern.

Rating -Antworten ist auch einfacher und intuitiver als absolutes Tor.

Höflichkeiten von RLHF

• Kann auf jede Domäne angewendet werden, einschließlich kreatives Schreiben, Gedichte, Zusammenfassung und anderen offenen Aufgaben.
• Rating Outputs ist für menschliche Lager viel einfacher als selbst kreative Ausgänge zu generieren.

Nachteile von RLHF

• Das Belohnungsmodell ist eine Annäherung – es spiegelt möglicherweise die menschlichen Vorlieben nicht perfekt wider.
• RL ist intestine darin, das Belohnungsmodell zu spielen – wenn zu lange ausgeführt wird, kann das Modell Lücken ausnutzen und unsinnige Ausgänge generieren, die immer noch hohe Punktzahlen erzielen.

Beachten Sie das Rlhf ist nicht dasselbe wie die traditionelle RL.

Für empirische, überprüfbare Bereiche (z. B. Mathematik, Codierung) kann RL unbegrenzt ausgeführt und neuartige Strategien entdecken. RLHF hingegen ist eher ein feinabstimmiger Schritt, um Modelle mit menschlichen Vorlieben auszurichten.

Abschluss

Und das ist ein Wrap! Ich hoffe, Sie haben Teil 2 genossen, wenn Sie Teil 1 noch nicht gelesen haben –Schau es dir hier an.

Haben Sie Fragen oder Ideen für das, was ich als nächstes behandeln sollte? Lass sie in die Kommentare fallen – ich würde gerne deine Gedanken hören. Wir sehen uns im nächsten Artikel!

Kurz zusammengefasst: Beim RLHF besteht eine Spannung zwischen der Belohnungslernphase, die menschliche Vorlieben in Type von Vergleichen nutzt, und der RL-Feinabstimmungsphase, die eine einzelne, nicht vergleichende Belohnung optimiert. Was wäre, wenn wir RL vergleichend durchführen würden?

Abbildung 1:
Dieses Diagramm veranschaulicht den Unterschied zwischen dem bestärkenden Lernen und absolut Suggestions und relativ Suggestions. Durch die Einbindung einer neuen Komponente – des paarweisen Coverage-Gradienten – können wir die Belohnungsmodellierungsphase und die RL-Part vereinheitlichen und direkte Updates basierend auf paarweisen Antworten ermöglichen.

Giant Language Fashions (LLMs) ermöglichen immer leistungsfähigere virtuelle Assistenten, wie zum Beispiel GPT-4, Claude-2, Barde Und Bing-Chat. Diese Systeme können auf komplexe Benutzeranfragen reagieren, Code schreiben und sogar Gedichte produzieren. Die Technik, die diesen erstaunlichen virtuellen Assistenten zugrunde liegt, ist Reinforcement Studying mit menschlichem Suggestions (RLHF). RLHF zielt darauf ab, das Modell an menschlichen Werten auszurichten und unbeabsichtigtes Verhalten zu eliminieren, das häufig dadurch entstehen kann, dass das Modell während der Vortrainingsphase einer großen Menge minderwertiger Daten ausgesetzt ist.

Proximale Richtlinienoptimierung (PPO), der dominierende RL-Optimierer in diesem Prozess, weist Berichten zufolge Instabilität Und Komplikationen bei der Implementierung. Noch wichtiger ist, dass es im RLHF-Prozess eine anhaltende Diskrepanz gibt: Obwohl das Belohnungsmodell durch Vergleiche zwischen verschiedenen Antworten trainiert wird, arbeitet die RL-Feinabstimmungsphase an einzelnen Antworten, ohne Vergleiche anzustellen. Diese Inkonsistenz kann Probleme verschärfen, insbesondere im anspruchsvollen Bereich der Sprachgenerierung.

Vor diesem Hintergrund stellt sich eine spannende Frage: Ist es möglich, einen RL-Algorithmus zu entwickeln, der vergleichend lernt? Um dies zu untersuchen, führen wir die Pairwise Proximal Coverage Optimization (P3O), eine Methode, die die Trainingsprozesse sowohl in der Belohnungslernphase als auch in der RL-Feinabstimmungsphase von RLHF harmonisiert und eine zufriedenstellende Lösung für dieses Drawback bietet.

Hintergrund

Figur 2:
Eine Beschreibung der drei Stadien des RLHF aus der Sicht eines OpenAI-Blogbeitrag. Beachten Sie, dass die dritte Part unter das bestärkende Lernen mit absolutem Suggestions fällt, wie auf der linken Seite von Abbildung 1 dargestellt.

In herkömmlichen RL-Einstellungen wird die Belohnung manuell vom Entwickler festgelegt oder durch eine intestine definierte Belohnungsfunktion bereitgestellt, wie in Atari-Spielen. Um ein Modell jedoch in Richtung hilfreicher und harmloser Reaktionen zu lenken, ist es nicht einfach, eine gute Belohnung zu definieren. RLHF behebt dieses Drawback, indem die Belohnungsfunktion aus menschlichem Suggestions, insbesondere in Type von Vergleichen, gelernt wird und dann RL angewendet wird, um die gelernte Belohnungsfunktion zu optimieren.

Die RLHF-Pipeline ist in mehrere Phasen unterteilt, die im Folgenden detailliert beschrieben werden:

Überwachte Feinabstimmungsphase: Das vortrainierte Modell erfährt den maximalen Wahrscheinlichkeitsverlust auf einem hochwertigen Datensatz, wo es durch Nachahmung lernt, auf menschliche Anfragen zu reagieren.

Part der Belohnungsmodellierung: Das SFT-Modell wird mit Eingabeaufforderungen (x) aufgefordert, Antwortpaare (y_1,y_2sim pi^{textual content{SFT}}(yvert x)) zu erzeugen. Diese generierten Antworten bilden einen Datensatz. Die Antwortpaare werden menschlichen Etikettierern präsentiert, die eine Präferenz für eine Antwort gegenüber der anderen ausdrücken, bezeichnet als (y_w succ y_l). Ein komparativer Verlust wird dann verwendet, um ein Belohnungsmodell (r_phi) zu trainieren:

(mathcal{L}_R = mathbb{E}_{(x,y_l,y_w)simmathcal{D}}log sigmaleft(r_phi(y_w|x)-r_phi(y_l|x)proper))

RL Feinabstimmungsphase: Das SFT-Modell dient als Initialisierung dieser Part, und ein RL-Algorithmus optimiert die Strategie zur Maximierung der Belohnung und begrenzt gleichzeitig die Abweichung von der ursprünglichen Strategie. Formal geschieht dies durch:

(max_{pi_theta}mathbb{E}_{xsim mathcal{D}, ysim pi_theta(cdotvert x)}left(r_phi(yvert x)-beta D_{textual content{KL}}(pi_theta(cdotvert x)Vert pi^{textual content{SFT}}(cdotvert x))proper))

Eine inhärente Herausforderung bei diesem Ansatz ist die Nichteindeutigkeit der Belohnung. Wenn beispielsweise eine Belohnungsfunktion (r(yvert x)) gegeben ist, erzeugt eine einfache Verschiebung der Belohnung der Eingabeaufforderung auf (r(yvert x)+delta(x)) eine weitere gültige Belohnungsfunktion. Diese beiden Belohnungsfunktionen führen bei allen Antwortpaaren zum gleichen Verlust, unterscheiden sich jedoch erheblich, wenn sie mit RL optimiert werden. Im Extremfall, wenn das hinzugefügte Rauschen dazu führt, dass die Belohnungsfunktion einen großen Bereich aufweist, könnte ein RL-Algorithmus dazu verleitet werden, die Wahrscheinlichkeit von Antworten mit höheren Belohnungen zu erhöhen, obwohl diese Belohnungen möglicherweise nicht sinnvoll sind. Mit anderen Worten, die Richtlinie könnte durch die Informationen zur Belohnungsskala in der Eingabeaufforderung (x) gestört werden, lernt jedoch nicht den nützlichen Teil – die relative Präferenz, die durch den Belohnungsunterschied dargestellt wird. Um dieses Drawback zu lösen, ist es unser Ziel, einen RL-Algorithmus zu entwickeln, der invariante zur Belohnungsübersetzung.

Ableitung von P3O

Unsere Idee stammt aus dem Vanilla-Coverage-Gradienten (VPG). VPG ist ein weit verbreiteter RL-Optimierer erster Ordnung, der wegen seiner Einfachheit und einfachen Implementierung beliebt ist. In einem kontextuellen Banditen (CB) Einstellung wird das VPG wie folgt formuliert:

(nabla mathcal{L}^{textual content{VPG}} = mathbb{E}_{ysimpi_{theta}} r(y|x)nablalogpi_{theta }(y|x))

Durch einige algebraische Manipulationen können wir den Coverage-Gradienten in eine vergleichende Type umschreiben, die zwei Antworten auf dieselbe Eingabe beinhaltet. Wir nennen ihn Paarweiser Richtliniengradient:

(mathbb{E}_{y_1,y_2simpi_{theta}}left(r(y_1vert x)-r(y_2vert x)proper)nablaleft(logfrac{pi_theta(y_1vert x)}{pi_theta(y_2vert x)}proper)/2)

Im Gegensatz zu VPG, das direkt auf der absoluten Höhe der Belohnung beruht, verwendet PPG die Belohnungsdifferenz. Dadurch können wir das oben erwähnte Drawback der Belohnungsübersetzung umgehen. Um die Leistung weiter zu steigern, integrieren wir einen Wiedergabepuffer mit Wichtigkeitsstichproben und vermeiden Sie große Gradientenaktualisierungen über Ausschnitt.

Wichtigkeitsstichproben: Wir entnehmen eine Reihe von Antworten aus dem Wiedergabepuffer, die aus Antworten bestehen, die von (pi_{textual content{previous}}) generiert wurden, und berechnen dann das Wichtigkeits-Stichprobenverhältnis für jedes Antwortpaar. Der Gradient ist die gewichtete Summe der Gradienten, die aus jedem Antwortpaar berechnet wurden.

Ausschnitt: Wir kürzen das Significance-Sampling-Verhältnis sowie das Gradienten-Replace, um übermäßig große Updates zu bestrafen. Diese Technik ermöglicht dem Algorithmus, KL-Divergenz und Belohnung effizienter auszugleichen.

Es gibt zwei verschiedene Möglichkeiten, die Clipping-Technik zu implementieren, die sich durch separates oder gemeinsames Clipping unterscheiden. Der resultierende Algorithmus wird als Pairwise Proximal Coverage Optimization (P3O) bezeichnet, wobei die Varianten V1 bzw. V2 sind. Weitere Einzelheiten finden Sie in unserem Authentic Papier.

Auswertung

Figur 3:
KL-Belohnungsgrenze für TL;DR, sowohl sequenzweise KL als auch Belohnung werden über 200 Testaufforderungen gemittelt und alle 500 Gradientenschritte berechnet. Wir stellen fest, dass eine einfache lineare Funktion intestine zur Kurve passt. P3O hat von den dreien den besten KL-Belohnungs-Kompromiss.

Wir untersuchen zwei verschiedene offene Textgenerierungsaufgaben, Zusammenfassung Und Fragen und AntwortenZusammenfassend verwenden wir die Kurz zusammengefasst Datensatz, bei dem die Eingabeaufforderung (x) ein Forumsbeitrag von Reddit und (y) eine entsprechende Zusammenfassung ist. Zur Beantwortung von Fragen verwenden wir Anthropic Useful and Innocent (HH), ist die Eingabeaufforderung (x) eine menschliche Abfrage aus verschiedenen Themenbereichen, und die Richtlinie sollte lernen, eine ansprechende und hilfreiche Antwort (y) zu produzieren.

Wir vergleichen unseren Algorithmus P3O mit mehreren effektiven und repräsentativen Ansätzen für die LLM-Ausrichtung. Wir beginnen mit dem SFT Strategie, die mit maximaler Wahrscheinlichkeit trainiert wird. Für RL-Algorithmen betrachten wir den dominanten Ansatz PPO und die neu vorgeschlagene Datenschutzbeauftragter. DPO optimiert die Richtlinie direkt in Richtung der geschlossenen Lösung des KL-beschränkten RL-Issues. Obwohl es als Offline-Ausrichtungsmethode vorgeschlagen wird, machen wir es mithilfe einer Proxy-Belohnungsfunktion on-line.

Figur 4:
KL-Belohnungsgrenze für HH, jeder Punkt stellt einen Durchschnitt der Ergebnisse von 280 Testaufforderungen dar und wird alle 500 Gradientenaktualisierungen berechnet. Die beiden linken Abbildungen vergleichen P3O-V1 und PPO mit unterschiedlichen Basismodellgrößen; die beiden rechten Abbildungen vergleichen P3O-V2 und DPO. Die Ergebnisse zeigen, dass P3O nicht nur eine höhere Belohnung erzielen kann, sondern auch eine bessere KL-Kontrolle bietet.

Eine zu große Abweichung von der Referenzrichtlinie würde dazu führen, dass die On-line-Richtlinie das Belohnungsmodell abschneidet und inkohärente Fortsetzungen produziert, wie in früheren Arbeiten gezeigt wurde. Uns interessiert nicht nur die in der RL-Literatur intestine etablierte Metrik – die Belohnung –, sondern auch, wie weit die erlernte Richtlinie von der ursprünglichen Richtlinie abweicht, gemessen an der KL-Divergenz. Daher untersuchen wir die Wirksamkeit jedes Algorithmus anhand seiner Grenze der erreichten Belohnung und der KL-Divergenz von der Referenzrichtlinie (KL-Belohnungsgrenze). In Abbildung 4 und Abbildung 5 stellen wir fest, dass P3O bei verschiedenen Modellgrößen streng dominante Grenzen als PPO und DPO aufweist.

Abbildung 5:
Die linke Abbildung zeigt die von GPT-4 ausgewertete Gewinnrate. Die rechte Abbildung zeigt die Gewinnrate basierend auf dem direkten Vergleich der Proxy-Belohnung. Trotz der hohen Korrelation zwischen den beiden Zahlen haben wir festgestellt, dass die Belohnungsgewinnrate entsprechend dem KL angepasst werden muss, um mit der GPT-4-Gewinnrate übereinzustimmen.

Um die Qualität der generierten Antworten direkt zu beurteilen, führen wir auch Head-to-Head-Vergleiche zwischen jedem Algorithmenpaar im HH-Datensatz. Wir verwenden zwei Metriken zur Bewertung: (1) Belohnendas optimierte Ziel während des On-line-RL, (2) GPT-4als zuverlässiger Indikator für die menschliche Bewertung der Nützlichkeit von Antworten. Für letztere Metrik weisen wir darauf hin, dass frühere Studien gezeigt haben, dass GPT-4-Urteile stark mit Menschen korrelieren, wobei die menschliche Übereinstimmung mit GPT-4 typischerweise ähnlich oder höher ist als die Übereinstimmung zwischen menschlichen Annotatoren.

Abbildung 5 zeigt die umfassenden Ergebnisse des paarweisen Vergleichs. Die durchschnittliche KL-Divergenz und Belohnungsrangfolge dieser Modelle lautet DPO > P3O > PPO > SFT. Obwohl DPO P3O in der Belohnung geringfügig übertrifft, weist es eine erheblich höhere KL-Divergenz auf, was sich nachteilig auf die Qualität der Generierung auswirken kann. Infolgedessen hat DPO eine Belohnungsgewinnrate von 49,5 % gegenüber P3O, aber nur 45,4 %, wie von GPT-4 bewertet. Im Vergleich zu anderen Methoden weist P3O eine GPT-4-Gewinnrate von 57,0 % gegenüber PPO und 69,3 % gegenüber SFT auf. Dieses Ergebnis steht im Einklang mit unseren Erkenntnissen aus der KL-Belohnungsgrenzmetrik und bestätigt, dass P3O sich besser an die menschlichen Vorlieben anpassen könnte als frühere Basislinien.

Abschluss

In diesem Blogbeitrag präsentieren wir neue Erkenntnisse zur Anpassung großer Sprachmodelle an menschliche Vorlieben durch bestärkendes Lernen. Wir haben das Framework „Bestärkendes Lernen mit relativem Suggestions“ vorgeschlagen, wie in Abbildung 1 dargestellt. In diesem Framework entwickeln wir einen neuartigen Coverage-Gradient-Algorithmus – P3O. Dieser Ansatz vereint die grundlegenden Prinzipien der Belohnungsmodellierung und der Feinabstimmung von RL durch vergleichendes Coaching. Unsere Ergebnisse zeigen, dass P3O frühere Methoden in Bezug auf die KL-Belohnungsgrenze sowie die GPT-4-Gewinnrate übertrifft.

BibTex

Dieser Weblog basiert auf unserer jüngsten Papier Und Weblog. Wenn dieser Weblog Sie zu Ihrer Arbeit inspiriert, denken Sie bitte daran, ihn wie folgt zu zitieren:

@article{wu2023pairwise,
  title={Pairwise Proximal Coverage Optimization: Harnessing Relative Suggestions for LLM Alignment},
  creator={Wu, Tianhao and Zhu, Banghua and Zhang, Ruoyu and Wen, Zhaojin and Ramchandran, Kannan and Jiao, Jiantao},
  journal={arXiv preprint arXiv:2310.00212},
  yr={2023}
}