Bild vom Herausgeber

# Einführung

Maschinelles Lernen Systeme bestehen im Wesentlichen aus Modellen – wie Entscheidungsbäumen, linearen Regressoren oder neuronalen Netzen und vielen anderen –, die auf einer Reihe von trainiert wurden Daten Beispiele, um eine Reihe von Mustern oder Beziehungen zu lernen, beispielsweise um den Preis einer Wohnung im sonnigen Sevilla (Spanien) anhand ihrer Eigenschaften vorherzusagen. Die Qualität oder Leistung eines maschinellen Lernmodells bei der Aufgabe, für die es trainiert wurde, hängt jedoch weitgehend von seinem eigenen „Aussehen“ oder seiner „Type“ ab. Sogar zwei Modelle desselben Typs, beispielsweise zwei lineare Regressionsmodelle, können je nach einem Schlüsselaspekt sehr unterschiedlich funktionieren: ihren Parametern.

Dieser Artikel entmystifiziert das Konzept von a Parameter in Modellen für maschinelles Lernen und beschreibt, was diese sind, wie viele Parameter ein Modell hat (Spoiler-Alarm: Es kommt darauf an!) und was beim Festlegen der Parameter eines Modells während des Trainings schief gehen kann. Lassen Sie uns diese Kernkomponenten untersuchen.

# Entmystifizierung von Parametern in Modellen des maschinellen Lernens

Parameter sind wie die intern Zifferblätter und Knöpfe eines maschinellen Lernmodells: Sie definieren das Verhalten Ihres Modells. So wie die Kaffeemaschine eines Barista je nach Qualität der gemahlenen Kaffeebohnen eine Tasse Kaffee mit unterschiedlicher Qualität zubereiten kann, werden die Parameter eines maschinellen Lernmodells je nach Artwork – und weitgehend auch Qualität – der Trainingsdatenbeispiele, die zum Erlernen der Ausführung einer Aufgabe verwendet werden, unterschiedlich eingestellt.

Zurück zum Fall der Vorhersage von Wohnungspreisen: Wenn der Trainingsdatensatz von Wohnungsbeispielen mit bekannten Preisen verrauschte, irrelevante oder voreingenommene Informationen enthält, kann der Trainingsprozess ein Modell ergeben, dessen Parameter (denken Sie daran, intern Einstellungen) erfassen irreführende Muster oder Enter-Output-Beziehungen, was zu schlechten Preisvorhersagen führt. Wenn der Datensatz hingegen saubere, repräsentative und qualitativ hochwertige Beispiele enthält, besteht eine gute Likelihood, dass der Trainingsprozess ein Modell hervorbringt, dessen Parameter genau auf die tatsächlichen Faktoren abgestimmt sind, die höhere oder niedrigere Immobilienpreise beeinflussen, was zu hervorragenden Vorhersagen führt.

Jetzt ist mir aufgefallen, dass ich die Kursivschrift verwendet habe, um das Wort hervorzuheben.intern“ mehrmals? Das battle rein absichtlich und notwendig, um zwischen Parametern von Modellen für maschinelles Lernen und Hyperparametern zu unterscheiden. Im Vergleich zu Parametern ist ein Hyperparameter in einem Modell für maschinelles Lernen wie ein Drehknopf, ein Knopf oder sogar eine Style oder ein Schalter äußerlich und manuell angepasst (nicht aus den Daten gelernt), typischerweise durch einen Menschen, aber auch als Ergebnis eines Suchprozesses, um die beste Konfiguration relevanter Hyperparameter in Ihrem Modell zu finden. Weitere Informationen zu Hyperparametern finden Sie unter Dieser Artikel zur Beherrschung des maschinellen Lernens.

Parameter sind wie die internen Drehregler und Knöpfe eines Modells für maschinelles Lernen – sie definieren die „Persönlichkeit“ oder das „Verhalten“ des Modells, nämlich welche Aspekte der Daten es berücksichtigt und in welchem ​​Umfang.

Da wir nun ein besseres Verständnis der Modellparameter für maschinelles Lernen haben, stellen sich einige Fragen:

1. Wie sehen Parameter aus?
2. Wie viele Parameter gibt es in einem maschinellen Lernmodell?

Parameter sind normalerweise numerische Werte, die wie Gewichte aussehen, die bei einigen Modelltypen zwischen 0 und 1 liegen und bei anderen beliebige andere reale Werte annehmen können. Aus diesem Grund werden im Fachjargon des maschinellen Lernens die Begriffe Parameter und Gewicht häufig verwendet, um sich auf dasselbe Konzept zu beziehen, insbesondere in Modellen, die auf neuronalen Netzwerken basieren. Je höher dieses Gewicht ist, desto stärker beeinflusst dieser „Knopf“ im Modell das Ergebnis oder die Vorhersage. In einfacheren Modellen für maschinelles Lernen, wie z. B. linearen Regressionsmodellen, werden Parameter mit Eingabedatenmerkmalen verknüpft.

Angenommen, wir möchten den Preis einer Wohnung anhand von vier Attributen vorhersagen: Größe in Quadratmetern, Nähe zum Stadtzentrum, Anzahl der Schlafzimmer und Alter des Gebäudes in Jahren. Ein für diese Vorhersageaufgabe trainiertes lineares Regressionsmodell hätte vier Parameter – einen, der mit jedem Eingabeprädiktor verknüpft ist – sowie einen zusätzlichen Parameter namens Bias-Time period (oder Achsenabschnitt), der nicht mit einem Eingabemerkmal Ihrer Daten verknüpft ist, aber normalerweise in vielen Modellen für maschinelles Lernen benötigt wird, um mehr „Freiheit“ zu haben, um effektiv aus verschiedenen Daten zu lernen. Somit gibt jeder Parameter oder Gewichtswert die Stärke des Einflusses des zugehörigen Eingabemerkmals bei der Erstellung einer Vorhersage mit diesem Modell an. Wenn die „Nähe zum Stadtzentrum“ das höchste Gewicht hat, bedeutet das, dass die Wohnungspreise in Sevilla weitgehend davon beeinflusst werden, wie weit sie vom Stadtzentrum entfernt sind.

Allgemeiner und mathematisch gesehen werden Parameter in einem einfachen Modell wie einem multiplen linearen Regressionsmodell in einer Gleichung wie dieser mit ( theta_i ) bezeichnet:
(
hat{y} = theta_0 + theta_1x_1 + dots + theta_nx_n
)

Natürlich verfügen nur die einfachsten Arten von Modellen für maschinelles Lernen über diese geringe Anzahl von Parametern. Mit zunehmender Datenkomplexität steigt normalerweise auch der Bedarf an größeren, ausgefeilteren Modellen wie Assist-Vektor-Maschinen, Random-Forest-Ensembles oder neuronalen Netzen, die zusätzliche Schichten struktureller Komplexität einführen, um herausfordernde Beziehungen und Muster lernen zu können. Infolgedessen verfügen größere Modelle über eine viel höhere Anzahl von Parametern, die nicht nur mit Eingaben verknüpft sind, sondern auch mit komplexen und abstrakten Wechselbeziehungen zwischen Eingaben, die im Inneren des Modells gestapelt und aufgebaut werden. Ein tiefes neuronales Netzwerk kann beispielsweise Hunderte bis Millionen von Parametern und einige der derzeit größten Modelle für maschinelles Lernen haben – das Transformatorarchitektur hinter großen Sprachmodellen (LLMs) – enthalten typischerweise Milliarden lernbarer Parameter!

# Parameter lernen und potenzielle Probleme angehen

Wenn der Prozess zum Trainieren eines Modells für maschinelles Lernen beginnt, werden Parameter normalerweise als Zufallswerte initialisiert. Das Modell erstellt Vorhersagen unter Verwendung von Trainingsdatenbeispielen mit bekannten Vorhersageergebnissen, z. B. Wohnungen mit bekannten Preisen, ermittelt den gemachten Fehler und passt einige Parameter entsprechend an, um die gemachten Fehler schrittweise zu reduzieren. So lernen Modelle für maschinelles Lernen Beispiel für Beispiel: Parameter werden während des Trainings schrittweise und iterativ aktualisiert, wodurch sie immer besser auf die Menge an Trainingsbeispielen zugeschnitten werden, denen das Modell ausgesetzt ist.

Leider können in der Praxis einige Schwierigkeiten und Probleme auftreten, wenn ein Modell für maschinelles Lernen trainiert wird – mit anderen Worten, während die Parameterwerte schrittweise festgelegt werden. Einige häufige Probleme sind: Überanpassung und sein Gegenstück unterpassen, und sie manifestieren sich durch einige schließlich gelernte Parameter, die nicht in ihrem besten Zustand sind, was zu einem Modell führt, das möglicherweise schlechte Vorhersagen liefert. Diese Probleme können zum Teil auch auf vom Menschen getroffene Entscheidungen zurückzuführen sein, beispielsweise auf die Auswahl eines Modells, das für die vorliegenden Trainingsdaten zu komplex oder zu einfach ist, d. h. die Anzahl der Parameter im Modell ist zu klein oder zu groß. Ein Modell mit zu vielen Parametern kann langsam, kostspielig in der Schulung und Verwendung und schwieriger zu kontrollieren sein, wenn es mit der Zeit schlechter wird. Unterdessen verfügt ein Modell mit zu wenigen Parametern nicht über genügend Flexibilität, um nützliche Muster aus den Daten zu lernen.

# Zusammenfassung

In diesem Artikel wurde in einfachen und freundlichen Worten ein wesentliches Factor in Modellen für maschinelles Lernen erklärt: Parameter. Sie sind wie die DNA Ihres Modells, und zu verstehen, was sie sind, wie sie gelernt werden und wie sie sich auf das Verhalten und die Leistung des Modells auswirken, ist ein wichtiger Experte auf dem Weg zu maschinellem Lernen.

Iván Palomares Carrascosa ist ein führender Autor, Redner und Berater in den Bereichen KI, maschinelles Lernen, Deep Studying und LLMs. Er schult und leitet andere darin, KI in der realen Welt zu nutzen.

Bild von Autor | Ideogramm

Verstärkungslernen Algorithmen sind seit einiger Zeit Teil der künstlichen Intelligenz und des maschinellen Lernens. Diese Algorithmen zielen darauf ab Verfolgen Sie ein Ziel, indem Sie kumulative Belohnungen durch Versuchs- und Error-Interaktionen mit einer Umgebung maximieren.

Während sie seit mehreren Jahrzehnten überwiegend auf simulierte Umgebungen wie Robotik, Spiele und komplexe Rätsellösung angewendet wurden, gab es in den letzten Jahren eine large Verschiebung in Richtung Verstärkungslernen für eine besonders wirkungsvolle Verwendung in realen Anwendungen. Und hier Grpo (Gruppenrelative Politikoptimierung) eine Methode, die von entwickelt wurde von Deepseekist immer relevanter geworden.

Dieser Artikel enthüllt, was Grpo ist, und erklärt, wie er im Kontext von LLMs funktioniert, indem er eine einfachere und verständliche Erzählung verwendet. Fangen wir an!

Innerhalb von GRPO (Gruppenrelative Richtlinienoptimierung)

LLMs sind manchmal begrenzt, wenn sie die Aufgabe haben, Antworten auf Benutzeranfragen zu generieren, die auf dem Kontext hoch basieren. Wenn Sie beispielsweise gebeten werden, eine Frage zu beantworten, die auf einem bestimmten Dokument, Code-Snippet oder einem von Benutzer bereitgestellten Hintergrund basiert, ist wahrscheinlich allgemeines „Weltwissen“ überschrieben oder widerspricht. Im Wesentlichen kann das von der LLM beim Coaching gewonnene Wissen – das heißt, mit Tonnen von Textdokumenten genährt, um zu lernen, um zu verstehen und Sprache zu erzeugen – manchmal falsch ausgerichtet oder sogar mit den Informationen oder Kontext in Konflikt stehen, die neben der Eingabeaufforderung des Benutzers bereitgestellt werden.

GRPO wurde entwickelt, um die LLM-Funktionen zu verbessern, insbesondere wenn sie die oben beschriebenen Probleme aufweisen. Es ist eine Variante eines weiteren populären Ansatzes für Verstärkungslernen, proximale Richtlinienoptimierung (PPO), und es ist so konzipiert, dass sie sich bei mathematischen Argumentation übertrifft und gleichzeitig die Einschränkungen der Speichernutzung von PPO optimiert.

Um Grpo besser zu verstehen, schauen wir uns zuerst einen kurzen Blick auf PPO. In einfachen Worten und im Kontext von LLMs versucht PPO, die generierten Antworten des Modells auf den Benutzer durch Versuch und Irrtum sorgfältig zu verbessern, ohne dass das Modell zu weit von dem, was sein bereits bekannt ist, von dem bereits bekannten Wissen entfernt ist. Dieses Prinzip ähnelt dem Prozess der Ausbildung eines Schülers, um bessere Aufsätze zu schreiben: Während PPO nicht möchte, dass der Schüler seinen Schreibstil auf Suggestions -Teilen vollständig ändert, würde der Algorithmus sie lieber mit kleinen und stetigen Korrekturen führen und dem Schüler dabei helfen, seine Fähigkeiten zum Schreiben von Aufsätzen allmählich zu verbessern.

In der Zwischenzeit geht Grpo einen Schritt darüber hinaus, und hier kommt das „G“ für die Gruppe in Grpo ins Spiel. Zurück zum vorherigen Schülerbeispiel beschränkt sich Grpo nicht auf die individuelle Korrektur der Schreibfähigkeiten des Schülers. Dies geschieht, indem er beobachtet, wie eine Gruppe anderer Schüler auf ähnliche Aufgaben reagiert und diejenigen belohnt, deren Antworten die genauesten, konsequentesten und kontextuell mit anderen Schülern in der Gruppe ausgerichtet sind. Zurück zu LLM- und Verstärkungs -Lernjargon trägt diese Artwork von kollaborativem Ansatz dazu bei, die argumentativen Muster zu verstärken, die logischer, robuster und mit dem gewünschten LLM -Verhalten ausgerichtet sind, insbesondere bei herausfordernden Aufgaben, wie beispielsweise bei der Konsistenz über lange Gespräche oder die Lösung mathematischer Probleme.

In der obigen Metapher ist der Schüler, der geschult wird, um zu verbessern, die Richtlinie des aktuellen Verstärkungslernens, die mit der Aktualisierung der LLM -Model verbunden ist. Eine Verstärkungslernpolitik ähnelt im Grunde genommen dem internen Reiseführer des Modells. Das Modell mit der Auswahl des nächsten Zuges oder seiner Antwort basierend auf der aktuellen State of affairs oder Aufgabe. In der Zwischenzeit ist die Gruppe anderer Schüler in GRPO wie eine Inhabitants alternativer Reaktionen oder Richtlinien, die normalerweise aus mehreren Modellvarianten oder unterschiedlichen Trainingsphasen (Reifegradversionen) desselben Modells abgetastet wurden.

Die Bedeutung von Belohnungen in Grpo

Ein wichtiger Aspekt bei der Verwendung von GRPO ist, dass es häufig davon profitiert, sich konsequent auf konsequent zu verlassen messbare Belohnungen effektiv arbeiten. In diesem Zusammenhang kann eine Belohnung als objektives Sign verstanden werden, das die allgemeine Angemessenheit der Reaktion eines Modells angibt – unter Berücksichtigung von Faktoren wie Qualität, sachlicher Genauigkeit, Sprach- und Kontextrelevanz.

Zum Beispiel, wenn der Benutzer eine Frage zu „zu“ stellte „Welche Viertel in Osaka sollten Sie das beste Road Meals ausprobiert?„Eine angemessene Antwort sollte in erster Linie spezifische, aktuelle Vorschläge für Standorte in Osaka wie z. Dotonbori oder Kuromon Ichiba Marktzusammen mit kurzen Erklärungen darüber, was Road Meals dort zu finden ist (ich sehe Sie an, Takoyaki -Bälle). Eine weniger geeignete Antwort kann irrelevante Städte oder falsche Orte auflisten, vage Vorschläge liefern oder einfach das Road Meals zum Versuch erwähnen, wobei das „Wo“ -Teil der Antwort vollständig ignoriert wird.

Messbare Belohnungen helfen dabei, den GRPO -Algorithmus zu leiten, indem er eine Reihe möglicher Antworten entworfen und vergleichen kann, die nicht alle durch das Subjektmodell isoliert erzeugt werden, sondern indem sie beobachtet, wie andere Modellvarianten auf dieselbe Eingabeaufforderung reagierten. Das Subjektmodell wird daher dazu ermutigt, Muster und Verhalten aus den höheren (am meisten belohnten) Antworten über die Gruppe der Variantenmodelle zu übernehmen. Das Ergebnis? Zuverlässigere, konsistentere und kontextbezogene Antworten werden an den Endbenutzer geliefert, insbesondere in Frage-Anlern-Aufgaben, die Argumentation beinhalten, nuancierte Abfragen oder die Ausrichtung auf menschliche Vorlieben erfordern.

Abschluss

GRPO ist ein Ansatz für Verstärkungslernen, der von entwickelt wurde von Deepseek Verbesserung der Leistung hochmoderner großer Sprachmodelle, indem Sie dem Prinzip des „Lernens, bessere Antworten zu generieren, indem Sie beobachten, wie Gleichaltrige in einer Gruppe reagieren“. Mit einer sanften Erzählung hat dieser Artikel Aufschluss darüber geben, wie GRPO funktioniert und wie er den Wert erhöht, indem Sprachmodelle bei der Behandlung komplexer oder nuancierter Konverszenarien robuster, kontextbewusster und effektiver werden.

Iván Palomares Carrascosa ist ein Führer, Schriftsteller, Sprecher und Berater in KI, maschinellem Lernen, Deep Studying & LLMs. Er trainiert und führt andere darin, KI in der realen Welt zu nutzen.