Bild vom Herausgeber

# Einführung

Maschinelles Lernen Systeme bestehen im Wesentlichen aus Modellen – wie Entscheidungsbäumen, linearen Regressoren oder neuronalen Netzen und vielen anderen –, die auf einer Reihe von trainiert wurden Daten Beispiele, um eine Reihe von Mustern oder Beziehungen zu lernen, beispielsweise um den Preis einer Wohnung im sonnigen Sevilla (Spanien) anhand ihrer Eigenschaften vorherzusagen. Die Qualität oder Leistung eines maschinellen Lernmodells bei der Aufgabe, für die es trainiert wurde, hängt jedoch weitgehend von seinem eigenen „Aussehen“ oder seiner „Type“ ab. Sogar zwei Modelle desselben Typs, beispielsweise zwei lineare Regressionsmodelle, können je nach einem Schlüsselaspekt sehr unterschiedlich funktionieren: ihren Parametern.

Dieser Artikel entmystifiziert das Konzept von a Parameter in Modellen für maschinelles Lernen und beschreibt, was diese sind, wie viele Parameter ein Modell hat (Spoiler-Alarm: Es kommt darauf an!) und was beim Festlegen der Parameter eines Modells während des Trainings schief gehen kann. Lassen Sie uns diese Kernkomponenten untersuchen.

# Entmystifizierung von Parametern in Modellen des maschinellen Lernens

Parameter sind wie die intern Zifferblätter und Knöpfe eines maschinellen Lernmodells: Sie definieren das Verhalten Ihres Modells. So wie die Kaffeemaschine eines Barista je nach Qualität der gemahlenen Kaffeebohnen eine Tasse Kaffee mit unterschiedlicher Qualität zubereiten kann, werden die Parameter eines maschinellen Lernmodells je nach Artwork – und weitgehend auch Qualität – der Trainingsdatenbeispiele, die zum Erlernen der Ausführung einer Aufgabe verwendet werden, unterschiedlich eingestellt.

Zurück zum Fall der Vorhersage von Wohnungspreisen: Wenn der Trainingsdatensatz von Wohnungsbeispielen mit bekannten Preisen verrauschte, irrelevante oder voreingenommene Informationen enthält, kann der Trainingsprozess ein Modell ergeben, dessen Parameter (denken Sie daran, intern Einstellungen) erfassen irreführende Muster oder Enter-Output-Beziehungen, was zu schlechten Preisvorhersagen führt. Wenn der Datensatz hingegen saubere, repräsentative und qualitativ hochwertige Beispiele enthält, besteht eine gute Likelihood, dass der Trainingsprozess ein Modell hervorbringt, dessen Parameter genau auf die tatsächlichen Faktoren abgestimmt sind, die höhere oder niedrigere Immobilienpreise beeinflussen, was zu hervorragenden Vorhersagen führt.

Jetzt ist mir aufgefallen, dass ich die Kursivschrift verwendet habe, um das Wort hervorzuheben.intern“ mehrmals? Das battle rein absichtlich und notwendig, um zwischen Parametern von Modellen für maschinelles Lernen und Hyperparametern zu unterscheiden. Im Vergleich zu Parametern ist ein Hyperparameter in einem Modell für maschinelles Lernen wie ein Drehknopf, ein Knopf oder sogar eine Style oder ein Schalter äußerlich und manuell angepasst (nicht aus den Daten gelernt), typischerweise durch einen Menschen, aber auch als Ergebnis eines Suchprozesses, um die beste Konfiguration relevanter Hyperparameter in Ihrem Modell zu finden. Weitere Informationen zu Hyperparametern finden Sie unter Dieser Artikel zur Beherrschung des maschinellen Lernens.

Parameter sind wie die internen Drehregler und Knöpfe eines Modells für maschinelles Lernen – sie definieren die „Persönlichkeit“ oder das „Verhalten“ des Modells, nämlich welche Aspekte der Daten es berücksichtigt und in welchem ​​Umfang.

Da wir nun ein besseres Verständnis der Modellparameter für maschinelles Lernen haben, stellen sich einige Fragen:

1. Wie sehen Parameter aus?
2. Wie viele Parameter gibt es in einem maschinellen Lernmodell?

Parameter sind normalerweise numerische Werte, die wie Gewichte aussehen, die bei einigen Modelltypen zwischen 0 und 1 liegen und bei anderen beliebige andere reale Werte annehmen können. Aus diesem Grund werden im Fachjargon des maschinellen Lernens die Begriffe Parameter und Gewicht häufig verwendet, um sich auf dasselbe Konzept zu beziehen, insbesondere in Modellen, die auf neuronalen Netzwerken basieren. Je höher dieses Gewicht ist, desto stärker beeinflusst dieser „Knopf“ im Modell das Ergebnis oder die Vorhersage. In einfacheren Modellen für maschinelles Lernen, wie z. B. linearen Regressionsmodellen, werden Parameter mit Eingabedatenmerkmalen verknüpft.

Angenommen, wir möchten den Preis einer Wohnung anhand von vier Attributen vorhersagen: Größe in Quadratmetern, Nähe zum Stadtzentrum, Anzahl der Schlafzimmer und Alter des Gebäudes in Jahren. Ein für diese Vorhersageaufgabe trainiertes lineares Regressionsmodell hätte vier Parameter – einen, der mit jedem Eingabeprädiktor verknüpft ist – sowie einen zusätzlichen Parameter namens Bias-Time period (oder Achsenabschnitt), der nicht mit einem Eingabemerkmal Ihrer Daten verknüpft ist, aber normalerweise in vielen Modellen für maschinelles Lernen benötigt wird, um mehr „Freiheit“ zu haben, um effektiv aus verschiedenen Daten zu lernen. Somit gibt jeder Parameter oder Gewichtswert die Stärke des Einflusses des zugehörigen Eingabemerkmals bei der Erstellung einer Vorhersage mit diesem Modell an. Wenn die „Nähe zum Stadtzentrum“ das höchste Gewicht hat, bedeutet das, dass die Wohnungspreise in Sevilla weitgehend davon beeinflusst werden, wie weit sie vom Stadtzentrum entfernt sind.

Allgemeiner und mathematisch gesehen werden Parameter in einem einfachen Modell wie einem multiplen linearen Regressionsmodell in einer Gleichung wie dieser mit ( theta_i ) bezeichnet:
(
hat{y} = theta_0 + theta_1x_1 + dots + theta_nx_n
)

Natürlich verfügen nur die einfachsten Arten von Modellen für maschinelles Lernen über diese geringe Anzahl von Parametern. Mit zunehmender Datenkomplexität steigt normalerweise auch der Bedarf an größeren, ausgefeilteren Modellen wie Assist-Vektor-Maschinen, Random-Forest-Ensembles oder neuronalen Netzen, die zusätzliche Schichten struktureller Komplexität einführen, um herausfordernde Beziehungen und Muster lernen zu können. Infolgedessen verfügen größere Modelle über eine viel höhere Anzahl von Parametern, die nicht nur mit Eingaben verknüpft sind, sondern auch mit komplexen und abstrakten Wechselbeziehungen zwischen Eingaben, die im Inneren des Modells gestapelt und aufgebaut werden. Ein tiefes neuronales Netzwerk kann beispielsweise Hunderte bis Millionen von Parametern und einige der derzeit größten Modelle für maschinelles Lernen haben – das Transformatorarchitektur hinter großen Sprachmodellen (LLMs) – enthalten typischerweise Milliarden lernbarer Parameter!

# Parameter lernen und potenzielle Probleme angehen

Wenn der Prozess zum Trainieren eines Modells für maschinelles Lernen beginnt, werden Parameter normalerweise als Zufallswerte initialisiert. Das Modell erstellt Vorhersagen unter Verwendung von Trainingsdatenbeispielen mit bekannten Vorhersageergebnissen, z. B. Wohnungen mit bekannten Preisen, ermittelt den gemachten Fehler und passt einige Parameter entsprechend an, um die gemachten Fehler schrittweise zu reduzieren. So lernen Modelle für maschinelles Lernen Beispiel für Beispiel: Parameter werden während des Trainings schrittweise und iterativ aktualisiert, wodurch sie immer besser auf die Menge an Trainingsbeispielen zugeschnitten werden, denen das Modell ausgesetzt ist.

Leider können in der Praxis einige Schwierigkeiten und Probleme auftreten, wenn ein Modell für maschinelles Lernen trainiert wird – mit anderen Worten, während die Parameterwerte schrittweise festgelegt werden. Einige häufige Probleme sind: Überanpassung und sein Gegenstück unterpassen, und sie manifestieren sich durch einige schließlich gelernte Parameter, die nicht in ihrem besten Zustand sind, was zu einem Modell führt, das möglicherweise schlechte Vorhersagen liefert. Diese Probleme können zum Teil auch auf vom Menschen getroffene Entscheidungen zurückzuführen sein, beispielsweise auf die Auswahl eines Modells, das für die vorliegenden Trainingsdaten zu komplex oder zu einfach ist, d. h. die Anzahl der Parameter im Modell ist zu klein oder zu groß. Ein Modell mit zu vielen Parametern kann langsam, kostspielig in der Schulung und Verwendung und schwieriger zu kontrollieren sein, wenn es mit der Zeit schlechter wird. Unterdessen verfügt ein Modell mit zu wenigen Parametern nicht über genügend Flexibilität, um nützliche Muster aus den Daten zu lernen.

# Zusammenfassung

In diesem Artikel wurde in einfachen und freundlichen Worten ein wesentliches Factor in Modellen für maschinelles Lernen erklärt: Parameter. Sie sind wie die DNA Ihres Modells, und zu verstehen, was sie sind, wie sie gelernt werden und wie sie sich auf das Verhalten und die Leistung des Modells auswirken, ist ein wichtiger Experte auf dem Weg zu maschinellem Lernen.

Iván Palomares Carrascosa ist ein führender Autor, Redner und Berater in den Bereichen KI, maschinelles Lernen, Deep Studying und LLMs. Er schult und leitet andere darin, KI in der realen Welt zu nutzen.