dieser Serie werden wir darüber sprechen tiefes Lernen.

Und wenn man über Deep Studying spricht, denken wir sofort an diese Bilder von Architekturen tiefer neuronaler Netze mit vielen Schichten, Neuronen und Parametern.

In der Praxis liegt der eigentliche Wandel, den Deep Studying mit sich bringt, woanders.

Es geht um Lernen von Datendarstellungen.

In diesem Artikel konzentrieren wir uns auf Texteinbettungenerklären Sie ihre Rolle in der maschinellen Lernlandschaft und zeigen Sie, wie sie sein können in Excel verstanden und untersucht.

1. Klassisches maschinelles Verdienen vs. Deep Studying

In diesem Teil werden wir diskutieren, warum die Einbettung eingeführt wird.

1.1 Wo passt Deep Studying?

Um Einbettungen zu verstehen, müssen wir zunächst den Stellenwert von Deep Studying klären.

Wir werden den Begriff verwenden klassisches maschinelles Lernen um Methoden zu beschreiben, die nicht auf tiefen Architekturen basieren.

Alle vorherigen Artikel befassen sich mit klassischem maschinellen Lernen, das auf zwei komplementäre Arten beschrieben werden kann.

Lernparadigmen

• Überwachtes Lernen
• Unbeaufsichtigtes Lernen

Modellfamilien

• Distanzbasierte Modelle
• Baumbasierte Modelle
• Gewichtsbasierte Modelle

In dieser Serie haben wir bereits die Lernalgorithmen hinter diesen Modellen untersucht. Insbesondere das haben wir gesehen Gefälleabstieg gilt für alle gewichtsbasierten Modelle, von der linearen Regression bis hin zu neuronalen Netzen.

Deep Studying wird oft auf neuronale Netze mit vielen Schichten reduziert.

Aber diese Erklärung ist unvollständig.

Aus Optimierungssicht führt Deep Studying keine neue Lernregel ein.

Was bedeutet es additionally?

1.2 Deep Studying als Datenrepräsentationslernen

Beim Deep Studying geht es darum wie Options erstellt werden.

Statt Options manuell zu entwerfen, Deep Studying lernt Darstellungen automatischoft durch mehrere aufeinanderfolgende Transformationen.

Dies wirft auch eine wichtige konzeptionelle Frage auf:

Wo ist die Grenze zwischen Function Engineering und Modelllernen?

Einige Beispiele machen dies deutlicher:

• Die polynomielle Regression ist immer noch ein lineares Modell, aber die Merkmale sind polynomial
• Kernel-Methoden projizieren Daten in einen hochdimensionalen Merkmalsraum
• Dichtebasierte Methoden transformieren die Daten implizit vor dem Lernen

Deep Studying setzt diese Idee fort, allerdings in großem Maßstab.

Aus dieser Perspektive gehört Deep Studying zu:

• Die Function-Engineering-Philosophiezur Darstellung
• Die gewichtsbasierte Modellfamiliezum Lernen

1.3 Bilder und Faltungs-Neuronale Netze

Bilder werden dargestellt als Pixel.

Aus technischer Sicht sind Bilddaten bereits numerisch und strukturiert: ein Zahlenraster. Allerdings ist die Info Die in diesen Pixeln enthaltenen Informationen sind nicht so strukturiert, dass klassische Modelle sie leicht ausnutzen können.

Pixel kodieren nicht explizit: Kanten, Formen, Texturen oder Objekte.

Convolutional Neural Networks (CNNs) sind darauf ausgelegt Informationen aus Pixeln erstellen. Sie wenden Filter an, um lokale Muster zu erkennen, und kombinieren sie dann schrittweise zu Darstellungen auf höherer Ebene.

Ich habe eine veröffentlicht dieser Artikel Zeigt, wie CNNs in Excel implementiert werden können, um diesen Prozess explizit zu machen.

Bei Bildern besteht die Herausforderung darin nicht um die Daten numerisch zu machen, sondern um aussagekräftige Darstellungen extrahieren aus bereits numerischen Daten.

1.4 Textdaten: ein anderes Downside

Textual content stellt eine grundlegend andere Herausforderung dar.

Im Gegensatz zu Bildern ist Textual content von Natur aus nicht numerisch.

Vor der Modellierung von Kontext oder Reihenfolge ist das erste Downside grundlegender:

Wie stellen wir Wörter numerisch dar?

Der erste Schritt besteht darin, eine numerische Darstellung für Textual content zu erstellen.

Beim Deep Studying für Textual content wird dieser Schritt von übernommen Einbettungen.

Durch Einbettungen werden diskrete Symbole (Wörter) in Vektoren umgewandelt, mit denen Modelle arbeiten können. Sobald Einbettungen vorhanden sind, können wir Folgendes modellieren: Kontext, Reihenfolge und Beziehungen zwischen Wörtern.

In diesem Artikel konzentrieren wir uns auf diesen ersten und wesentlichen Schritt:
wie Einbettungen numerische Darstellungen für Textual content erstellenund wie dieser Prozess in Excel untersucht werden kann.

2. Zwei Möglichkeiten, Texteinbettungen zu lernen

In diesem Artikel verwenden wir die IMDB-Datensatz zu Filmkritiken um beide Ansätze zu veranschaulichen. Der Datensatz wird unter der Apache-Lizenz 2.0 vertrieben.

Es gibt zwei Hauptmethoden, um Einbettungen für Textual content zu lernen, und wir werden beide mit diesem Datensatz durchführen:

• überwacht: Wir erstellen Einbettungen, um die Stimmung vorherzusagen
• unbeaufsichtigt oder selbstüberwacht: Wir werden den Word2vec-Algorithmus verwenden

In beiden Fällen ist das Ziel dasselbe:
um Wörter in numerische Vektoren umzuwandeln, die von Modellen des maschinellen Lernens verwendet werden können.

Bevor wir diese beiden Ansätze vergleichen, müssen wir zunächst klären, was Einbettungen sind und in welcher Beziehung sie zum klassischen maschinellen Lernen stehen.

2.1 Einbettungen und klassisches maschinelles Lernen

Beim klassischen maschinellen Lernen werden kategoriale Daten normalerweise wie folgt verarbeitet:

• Etikettenkodierungdas feste Ganzzahlen zuweist, aber eine künstliche Ordnung einführt
• One-Sizzling-Kodierungwodurch die Ordnung entfernt wird, aber hochdimensionale, dünn besetzte Vektoren erzeugt werden

Wie sie eingesetzt werden können, hängt von der Artwork der Modelle ab.

Distanzbasierte Modelle One-Sizzling-Codierung kann nicht effektiv verwendet werden, da am Ende alle Kategorien gleich weit voneinander entfernt sind. Die Etikettenkodierung könnte nur funktionieren, wenn wir den Kategorien aussagekräftige numerische Werte zuordnen können, was in klassischen Modellen im Allgemeinen nicht der Fall ist.

Gewichtsbasierte Modelle kann One-Sizzling-Codierung verwenden, da das Modell eine Gewichtung für jede Kategorie lernt. Im Gegensatz dazu sind bei der Etikettenkodierung die numerischen Werte fest und können nicht angepasst werden, um sinnvolle Beziehungen darzustellen.

Baumbasierte Modelle Behandeln Sie alle Variablen als kategoriale Aufteilungen und nicht als numerische Größen, was die Etikettenkodierung in der Praxis akzeptabel macht. Allerdings erfordern die meisten Implementierungen, einschließlich scikit-learn, immer noch numerische Eingaben. Daher müssen Kategorien in Zahlen umgewandelt werden, entweder durch Label-Kodierung oder One-Sizzling-Kodierung. Wenn die numerischen Werte eine semantische Bedeutung hätten, wäre dies wiederum von Vorteil.

Insgesamt verdeutlicht dies eine Einschränkung klassischer Ansätze:
Kategoriewerte sind fest und werden nicht gelernt.

Einbettungen erweitern diese Idee um Erlernen der Darstellung selbst.
Jedes Wort ist mit einem trainierbaren Vektor verknüpft, wodurch die Darstellung von Kategorien zu einem Lernproblem und nicht zu einem Vorverarbeitungsschritt wird.

2.2 Überwachte Einbettungen

Beim überwachten Lernen werden Einbettungen im Rahmen einer Vorhersageaufgabe gelernt.

Der IMDB-Datensatz enthält beispielsweise Beschriftungen zur In-Sentiment-Analyse. So können wir eine sehr einfache Architektur erstellen:

In unserem Fall können wir eine sehr einfache Architektur verwenden: Jedes Wort wird einem zugeordnet eindimensionale Einbettung

Dies ist möglich, da das Ziel eine binäre Stimmungsklassifizierung ist.

Sobald die Schulung abgeschlossen ist, können wir es tun Exportieren Sie die Einbettungen und erkunden Sie sie in Excel.

Wenn man die Einbettungen auf der x-Achse und die Worthäufigkeit auf der y-Achse aufträgt, zeigt sich ein klares Muster:

• Optimistic Werte werden mit Wörtern wie verbunden exzellent oder wunderbar,
• Detrimental Werte werden mit Wörtern wie verbunden am schlimmsten oder Abfall

Abhängig von der Initialisierung kann das Vorzeichen umgekehrt werden, da die logistische Regressionsschicht auch über Parameter verfügt, die die endgültige Vorhersage beeinflussen.

Schließlich rekonstruieren wir in Excel die vollständige Pipeline, die der Architektur entspricht, die wir frühzeitig definiert haben.

Eingabespalte
Der Eingabetext (eine Rezension) wird in Wörter zerschnitten und jede Zeile entspricht einem Wort.

Einbettungssuche
Mithilfe einer Nachschlagefunktion wird der jedem Wort zugeordnete Einbettungswert aus der während des Trainings erlernten Einbettungstabelle abgerufen.

Globaler Durchschnitt
Die globale durchschnittliche Einbettung wird berechnet, indem die Einbettungen aller bisher gesehenen Wörter gemittelt werden. Dies entspricht einer sehr einfachen Satzdarstellung: dem Mittelwert von Wortvektoren.

Wahrscheinlichkeitsvorhersage
Die gemittelte Einbettung wird dann durch eine Logistikfunktion geleitet, um eine Stimmungswahrscheinlichkeit zu erzeugen.

Was wir beobachten

• Worte mit stark optimistic Einbettungen (Zum Beispiel exzellent, Liebe, Spaß) treiben den Durchschnitt nach oben.
• Worte mit stark adverse Einbettungen (Zum Beispiel am schlimmsten, schrecklich, Abfall) ziehen den Durchschnitt nach unten.
• Neutrale oder schwach gewichtete Wörter haben kaum Einfluss.

Wenn mehr Wörter hinzugefügt werden, stabilisiert sich die globale durchschnittliche Einbettung und die Stimmungsvorhersage wird sicherer.

2.3 Word2Vec: Einbettungen aus Kookkurrenz

In Word2Vec, Ähnlichkeit bedeutet nicht, dass zwei Wörter die gleiche Bedeutung haben.
Es bedeutet, dass sie tauchen in ähnlichen Zusammenhängen auf.

Word2Vec lernt Worteinbettungen durch Ansehen welche Wörter häufig gleichzeitig vorkommen innerhalb eines festen Fensters im Textual content. Zwei Wörter gelten als ähnlich, wenn sie häufig vorkommen um die gleichen benachbarten Wörter herumauch wenn ihre Bedeutungen entgegengesetzt sind.

Wie in der Excel-Tabelle unten gezeigt, berechnen wir die Kosinusähnlichkeit für das Wort Intestine und rufen Sie die ähnlichsten Wörter ab.

Aus Sicht des Modells sind die umgebenden Wörter nahezu identisch. Das Einzige, was sich ändert, ist das Adjektiv selbst.

Dadurch lernt Word2Vec das „intestine“ und „schlecht“ spielen in der Sprache eine ähnliche Rolleauch wenn ihre Bedeutung entgegengesetzt ist.

Additionally erfasst Word2Vec Verteilungsähnlichkeitnicht semantische Polarität.

Eine nützliche Möglichkeit, darüber nachzudenken, ist:

Wörter sind nahe beieinander, wenn sie an denselben Stellen verwendet werden.

2.4 Wie Einbettungen verwendet werden

In modernen Systemen wie z RAG (Retrieval-Augmented Technology)Einbettungen werden häufig verwendet, um Dokumente oder Passagen zur Beantwortung von Fragen abzurufen.

Dieser Ansatz weist jedoch Einschränkungen auf.

Die am häufigsten verwendeten Einbettungen werden in a trainiert selbstüberwacht basierend auf Koexistenz oder kontextbezogenen Vorhersagezielen. Dadurch erfassen sie allgemeine Sprachähnlichkeiten und keine aufgabenspezifische Bedeutung.

Das bedeutet:

• Einbettungen können jedoch Textual content abrufen, der sprachlich ähnlich ist nicht related
• Semantische Nähe ist keine Garantie Richtigkeit der Antwort

Andere Einbettungsstrategien können verwendet werden, einschließlich aufgabenangepasster oder überwachter Einbettungen, aber sie bleiben im Kern oft selbstüberwacht.

Daher ist es wichtig zu verstehen, wie Einbettungen erstellt werden, was sie kodieren und was nicht, bevor sie in nachgelagerten Systemen wie RAG verwendet werden.

Abschluss

Einbettungen sind erlernte numerische Darstellungen von Wörtern, die Ähnlichkeit messbar machen.

Unabhängig davon, ob sie durch Aufsicht oder durch gemeinsames Vorkommen erlernt wurden, bilden Einbettungen Wörter basierend auf ihrer Verwendung in Daten Vektoren zu. Durch den Export nach Excel können wir diese Darstellungen direkt prüfen, Ähnlichkeiten berechnen und verstehen, was sie erfassen und was nicht.

Dies macht Einbettungen weniger mysteriös und verdeutlicht ihre Rolle als Grundlage für komplexere Systeme wie Retrieval oder RAG.

werden oft als Black Containers dargestellt.

Ebenen, Aktivierungen, Farbverläufe, Backpropagation … es kann sich überwältigend anfühlen, insbesondere wenn alles hinter mannequin.match() verborgen ist.

Wir werden eine bauen Regressor für neuronale Netze von Grund auf mit Excel erstellen. Jede Berechnung wird explizit sein. Jeder Zwischenwert wird sichtbar sein. Nichts wird verborgen bleiben.

Am Ende dieses Artikels werden Sie verstehen, wie ein neuronales Netzwerk eine Regression durchführt, wie die Vorwärtsausbreitung funktioniert und wie das Modell nichtlineare Funktionen mit nur wenigen Parametern annähern kann.

Bevor Sie beginnen, sollten Sie sich zunächst die Implementierung von ansehen, wenn Sie meine vorherigen Artikel noch nicht gelesen haben lineare Regression Und Logistische Regression.

Sie werden sehen, dass ein neuronales Netzwerk kein neues Objekt ist. Es ist eine natürliche Erweiterung dieser Modelle.

Wie üblich werden wir diese Schritte befolgen:

• Zunächst schauen wir uns an, wie das Modell eines Neural Community Regressor funktioniert. Bei neuronalen Netzen wird dieser Schritt Vorwärtsausbreitung genannt.
• Dann trainieren wir diese Funktion mithilfe des Gradientenabstiegs. Dieser Vorgang wird Backpropagation genannt.

1. Vorwärtsausbreitung

In diesem Teil definieren wir unser Modell und implementieren es dann in Excel, um zu sehen, wie die Vorhersage funktioniert.

1.1 Ein einfacher Datensatz

Wir werden einen sehr einfachen Datensatz verwenden, den ich generiert habe. Es besteht aus nur 12 Beobachtungen und einem einzigen Merkmal.

Wie Sie sehen, steht die Zielvariable in einer nichtlinearen Beziehung zu x.

Und für diesen Datensatz verwenden wir zwei Neuronen in der verborgenen Schicht.

1.2 Struktur des neuronalen Netzwerks

Unser beispielhaftes neuronales Netzwerk hat:

• Eine Eingabeebene mit dem Characteristic x als Eingabe
• Eine verborgene Schicht mit zwei Neuronen in der verborgenen Schicht, und diese beiden Neuronen ermöglichen es uns, eine nichtlineare Beziehung herzustellen
• Die Ausgabeschicht ist nur eine lineare Regression

Hier ist das Diagramm, das dieses neuronale Netzwerk darstellt, zusammen mit allen Parametern, die geschätzt werden müssen. Es gibt insgesamt 7 Parameter.

Versteckte Ebene:

• a11​: Gewicht von x bis zum versteckten Neuron 1
• b11​: Bias des versteckten Neurons 1
• a12​: Gewicht von x bis zum versteckten Neuron 2
• b12​: Bias des versteckten Neurons 2

Ausgabeebene:

• a2​1: Gewicht vom versteckten Neuron 1 bis zur Ausgabe
• a22​: Gewicht vom versteckten Neuron 2 bis zur Ausgabe
• b2: Ausgabeverzerrung

Im Kern ist ein neuronales Netzwerk nur eine Funktion. Eine zusammengesetzte Funktion.

Wenn man es explizit schreibt, ist daran nichts Geheimnisvolles.

Normalerweise stellen wir diese Funktion mit einem Diagramm aus „Neuronen“ dar.

Meiner Meinung nach lässt sich dieses Diagramm am besten interpretieren visuelle Darstellung einer zusammengesetzten mathematischen Funktionnicht als Behauptung, dass es buchstäblich die Funktionsweise biologischer Neuronen reproduziert.

Warum funktioniert diese Funktion?

Jedes Sigmoid verhält sich wie eine glatte Stufe.
Mit zwei Sigmoiden kann das Modell die Ausgabekurve vergrößern, verkleinern, biegen und abflachen.

Durch die lineare Kombination kann das Netzwerk glatte, nichtlineare Kurven annähern.

Aus diesem Grund gilt für diesen Datensatz: Zwei Neuronen reichen bereits aus. Aber könnten Sie einen Datensatz finden, für den diese Struktur nicht geeignet ist?

1.3 Implementierung der Funktion in Excel

In diesem Abschnitt gehen wir davon aus, dass die 7 Koeffizienten bereits gefunden wurden. Und dann können wir die Formel, die wir gerade gesehen haben, umsetzen.

Um das neuronale Netzwerk zu visualisieren, können wir neue kontinuierliche Werte von x im Bereich von -2 bis 2 mit einer Schrittweite von 0,02 verwenden.

Hier ist der Screenshot, und wir können sehen, dass die endgültige Funktion recht intestine zur Kind der Eingabedaten passt.

2. Backpropagation (Gradientenabstieg)

Zu diesem Zeitpunkt ist das Modell vollständig definiert.

Da es sich um ein Regressionsproblem handelt, verwenden wir den MSE (mittlerer quadratischer Fehler), genau wie bei einer linearen Regression.

Jetzt müssen wir die 7 Parameter finden minimieren die MSE.

2.1 Particulars des Backpropagation-Algorithmus

Das Prinzip ist einfach. ABER da es viele zusammengesetzte Funktionen und viele Parameter gibt, müssen wir mit den Ableitungen organisiert sein.

Ich werde nicht alle 7 partiellen Ableitungen explizit ableiten. Ich gebe nur die Ergebnisse bekannt.

Wie wir sehen können, gibt es den Fehlerterm. Um den gesamten Prozess umzusetzen, müssen wir dieser Schleife folgen:

1. Initialisieren Sie die Gewichte,
2. Berechnen Sie die Ausgabe (Vorwärtsausbreitung),
3. Berechnen Sie den Fehler,
4. Berechnen Sie Gradienten mithilfe partieller Ableitungen.
5. Aktualisieren Sie die Gewichte,
6. bis zur Konvergenz wiederholen.

2.2 Initialisierung

Beginnen wir damit, den Eingabedatensatz in ein Spaltenformat zu bringen, das die Implementierung der Formeln in Excel erleichtert.

Theoretisch können wir mit Zufallswerten für die Initialisierung der Parameterwerte beginnen. In der Praxis kann die Anzahl der Iterationen jedoch groß sein, um eine vollständige Konvergenz zu erreichen. Und da die Kostenfunktion nicht konvex ist, können wir in einem lokalen Minimal stecken bleiben.

Wir müssen additionally die Anfangswerte „mit Bedacht“ wählen. Ich habe einige für Sie vorbereitet. Sie können kleine Änderungen vornehmen, um zu sehen, was passiert.

2.3 Vorwärtsausbreitung

In den Spalten von AG bis BP führen wir die Vorwärtsausbreitungsphase durch. Wir berechnen zuerst A1 und A2, gefolgt von der Ausgabe. Dies sind die gleichen Formeln, die im früheren Teil der Vorwärtsausbreitung verwendet wurden.

Um die Berechnungen zu vereinfachen und überschaubarer zu machen, führen wir die Berechnungen für jede Beobachtung separat durch. Das bedeutet, dass wir 12 Spalten für jede verborgene Ebene (A1 und A2) und die Ausgabeebene haben. Anstatt eine Summationsformel zu verwenden, berechnen wir die Werte für jede Beobachtung einzeln.

Um den for-Schleifenprozess während der Gradientenabstiegsphase zu erleichtern, organisieren wir den Trainingsdatensatz in Spalten und können dann die Formel in Excel zeilenweise erweitern.

2.4 Fehler und die Kostenfunktion

In den Spalten BQ bis CN können wir nun die Werte der Kostenfunktion berechnen.

2.5 Partielle Ableitungen

Wir werden 7 partielle Ableitungen berechnen, die den Gewichten unseres neuronalen Netzwerks entsprechen. Für jede dieser partiellen Ableitungen müssen wir die Werte für alle 12 Beobachtungen berechnen, was insgesamt 84 Spalten ergibt. Wir haben uns jedoch bemüht, diesen Prozess zu vereinfachen, indem wir das Blatt zur Vereinfachung der Verwendung mit Farbcodierungen und Formeln versehen haben.

Wir beginnen additionally mit der Ausgabeebene für die Parameter: a21, a22 und b2. Wir finden sie in den Spalten von CO bis DX.

Dann können wir die Parameter a11 und a12 in den Spalten DY bis EV finden:

Und schließlich verwenden wir für die Bias-Parameter b11 und b12 die Spalten EW bis FT.

Und zum Abschluss summieren wir alle partiellen Ableitungen der 12 Beobachtungen. Diese aggregierten Farbverläufe sind übersichtlich in Spalten angeordnet Z bis AF. Die Parameteraktualisierungen werden dann spaltenweise durchgeführt R bis Xunter Verwendung dieser Werte.

2.6 Visualisierung der Konvergenz

Um den Trainingsprozess besser zu verstehen, visualisieren wir mithilfe eines Diagramms, wie sich die Parameter während des Gradientenabstiegs entwickeln. Gleichzeitig wird die Abnahme der Kostenfunktion verfolgt Spalte Ywodurch die Konvergenz des Modells deutlich sichtbar wird.

Abschluss

Ein Regressor für neuronale Netze ist keine Zauberei.

Es handelt sich lediglich um eine Zusammensetzung elementarer Funktionen, die durch eine bestimmte Anzahl von Parametern gesteuert und durch Minimierung eines genau definierten mathematischen Ziels trainiert werden.

Durch den expliziten Aufbau des Modells in Excel wird jeder Schritt sichtbar. Vorwärtsausbreitung, Fehlerberechnung, partielle Ableitungen und Parameteraktualisierungen sind keine abstrakten Konzepte mehr, sondern konkrete Berechnungen, die Sie überprüfen und ändern können.

Die vollständige Implementierung unseres neuronalen Netzwerks, von der Vorwärtsausbreitung bis zur Rückwärtsausbreitung, ist nun abgeschlossen. Wir empfehlen Ihnen, zu experimentieren, indem Sie den Datensatz, die anfänglichen Parameterwerte oder die Lernrate ändern und beobachten, wie sich das Modell während des Trainings verhält.

Durch diese praktische Übung haben wir gesehen, wie Gradienten das Lernen vorantreiben, wie Parameter iterativ aktualisiert werden und wie sich ein neuronales Netzwerk nach und nach an die Daten anpasst. Genau das passiert in modernen Bibliotheken für maschinelles Lernen, nur versteckt hinter ein paar Codezeilen.

Sobald man es so versteht, sind neuronale Netze keine Black Containers mehr.

Mit der logistischen Regression haben wir gelernt, wie man in zwei Klassen einteilt.

Was passiert nun, wenn es mehr als zwei Klassen gibt?

n ist einfach die Mehrklassenerweiterung dieser Idee. Und wir werden dieses Modell für meinen 14. Tag besprechen Maschinelles Lernen „Adventskalender“ (Folgen Sie diesem Hyperlink, um alle Informationen zum Ansatz und den von mir verwendeten Dateien zu erhalten.)

Statt einer Punktzahl erstellen wir jetzt eine Punktzahl professional Klasse. Anstelle einer Wahrscheinlichkeit wenden wir die Softmax-Funktion an, um Wahrscheinlichkeiten zu erzeugen, die sich auf 1 summieren.

Das Softmax-Modell verstehen

Bevor wir das Modell trainieren, wollen wir es zunächst verstehen um welches Modell es sich handelt.

Bei der Softmax-Regression geht es noch nicht um Optimierung.
Es geht zunächst um wie Vorhersagen berechnet werden.

Ein kleiner Datensatz mit 3 Klassen

Lassen Sie uns einen kleinen Datensatz mit einem Merkmal x und drei Klassen verwenden.

Wie bereits erwähnt, sollte die Zielvariable y sein nicht als numerisch behandelt werden.
Es repräsentiert Kategorien, keine Mengen.

Eine übliche Artwork, dies darzustellen, ist One-Sizzling-Kodierungwobei jede Klasse durch einen eigenen Indikator repräsentiert wird.

Unter diesem Gesichtspunkt kann die Softmax-Regression als angesehen werden drei parallel laufende logistische Regressioneneine professional Klasse.

Kleine Datensätze sind ideally suited zum Lernen.
Sie können jede Formel, jeden Wert sehen und sehen, wie jeder Teil des Modells zum Endergebnis beiträgt.

Beschreibung des Modells

Was genau ist das Modell?

Punkte professional Klasse

Bei der logistischen Regression ist der Modellwert ein einfacher linearer Ausdruck: Wert = a * x + b.

Softmax Regression macht genau das Gleiche, aber eine Bewertung professional Klasse:

Score_0 = a0 * x + b0
Score_1 = a1 * x + b1
Score_2 = a2 * x + b2

Zum jetzigen Zeitpunkt handelt es sich bei diesen Werten lediglich um reelle Zahlen.
Sie sind noch keine Wahrscheinlichkeiten.

Ergebnisse in Wahrscheinlichkeiten umwandeln: der Softmax-Schritt

Softmax wandelt die drei Ergebnisse in drei Wahrscheinlichkeiten um. Jede Wahrscheinlichkeit ist positiv und alle drei summieren sich zu 1.

Die Berechnung erfolgt direkt:

1. Potenzieren Sie jede Punktzahl
2. Berechnen Sie die Summe aller Exponentialfunktionen
3. Teilen Sie jede Exponentialfunktion durch diese Summe

Dies ergibt p0, p1 und p2 für jede Zeile.

Diese Werte stellen die Modellkonfidenz für jede Klasse dar.

Zu diesem Zeitpunkt ist das Modell vollständig definiert.
Das Coaching des Modells besteht lediglich darin, die Koeffizienten ak​ und bk​ so anzupassen, dass diese Wahrscheinlichkeiten so intestine wie möglich mit den beobachteten Klassen übereinstimmen.

Visualisierung des Softmax-Modells

Zu diesem Zeitpunkt ist das Modell vollständig definiert.

Wir haben:

• eine lineare Bewertung professional Klasse
• ein Softmax-Schritt, der diese Ergebnisse in Wahrscheinlichkeiten umwandelt

Das Coaching des Modells besteht lediglich darin, die Koeffizienten aka_kak​ und bkb_kbk​ so anzupassen, dass diese Wahrscheinlichkeiten so intestine wie möglich mit den beobachteten Klassen übereinstimmen.

Sobald die Koeffizienten gefunden sind, können wir Visualisieren Sie das Modellverhalten.

Dazu nehmen wir einen Bereich von Eingabewerten, zum Beispiel x von 0 bis 7, und berechnen: Score0, Score1, Score2 und die entsprechenden Wahrscheinlichkeiten p0, p1, p2.

Die Darstellung dieser Wahrscheinlichkeiten ergibt drei glatte Kurven, eine professional Klasse.

Das Ergebnis ist sehr intuitiv.

Für kleine Werte von x ist die Wahrscheinlichkeit der Klasse 0 hoch.
Mit zunehmendem x nimmt diese Wahrscheinlichkeit ab, während die Wahrscheinlichkeit der Klasse 1 zunimmt.
Für größere Werte von x wird die Wahrscheinlichkeit der Klasse 2 dominant.

Bei jedem Wert von x summieren sich die drei Wahrscheinlichkeiten zu 1.
Das Modell trifft keine abrupten Entscheidungen; stattdessen drückt es aus wie zuversichtlich es ist in jeder Klasse.

Dieses Diagramm macht das Verhalten der Softmax-Regression leicht verständlich.

• Sie können sehen, wie das Modell reibungslos von einer Klasse zur anderen übergeht
• Entscheidungsgrenzen entsprechen Schnittpunkten zwischen Wahrscheinlichkeitskurven
• Die Modelllogik wird sichtbar, nicht abstrakt

Dies ist einer der Hauptvorteile der Modellerstellung in Excel:
Sie können nicht nur Vorhersagen berechnen, Sie können es auch Sehen Sie, wie das Modell denkt.

Nachdem das Modell nun definiert ist, brauchen wir einen Weg dazu Bewerten Sie, wie intestine es istund eine Methode dazu seine Koeffizienten verbessern.

In beiden Schritten werden Ideen wiederverwendet, die wir bereits bei der logistischen Regression gesehen haben.

Bewertung des Modells: Cross-Entropy Loss

Die Softmax-Regression verwendet die gleiche Verlustfunktion als logistische Regression.

Für jeden Datenpunkt betrachten wir die ihm zugewiesene Wahrscheinlichkeit richtige Klasseund wir nehmen den negativen Logarithmus:

Verlust = – log (p wahre Klasse)

Wenn das Modell der richtigen Klasse eine hohe Wahrscheinlichkeit zuweist, ist der Verlust gering.
Wenn eine geringe Wahrscheinlichkeit zugewiesen wird, wird der Verlust groß.

In Excel ist dies sehr einfach zu implementieren.

Wir wählen die richtige Wahrscheinlichkeit basierend auf dem Wert von y aus und wenden den Logarithmus an:

Verlust = -LN( CHOOSE(y + 1, p0, p1, p2) )

Abschließend berechnen wir die durchschnittlicher Verlust über alle Reihen.
Dieser durchschnittliche Verlust ist die Menge, die wir minimieren wollen.

Berechnen von Residuen

Um die Koeffizienten zu aktualisieren, beginnen wir mit der Berechnung Resteeine professional Klasse.

Für jede Zeile:

• Residual_0 = p0 minus 1, wenn y gleich 0 ist, andernfalls 0
• Residual_1 = p1 minus 1, wenn y gleich 1 ist, andernfalls 0
• Residual_2 = p2 minus 1, wenn y gleich 2 ist, andernfalls 0

Mit anderen Worten: Für die richtige Klasse subtrahieren wir 1.
Für die anderen Klassen subtrahieren wir 0.

Diese Residuen messen, wie weit die vorhergesagten Wahrscheinlichkeiten von unseren Erwartungen abweichen.

Berechnung der Steigungen

Die Gradienten werden durch Kombination der Residuen mit den Merkmalswerten erhalten.

Für jede Klasse ok:

• Der Gradient von ak ist der Durchschnitt von residual_k * x
• Der Gradient von bk ist der Durchschnitt von residual_k

In Excel wird dies mit einfachen Formeln wie z.B. umgesetzt SUMPRODUCT Und AVERAGE.

An dieser Stelle ist alles klar:
Sie sehen die Residuen, die Verläufe und den Beitrag jedes Datenpunkts.

Aktualisierung der Koeffizienten

Sobald die Gradienten bekannt sind, aktualisieren wir die Koeffizienten mithilfe des Gradientenabstiegs.

Dieser Schritt ist identisch mit dem, den wir zuvor bei der logistischen Regression oder der linearen Regression gesehen haben.
Der einzige Unterschied besteht darin, dass wir jetzt aktualisieren sechs Koeffizienten statt zwei.

Um das Lernen zu visualisieren, erstellen wir ein zweites Blatt mit einer Zeile professional Iteration:

• die aktuelle Iterationsnummer
• die sechs Koeffizienten (a0, b0, a1, b1, a2, b2)
• der Verlust
• die Steigungen

Zeile 2 entspricht Iteration 0mit den Anfangskoeffizienten.

Zeile 3 berechnet die aktualisierten Koeffizienten anhand der Farbverläufe aus Zeile 2.

Indem wir die Formeln für Hunderte von Zeilen nach unten ziehen, simulieren wir einen Gradientenabfall über viele Iterationen.

Dann sieht man deutlich:

• Die Koeffizienten stabilisieren sich allmählich
• Der Verlust verringert sich von Iteration zu Iteration

Dadurch wird der Lernprozess greifbar.
Anstatt sich einen Optimierer vorzustellen, können Sie dies tun Beobachten Sie, wie das Modell lernt.

Logistische Regression als Sonderfall der Softmax-Regression

Logistische Regression und Softmax-Regression werden oft als unterschiedliche Modelle dargestellt.

In Wirklichkeit handelt es sich um dieselbe Idee in unterschiedlichen Maßstäben.

Softmax Regression berechnet einen linearen Rating professional Klasse und wandelt diese Scores durch Vergleich in Wahrscheinlichkeiten um.
Wenn nur zwei Klassen vorhanden sind, hängt dieser Vergleich nur von der ab Unterschied zwischen den beiden Werten.

Dieser Unterschied ist eine lineare Funktion der Eingabe, und die Anwendung von Softmax erzeugt in diesem Fall genau die logistische (Sigmoid-)Funktion.

Mit anderen Worten: Logistische Regression ist einfach eine Softmax-Regression, die auf zwei Klassen angewendet wird, wobei redundante Parameter entfernt werden.

Sobald dies verstanden ist, wird der Übergang von der binären zur Mehrklassenklassifizierung zu einer natürlichen Erweiterung und nicht zu einem konzeptionellen Sprung.

Die Softmax-Regression führt keine neue Denkweise ein.

Das zeigt es einfach Logistic Regression enthielt bereits alles, was wir brauchten.

Indem wir die lineare Bewertung einmal professional Klasse duplizieren und sie mit Softmax normalisieren, gelangen wir von binären Entscheidungen zu Mehrklassenwahrscheinlichkeiten, ohne die zugrunde liegende Logik zu ändern.

Der Verlust ist die gleiche Idee.
Die Farbverläufe sind gleich aufgebaut.
Die Optimierung ist der gleiche Gradientenabstieg, den wir bereits kennen.

Was sich ändert, ist nur die Anzahl paralleler Partituren.

Eine andere Möglichkeit, mit der Klassifizierung mehrerer Klassen umzugehen?

Softmax ist nicht die einzige Möglichkeit, Mehrklassenprobleme in gewichtsbasierten Modellen zu lösen.

Es gibt einen anderen Ansatz, der konzeptionell weniger elegant, aber in der Praxis sehr verbreitet ist:
Eins gegen Relaxation oder eins gegen eins Einstufung.

Anstatt ein einzelnes Mehrklassenmodell zu erstellen, trainieren wir mehrere binäre Modelle und kombinieren ihre Ergebnisse.
Diese Strategie wird häufig verwendet Unterstützen Sie Vektormaschinen.

Morgen schauen wir uns SVM an.
Und Sie werden sehen, dass es sich auf eine eher ungewöhnliche Artwork und Weise erklären lässt … und das wie gewohnt direkt in Excel.

Eines Tages sagte ein Datenwissenschaftler, dass die Ridge-Regression ein kompliziertes Modell sei. Weil er sah, dass die Trainingsformel komplizierter ist.

Nun ja, genau das ist mein Ziel Maschinelles Lernen „Adventskalender“um diese Artwork von Komplexität zu verdeutlichen.

Wir werden additionally über bestrafte Versionen der linearen Regression sprechen.

• Zuerst werden wir sehen, warum die Regularisierung oder Bestrafung notwendig ist, und wir werden sehen, wie das Modell modifiziert wird
• Anschließend werden wir verschiedene Arten der Regularisierung und ihre Auswirkungen untersuchen.
• Wir werden das Modell auch mit Regularisierung trainieren und verschiedene Hyperparameter testen.
• Wir werden auch eine weitere Frage dazu stellen, wie die Gewichte im Strafzeitraum zu gewichten sind. (verwirrt? Du wirst sehen)

Lineare Regression und ihre „Bedingungen“

Wenn wir über lineare Regression sprechen, wird oft erwähnt, dass einige Bedingungen erfüllt sein sollten.

Vielleicht haben Sie schon einmal Aussagen gehört wie:

• Die Residuen sollten Gauß-förmig sein (manchmal wird dies mit dem Ziel verwechselt, das Gauß-förmig ist, was falsch ist).
• Die erklärenden Variablen sollten nicht kollinear sein

In der klassischen Statistik sind diese Bedingungen für die Schlussfolgerung erforderlich. Beim maschinellen Lernen liegt der Schwerpunkt auf der Vorhersage, sodass diese Annahmen weniger zentral sind, die zugrunde liegenden Probleme jedoch weiterhin bestehen.

Hier sehen wir ein Beispiel für die Kollinearität zweier Merkmale und machen sie völlig gleich.

Und wir haben die Beziehung: y = x1 + x2 und x1 = x2

Ich weiß, wenn sie völlig gleich sind, können wir einfach Folgendes tun: y=2*x1. Die Idee dahinter ist aber, dass sie sehr ähnlich sein können und wir daraus immer ein Modell erstellen können, oder?

Was ist dann das Drawback?

Wenn Merkmale perfekt kollinear sind, ist die Lösung nicht eindeutig. Hier ist ein Beispiel im Screenshot unten.

y = 10000*x1 – 9998*x2

Und wir können feststellen, dass die Norm der Koeffizienten riesig ist.

Die Idee besteht additionally darin, die Norm der Koeffizienten zu begrenzen.

Und nach Anwendung der Regularisierung ist das konzeptionelle Modell dasselbe!

Das ist richtig. Die Parameter der linearen Regression werden geändert. Aber das Modell ist das gleiche.

Verschiedene Versionen der Regularisierung

Die Idee besteht additionally darin, den MSE und die Norm der Koeffizienten zu kombinieren.

Anstatt nur den MSE zu minimieren, versuchen wir, die Summe der beiden Terme zu minimieren.

Welche Norm? Wir können mit den Normen L1 und L2 arbeiten oder sie sogar kombinieren.

Dafür gibt es drei klassische Möglichkeiten und die entsprechenden Modellnamen.

Ridge-Regression (L2-Strafe)

Die Ridge-Regression fügt eine Strafe hinzu quadrierte Werte der Koeffizienten.

Intuitiv:

• Große Koeffizienten werden stark bestraft (aufgrund des Quadrats)
• Koeffizienten werden gegen Null gedrückt
• aber sie werden nie genau Null

Wirkung:

• Alle Funktionen bleiben im Modell erhalten
• Die Koeffizienten sind glatter und stabiler
• sehr wirksam gegen Kollinearität

Grat schrumpftwählt aber nicht aus.

Lasso-Regression (L1-Strafe)

Lasso nutzt einen anderen Elfmeter: den absoluter Wert der Koeffizienten.

Diese kleine Änderung hat eine große Konsequenz.

Mit Lasso:

• einige Koeffizienten können werden genau Null
• Das Modell ignoriert automatisch einige Funktionen

Deshalb wird LASSO so genannt, denn es steht für Geringster absoluter Schrumpfungs- und Auswahloperator.

• Operator: Es bezieht sich auf den zur Verlustfunktion hinzugefügten Regularisierungsoperator
• Am wenigsten: Es wird aus einem Regressionsrahmen der kleinsten Quadrate abgeleitet
• Absolute: Es wird der Absolutwert der Koeffizienten verwendet (L1-Norm)
• Schwindung: Es schrumpft die Koeffizienten gegen Null
• Auswahl: Es kann einige Koeffizienten genau auf Null setzen und so eine Merkmalsauswahl durchführen

Wichtige Nuance:

• Wir können sagen, dass das Modell immer noch die gleiche Anzahl von Koeffizienten hat
• aber einige von ihnen werden während des Trainings gezwungen, auf Null zu gehen

Die Modellform bleibt unverändert, aber Lasso entfernt Options effektiv, indem es die Koeffizienten auf Null setzt.

3. Elastisches Netz (L1 + L2)

Elastic Internet ist ein Kombination von Ridge und Lasso.

Es verwendet:

• eine L1-Strafe (wie Lasso)
• und eine L2-Strafe (wie Ridge)

Warum sie kombinieren?

Weil:

• Lasso kann instabil sein, wenn Options stark korreliert sind
• Ridge handhabt Kollinearität intestine, wählt jedoch keine Options aus

Elastic Internet bietet ein Gleichgewicht zwischen:

• Stabilität
• Schwindung
• spärlich

In realen Datensätzen ist dies oft die praktischste Wahl.

Was sich wirklich ändert: Modell, Ausbildung, Tuning

Betrachten wir dies aus der Sicht des maschinellen Lernens.

Das Modell ändert sich nicht wirklich

Für die ModellFür alle regulierten Versionen schreiben wir immer noch:

y =ax + b.

• Gleiche Anzahl von Koeffizienten
• Gleiche Vorhersageformel
• Die Koeffizienten werden jedoch unterschiedlich sein.

Aus einer bestimmten Perspektive sind Ridge, Lasso und Elastic Internet dies keine unterschiedlichen Modelle.

Der Ausbildung Das Prinzip ist auch das gleiche

Wir weiterhin:

• Definieren Sie eine Verlustfunktion
• minimieren Sie es
• Berechnen Sie Farbverläufe
• Koeffizienten aktualisieren

Der einzige Unterschied ist:

• Die Verlustfunktion enthält jetzt einen Strafterm

Das ist es.

Die Hyperparameter werden hinzugefügt (das ist der eigentliche Unterschied)

Bei der linearen Regression haben wir keine Kontrolle über die „Komplexität“ des Modells.

• Standardmäßige lineare Regression: kein Hyperparameter
• Grat: ein Hyperparameter (Lambda)
• Lasso: ein Hyperparameter (Lambda)
• Elastisches Netz: zwei Hyperparameter
  • eine für die Gesamtstärke der Regularisierung
  • eine, um L1 vs. L2 auszubalancieren

Additionally:

• Die standardmäßige lineare Regression muss nicht angepasst werden
• Bestrafte Regressionen tun dies

Aus diesem Grund wird die standardmäßige lineare Regression oft als „nicht wirklich maschinelles Lernen“ angesehen, während dies bei regulierten Versionen eindeutig der Fall ist.

Implementierung regulierter Farbverläufe

Wir behalten den Gradientenabstieg der OLS-Regression als Referenz bei und müssen für die Ridge-Regression nur den Regularisierungsterm für den Koeffizienten hinzufügen.

Wir werden einen einfachen Datensatz verwenden, den ich generiert habe (derselbe, den wir bereits für die lineare Regression verwendet haben).

Wir können sehen, dass sich die drei „Modelle“ hinsichtlich der Koeffizienten unterscheiden. Und das Ziel in diesem Kapitel besteht darin, den Gradienten für alle Modelle zu implementieren und sie zu vergleichen.

Grat mit bestraftem Gefälle

Erstens können wir dies für Ridge tun, und wir müssen nur den Gradienten von a ändern.

Dies bedeutet jedoch nicht, dass sich der Wert b nicht ändert, da der Gradient von b bei jedem Schritt auch von a abhängt.

LASSO mit bestraftem Gefälle

Dann können wir dasselbe für LASSO tun.

Und der einzige Unterschied ist auch die Steigung von a.

Für jedes Modell können wir auch den MSE und den regulierten MSE berechnen. Es ist sehr befriedigend zu sehen, wie sie im Laufe der Iterationen abnehmen.

Vergleich der Koeffizienten

Jetzt können wir den Koeffizienten a für alle drei Modelle visualisieren. Um die Unterschiede zu erkennen, geben wir sehr große Lambdas ein.

Einfluss von Lambda

Für einen großen Lambda-Wert werden wir sehen, dass der Koeffizient a klein wird.

Und wenn Lambda LASSO extrem groß wird, dann erhalten wir theoretisch den Wert 0 für a. Numerisch müssen wir den Gradientenabstieg verbessern.

Regularisierte logistische Regression?

Wir haben gestern die logistische Regression gesehen und eine Frage, die wir stellen können, ist, ob sie auch reguliert werden kann. Wenn ja, wie heißen sie?

Die Antwort lautet natürlich: Ja, die logistische Regression kann reguliert werden

Es gilt genau die gleiche Idee.

Logistische Regression kann auch sein:

• L1 bestraft
• L2 bestraft
• Elastic Internet bestraft

Es gibt keine besonderen Namen wie „Ridge Logistic Regression“ im allgemeinen Sprachgebrauch.

Warum?

Denn das Konzept ist nicht mehr neu.

In der Praxis können Sie in Bibliotheken wie scikit-learn einfach Folgendes angeben:

• die Verlustfunktion
• die Artwork der Strafe
• die Regularisierungsstärke

Die Benennung battle wichtig, als die Idee neu battle.
Heutzutage ist die Regularisierung nur noch eine Standardoption.

Weitere Fragen, die wir stellen können:

• Ist eine Regularisierung immer sinnvoll?
• Wie wirkt sich die Skalierung von Options auf die Leistung der regulierten linearen Regression aus?

Abschluss

Ridge und Lasso ändern nicht das lineare Modell selbst, sondern die Artwork und Weise, wie die Koeffizienten gelernt werden. Durch das Hinzufügen einer Strafe begünstigt die Regularisierung stabile und sinnvolle Lösungen, insbesondere wenn Merkmale korreliert sind. Wenn man diesen Prozess Schritt für Schritt in Excel betrachtet, wird deutlich, dass diese Methoden nicht komplexer, sondern nur kontrollierter sind.

Das heutige Modell ist die logistische Regression.

Wenn Sie dieses Modell bereits kennen, hier eine Frage an Sie:

Ist die logistische Regression a Regressor oder ein Klassifikator?

Nun, diese Frage ist genau so: Ist eine Tomate a? Obst oder ein Gemüse?

Aus botanischer Sicht ist eine Tomate eine Frucht, denn sie betrachtet die Struktur: Samen, Blüten, Pflanzenbiologie.

Aus der Sicht eines Kochs ist eine Tomate ein Gemüse, denn sie achten auf den Geschmack, darauf, wie sie in einem Rezept verwendet wird, ob sie in einen Salat oder ein Dessert passt.

Das gleiche Objekt, zwei gültige Antworten, weil das Standpunkt ist anders.

Die logistische Regression ist genau so.

• Im Sstatistisch / GLM Perspektivisch handelt es sich um einen Rückschritt. Und das Konzept der „Klassifizierung“ gibt es in diesem Rahmen sowieso nicht. Es gibt Gamma-Regression, logistische Regression, Poisson-Regression …
• Im maschinelles Lernen Perspektive dient es zur Klassifizierung. Es handelt sich additionally um einen Klassifikator.

Wir werden später darauf zurückkommen.

Im Second ist eines sicher:

Die logistische Regression ist sehr intestine geeignet, wenn die Zielvariable ist binärund normalerweise y ist codiert als 0 oder 1.

Aber…

Was ist ein Klassifikator für ein gewichtsbasiertes Modell?

Additionally kann y 0 oder 1 sein.

0 oder 1, das sind Zahlen, oder?

Wir können y additionally einfach als stetig betrachten!

Ja, y = ax + b, mit y = 0 oder 1.

Warum nicht?

Nun fragen Sie sich vielleicht: Warum gerade jetzt diese Frage? Warum wurde nicht vorher gefragt?

Nun, für distanzbasierte und baumbasierte Modelle ist ein kategorisches y wirklich kategorisch.

Wenn y kategorisch ist, z Rot, Blau, Grünoder einfach 0 Und 1:

• In Ok-NNklassifizieren Sie durch Anschauen Nachbarn jeder Klasse.
• In Schwerpunktmodellevergleichst du mit dem Schwerpunkt jeder Klasse.
• In einem Entscheidungsbaumberechnen Sie Klassenverhältnisse an jedem Knoten.

Bei all diesen Modellen:

Klassenbezeichnungen sind keine Zahlen.
Es sind Kategorien.
Die Algorithmen behandeln sie niemals als Werte.

Die Klassifizierung ist additionally natürlich und unmittelbar.

Bei gewichtsbasierten Modellen sieht es jedoch anders aus.

In einem gewichtsbasierten Modell berechnen wir immer etwas wie:

y = Axt + B

oder später eine komplexere Funktion mit Koeffizienten.

Das heisst:

Das Modell funktioniert überall mit Zahlen.

Hier additionally die Schlüsselidee:

Wenn das Modell eine Regression durchführt, kann dasselbe Modell für die binäre Klassifizierung verwendet werden.

Ja, wir können die lineare Regression für die binäre Klassifizierung verwenden!

Da binäre Etiketten sind 0 Und 1sie sind bereits numerisch.

Und in diesem speziellen Fall: wir kann Peculiar Least Squares (OLS) direkt auf y = 0 und y = 1 anwenden.

Das Modell passt auf eine Linie und wir können dieselbe geschlossene Formel verwenden, wie wir unten sehen können.

Wir können den gleichen Gradientenabstieg durchführen und es wird perfekt funktionieren:

Und um dann die endgültige Klassenvorhersage zu erhalten, wählen wir einfach a Schwelle.
Normalerweise liegt er bei 0,5 (oder 50 Prozent), aber je nachdem, wie streng Sie sein möchten, können Sie einen anderen Wert wählen.

• Wenn das vorhergesagte y≥0,5, sagen Sie Klasse 1 voraus
• Ansonsten Klasse 0

Dies ist ein Klassifikator.

Und da das Modell eine numerische Ausgabe erzeugt, können wir sogar den Punkt identifizieren, an dem: y=0,5.

Dieser Wert von x definiert die Entscheidungsgrenze.

Im vorherigen Beispiel geschieht dies bei x=9.
An dieser Schwelle haben wir bereits gesehen eine Fehlklassifizierung.

Ein Drawback tritt jedoch auf, sobald wir einen Punkt mit a einführen groß Wert von x.

Angenommen, wir fügen einen Punkt hinzu mit: x= 50 und y = 1.

Weil die lineare Regression versucht, a anzupassen Gerade Durch alle Daten zieht dieser einzelne große Wert von x die Linie nach oben.
Die Entscheidungsgrenze verschiebt sich von x= auf ungefähr x=12.

Und jetzt, mit dieser neuen Grenze, haben wir es geschafft zwei Fehlklassifizierungen.

Dies verdeutlicht das Hauptproblem:

Eine als Klassifikator verwendete lineare Regression reagiert äußerst empfindlich auf Extremwerte von x. Die Entscheidungsgrenze verschiebt sich dramatisch und die Klassifizierung wird instabil.

Dies ist einer der Gründe, warum wir ein Modell brauchen, das sich nicht ewig linear verhält. Ein Modell, das zwischen 0 und 1 bleibt, auch wenn x sehr groß wird.

Und genau das wird uns die Logistikfunktion bieten.

So funktioniert die logistische Regression

Wir beginnen mit: ax + b, genau wie die lineare Regression.

Dann wenden wir eine Funktion namens Sigmoid oder Logistikfunktion an.

Wie wir im Screenshot unten sehen können, liegt der Wert von p dann zwischen 0 und 1, additionally ist das perfekt.

• p(x) ist das vorhergesagte Wahrscheinlichkeit Das y = 1
• 1 − p(x) ist die vorhergesagte Wahrscheinlichkeit dafür y = 0

Zur Einordnung können wir einfach sagen:

• Wenn p(x) ≥ 0.5Klasse vorhersagen 1
• Andernfalls sagen Sie die Klasse voraus 0

Von der Wahrscheinlichkeit bis zum Protokollverlust

Nun versucht die lineare OLS-Regression, den MSE (Imply Squared Error) zu minimieren.

Die logistische Regression für ein binäres Ziel verwendet die Bernoulli-Wahrscheinlichkeit. Für jede Beobachtung i:

• Wenn yᵢ = 1die Wahrscheinlichkeit des Datenpunkts ist pᵢ
• Wenn yᵢ = 0die Wahrscheinlichkeit des Datenpunkts ist 1 − pᵢ

Für den gesamten Datensatz ist die Wahrscheinlichkeit das Produkt insgesamt i. In der Praxis verwenden wir den Logarithmus, der das Produkt in eine Summe umwandelt.

Im GLM-Perspektivewir versuchen es maximieren diese Log-Wahrscheinlichkeit.

Im Perspektive des maschinellen Lernenswir definieren die Verlust als die Negativ Log-Wahrscheinlichkeit und wir minimieren Es. Das ergibt das Übliche Protokollverlust.

Und es ist gleichwertig. Wir werden die Demonstration hier nicht durchführen

Gradientenabstieg für die logistische Regression

Prinzip

Genau wie bei der linearen Regression können wir auch verwenden Gefälleabstieg Hier. Die Idee ist immer die gleiche:

1. Beginnen Sie mit einigen Anfangswerten von a Und b.
2. Berechnen Sie den Verlust und seine Folgen Gradient (Derivate) in Bezug auf a Und b.
3. Bewegen a Und b ein bisschen in die Richtung reduziert der Verlust.
4. Wiederholen.

Nichts Geheimnisvolles.
Genau der gleiche mechanische Vorgang wie zuvor.

Schritt 1. Gradientenberechnung

Für die logistische Regression sind die Gradienten der durchschnittlicher Protokollverlust folgen einer sehr einfachen Struktur.

Das ist einfach das durchschnittlicher Relaxation.

Wir geben unten nur das Ergebnis für die Formel an, die wir in Excel implementieren können. Wie Sie sehen, ist es am Ende ganz einfach, auch wenn die Log-Loss-Formel auf den ersten Blick komplex sein kann.

Excel kann diese beiden Größen problemlos berechnen SUMPRODUCT Formeln.

Schritt 2. Parameteraktualisierung

Sobald die Steigungen bekannt sind, aktualisieren wir die Parameter.

Dieser Aktualisierungsschritt wird bei jeder Iteration wiederholt.
Und von Iteration zu Iteration nimmt der Verlust ab und die Parameter nähern sich den optimalen Werten an.

Jetzt haben wir das Gesamtbild.
Sie haben das Modell, den Verlust, die Verläufe und die Parameteraktualisierungen gesehen.
Und mit der detaillierten Ansicht jeder Iteration in Excel ist das tatsächlich möglich Spielen Sie mit dem Modell: Ändern Sie einen Wert, beobachten Sie die Bewegung der Kurve und sehen Sie, wie der Verlust Schritt für Schritt abnimmt.

Es ist überraschend befriedigend zu beobachten, wie alles so klar zusammenpasst.

Was ist mit der Klassifizierung mehrerer Klassen?

Für distanzbasierte und baumbasierte Modelle:

Überhaupt kein Drawback.
Sie verarbeiten natürlich mehrere Klassen, da sie die Beschriftungen niemals als Zahlen interpretieren.

Aber für gewichtsbasierte Modelle?

Hier sind wir auf ein Drawback gestoßen.

Wenn wir Zahlen für die Klasse schreiben: 1, 2, 3 usw.

Dann interpretiert das Modell diese Zahlen als reelle Zahlenwerte.
Was zu Problemen führt:

• Das Modell geht davon aus, dass Klasse 3 „größer“ ist als Klasse 1
• Der Mittelpunkt zwischen Klasse 1 und Klasse 3 ist Klasse 2
• Abstände zwischen den Klassen werden sinnvoll

Aber nichts davon trifft auf die Klassifizierung zu.

Additionally:

Für gewichtsbasierte Modelle können wir nicht einfach y = 1, 2, 3 für die Klassifizierung mehrerer Klassen verwenden.

Diese Kodierung ist falsch.

Wir werden später sehen, wie wir das beheben können.

Abschluss

Ausgehend von einem einfachen binären Datensatz haben wir gesehen, wie ein gewichtsbasiertes Modell als Klassifikator fungieren kann, warum die lineare Regression schnell an ihre Grenzen stößt und wie die logistische Funktion diese Probleme löst, indem sie Vorhersagen zwischen 0 und 1 hält.

Indem wir das Modell dann durch Wahrscheinlichkeit und Log-Loss ausdrückten, erhielten wir eine Formulierung, die sowohl mathematisch fundiert als auch einfach zu implementieren ist.
Und sobald alles in Excel platziert ist, wird der gesamte Lernprozess sichtbar: die Wahrscheinlichkeiten, der Verlust, die Verläufe, die Aktualisierungen und schließlich die Konvergenz der Parameter.

Mit der detaillierten Iterationstabelle können Sie tatsächlich sehen wie sich das Modell Schritt für Schritt verbessert.
Sie können einen Wert ändern, die Lernrate anpassen oder einen Punkt hinzufügen und sofort beobachten, wie die Kurve und der Verlust reagieren.
Das ist der wahre Wert des maschinellen Lernens in einer Tabellenkalkulation: Nichts wird verborgen und jede Berechnung ist clear.

Indem Sie die logistische Regression auf diese Weise aufbauen, verstehen Sie nicht nur das Modell, Sie verstehen es Warum es ist trainiert.
Und diese Instinct wird Ihnen erhalten bleiben, wenn wir später im Adventskalender zu fortgeschritteneren Modellen übergehen.

von mir Maschinelles Lernen „Adventskalender“. Ich möchte Ihnen für Ihre Unterstützung danken.

Ich erstelle diese Google Sheet-Dateien seit Jahren. Sie entwickelten sich nach und nach. Aber wenn es Zeit ist, sie zu veröffentlichen, brauche ich immer Stunden, um alles neu zu ordnen, das Format zu bereinigen und sie angenehm lesbar zu machen.

Heute ziehen wir um DBSCAN.

DBSCAN lernt kein parametrisches Modell

Genau wie LOF ist DBSCAN nicht ein parametrisches Modell. Es gibt keine zu speichernde Formel, keine Regeln, keine Schwerpunkte und nichts Kompaktes, das später wiederverwendet werden könnte.

Wir müssen das behalten gesamter Datensatz denn die Dichtestruktur hängt von allen Punkten ab.

Sein vollständiger Identify ist Dichtebasiertes räumliches Clustering von Anwendungen mit Rauschen.

Aber Vorsicht: Diese „Dichte“ ist keine Gaußsche Dichte.

es ist ein zählbasiert Vorstellung von Dichte. Nur „wie viele Nachbarn wohnen in meiner Nähe“.

Warum DBSCAN etwas Besonderes ist

Wie der Identify schon sagt, ist dies bei DBSCAN der Fall zwei Dinge gleichzeitig:

• es findet Cluster
• es markiert Anomalien (die Punkte, die zu keinem Cluster gehören)

Genau aus diesem Grund stelle ich die Algorithmen in dieser Reihenfolge vor:

• okay-bedeutet Und GMM Sind Clustering-Modelle. Sie geben ein kompaktes Objekt aus: Schwerpunkte für k-Mittelwerte, Mittelwerte und Varianzen für GMM.
• Isolationswald Und LOF Sind reine Anomalieerkennungsmodelle. Ihr einziges Ziel ist es, ungewöhnliche Punkte zu finden.
• DBSCAN sitzt dazwischen. Es macht beides Clustering und Anomalieerkennungbasierend nur auf dem Begriff der Nachbarschaftsdichte.

Ein winziger Datensatz, um die Dinge intuitiv zu halten

Wir bleiben bei demselben winzigen Datensatz, den wir für LOF verwendet haben: 1, 2, 3, 7, 8, 12

Wenn Sie sich diese Zahlen ansehen, sehen Sie bereits zwei kompakte Gruppen:
einer in der Nähe 1–2–3noch einer in der Nähe 7–8Und 12 alleine leben.

DBSCAN fängt genau diese Instinct ein.

Zusammenfassung in 3 Schritten

DBSCAN fragt drei einfache Fragen für jeden Punkt:

1. Wie viele Nachbarn haben Sie in einem kleinen Umkreis (eps)?
2. Haben Sie genügend Nachbarn, um ein Kernpunkt (MinPts) zu werden?
3. Wenn wir die Kernpunkte kennen, zu welcher verbundenen Gruppe gehören Sie?

Hier ist die Zusammenfassung des DBSCAN-Algorithmus in 3 Schritte:

Beginnen wir Schritt für Schritt.

DBSCAN in 3 Schritten

Nachdem wir nun die Idee von Dichte und Nachbarschaften verstanden haben, lässt sich DBSCAN sehr einfach beschreiben.
Alles, was der Algorithmus tut, passt hinein drei einfache Schritte.

Schritt 1 – Zählen Sie die Nachbarn

Das Ziel besteht darin, zu überprüfen, wie viele Nachbarn jeder Punkt hat.

Wir nehmen einen kleinen Radius namens eps.

Für jeden Punkt schauen wir uns alle anderen Punkte an und markieren diejenigen, deren Abstand kleiner als eps ist.
Das sind die Nachbarn.

Dies gibt uns die erste Vorstellung von der Dichte:
ein Punkt mit vielen Nachbarn liegt in einer dichten Area,
Ein Punkt mit wenigen Nachbarn lebt in einer kargen Area.

Für ein eindimensionales Spielzeugbeispiel wie unseres ist eine häufige Wahl:
EPS = 2

Wir zeichnen um jeden Punkt ein kleines Intervall mit dem Radius 2.

Warum heißt es eps?

Der Identify eps kommt vom griechischen Buchstaben ε (Epsilon)das in der Mathematik traditionell zur Darstellung von a verwendet wird kleine Menge oder ein kleiner Radius um einen Punkt.
Additionally in DBSCAN, eps ist wörtlich „der kleine Nachbarschaftsradius“.

Es beantwortet die Frage:
Wie weit schauen wir uns an jedem Punkt um?

In Excel besteht der erste Schritt additionally darin, die zu berechnen Paarweise Distanzmatrixdann zählen Sie, wie viele Nachbarn jeder Punkt innerhalb von EPS hat.

Schritt 2 – Kernpunkte und Konnektivitätsdichte

Da wir nun die Nachbarn aus Schritt 1 kennen, bewerben wir uns minPt zu entscheiden, welche Punkte sind Kern.

minPts bedeutet hier Mindestpunktzahl.

Dies ist die kleinste Anzahl von Nachbarn, die ein Punkt haben muss (innerhalb des EPS-Radius), um als a zu gelten Kern Punkt.

Ein Punkt ist Kern, wenn er mindestens hat minPt Nachbarn drinnen eps.
Andernfalls kann es passieren Grenze oder Lärm.

Mit EPS = 2 Und minPts = 2wir haben 12, die nicht Core sind.

Sobald die Kernpunkte bekannt sind, prüfen wir einfach, um welche Punkte es sich handelt Dichte erreichbar von ihnen. Wenn ein Punkt durch die Bewegung von einem Kernpunkt zu einem anderen innerhalb von EPS erreicht werden kann, gehört er zur selben Gruppe.

In Excel können wir dies als einfache Konnektivitätstabelle darstellen, die zeigt, welche Punkte durch Kernnachbarn verbunden sind.

Diese Konnektivität wird von DBSCAN verwendet, um in Schritt 3 Cluster zu bilden.

Schritt 3 – Cluster-Beschriftungen zuweisen

Ziel ist es, Konnektivität in tatsächliche Cluster umzuwandeln.

Sobald die Konnektivitätsmatrix fertig ist, erscheinen die Cluster auf natürliche Weise.
DBSCAN gruppiert einfach alle verbundenen Punkte.

Um jeder Gruppe einen einfachen und reproduzierbaren Namen zu geben, verwenden wir eine sehr intuitive Regel:

Die Clusterbezeichnung ist der kleinste Punkt in der verbundenen Gruppe.

Zum Beispiel:

• Gruppe {1, 2, 3} wird zum Cluster 1
• Gruppe {7, 8} wird zu Cluster 7
• Ein Punkt wie 12 ohne Kernnachbarn wird Lärm

Genau das werden wir in Excel anhand von Formeln darstellen.

Letzte Gedanken

DBSCAN ist perfekt, um die Idee der lokalen Dichte zu vermitteln.

Es gibt keine Wahrscheinlichkeit, keine Gaußsche Formel, keinen Schätzschritt.
Nur Entfernungen, Nachbarn und ein kleiner Radius.

Aber diese Einfachheit schränkt es auch ein.
Da DBSCAN für alle einen festen Radius verwendet, kann es nicht angepasst werden, wenn der Datensatz Cluster unterschiedlicher Maßstäbe enthält.

HDBSCAN behält die gleiche Instinct bei, schaut aber auf alle Radien und hält, was stabil bleibt.
Es ist weitaus robuster und kommt der natürlichen Wahrnehmung von Clustern durch den Menschen viel näher.

Gestern haben wir mit gearbeitet Isolationswaldeine Methode zur Anomalieerkennung.

Heute schauen wir uns einen anderen Algorithmus an, der das gleiche Ziel hat. Aber im Gegensatz zu Isolation Forest ist dies der Fall nicht Bäume bauen.

Er wird LOF oder Native Outlier Issue genannt.

Menschen fassen LOF oft mit einem Satz zusammen: Liegt dieser Punkt in einer Area mit einer geringeren Dichte als seine Nachbarn?

Dieser Satz ist tatsächlich schwierig zu verstehen. Ich habe lange damit gekämpft.

Es gibt jedoch einen Teil, der sofort leicht zu verstehen ist:
und wir werden sehen, dass es zum entscheidenden Punkt wird:
Es gibt eine Vorstellung von Nachbarn.

Und sobald wir über Nachbarn reden,
Wir kehren natürlich zu zurück Distanzbasierte Modelle.

Wir erklären diesen Algorithmus in 3 Schritten.

Der Einfachheit halber verwenden wir erneut diesen Datensatz:

1, 2, 3, 9

Erinnern Sie sich, dass ich das Urheberrecht an diesem Datensatz besitze? Wir haben damit Isolation Forest gemacht, und wir werden wieder LOF damit machen. Und wir können die beiden Ergebnisse auch vergleichen.

Schritt 1 – okay Nachbarn und k-Abstand

LOF beginnt mit etwas extrem Einfachem:

Schauen Sie sich die Abstände zwischen den Punkten an.
Finden Sie dann die okay nächsten Nachbarn jedes Punktes.

Nehmen wir okay = 2nur um die Dinge minimal zu halten.

Nächste Nachbarn für jeden Punkt

• Punkt 1 → Nachbarn: 2 und 3
• Punkt 2 → Nachbarn: 1 und 3
• Punkt 3 → Nachbarn: 2 und 1
• Punkt 9 → Nachbarn: 3 und 2

Schon jetzt zeichnet sich eine klare Struktur ab:

• 1, 2 und 3 bilden einen dichten Cluster
• 9 lebt allein, weit weg von den anderen

Der k-Abstand: ein lokaler Radius

Der k-Abstand ist einfach der größte Abstand zwischen den okay nächsten Nachbarn.

Und das ist tatsächlich so der entscheidende Punkt.

Denn diese einzelne Zahl sagt Ihnen etwas ganz Konkretes:
der lokale Radius um den Punkt.

Wenn der k-Abstand klein ist, liegt der Punkt in einem dichten Bereich.
Wenn der k-Abstand groß ist, liegt der Punkt in einem dünn besetzten Bereich.

Mit nur dieser einen Maßnahme haben Sie bereits ein erstes Sign der „Isolation“.

Hier verwenden wir die Idee von „okay nächsten Nachbarn“, was uns natürlich daran erinnert k-NN (der Klassifikator oder Regressor).
Der Kontext ist hier ein anderer, aber die Berechnung ist genau die gleiche.

Und wenn Sie darüber nachdenken k-bedeutetvermischen Sie sie nicht:
Das „okay“ in k-means hat nichts mit dem „okay“ hier zu tun.

Die k-Distanzberechnung

Für Punkt 1die beiden nächsten Nachbarn sind 2 Und 3 (Abstände 1 und 2), additionally k-Abstand(1) = 2.

Für Punkt 2Nachbarn sind 1 Und 3 (beide im Abstand 1), additionally k-Abstand(2) = 1.

Für Punkt 3 sind die beiden nächsten Nachbarn 1 und 2 (Abstände 2 und 1), additionally k-Abstand(3) = 2.

Für Punkt 9Nachbarn sind 3 Und 2 (6 und 7), additionally k-Abstand(9) = 7. Das ist riesig im Vergleich zu allen anderen.

In Excel können wir eine paarweise Abstandsmatrix erstellen, um den k-Abstand für jeden Punkt zu erhalten.

Schritt 2 – Erreichbarkeitsentfernungen

Für diesen Schritt definiere ich hier einfach die Berechnungen und wende die Formeln in Excel an. Denn ehrlich gesagt ist es mir nie gelungen, die Ergebnisse wirklich intuitiv zu erklären.

Was ist additionally „Erreichbarkeitsdistanz“?

Für einen Punkt p und einen Nachbarn o definieren wir diese Erreichbarkeitsentfernung als:

erreichen-dist(p, o) = max(k-dist(o), Abstand(p, o))

Warum das Most nehmen?

Der Zweck der Erreichbarkeitsentfernung ist um den Dichtevergleich zu stabilisieren.

Wenn der Nachbar o in einer sehr dichten Area lebt (kleiner k-Abstand), dann wollen wir keinen unrealistisch kleinen Abstand zulassen.

Insbesondere zu Punkt 2:

• Abstand zu 1 = 1, aber k-distance(1) = 2 → erreichen-dist(2, 1) = 2
• Abstand zu 3 = 1, aber k-distance(3) = 2 → erreichen-dist(2, 3) = 2

Beide Nachbarn erzwingen die Erreichbarkeitsdistanz nach oben.

In Excel behalten wir ein Matrixformat bei, um die Erreichbarkeitsentfernungen anzuzeigen: ein Punkt im Vergleich zu allen anderen.

Durchschnittliche Erreichbarkeitsdistanz

Für jeden Punkt können wir nun den Durchschnittswert berechnen, der uns sagt: Wie weit muss ich im Durchschnitt fahren, um meine Nachbarschaft zu erreichen?

Und jetzt fällt Ihnen etwas auf: Punkt 2 hat eine größere durchschnittliche Erreichbarkeitsentfernung als Punkt 1 und 3.

Das ist für mich nicht so intuitiv!

Schritt 3 – LRD und der LOF-Rating

Der letzte Schritt ist eine Artwork „Normalisierung“, um einen Anomaliewert zu ermitteln.

Zuerst definieren wir die LRD (Native Reachability Density), die einfach der Kehrwert der durchschnittlichen Erreichbarkeitsentfernung ist.

Und der endgültige LOF-Rating wird wie folgt berechnet:

LOF vergleicht additionally die Dichte eines Punktes mit der Dichte seiner Nachbarn.

Interpretation:

• Wenn LRD(p) ≈ LRD (Nachbarn), dann ist LOF ≈ 1
• Wenn LRD(p) viel ist kleinerdann LOF >> 1. Additionally liegt p in einem dünn besetzten Bereich
• Wenn LRD(p) viel ist größer → LOF < 1. p liegt additionally in einer sehr dichten Tasche.

Ich habe auch eine Model mit mehr Entwicklungen und kürzeren Formeln erstellt.

Verstehen, was „Anomalie“ in unbeaufsichtigten Modellen bedeutet

In unbeaufsichtigtes Lernenes gibt keine Grundwahrheit. Und genau hier kann es knifflig werden.

Wir haben keine Etiketten.
Wir haben nicht die „richtige Antwort“.
Wir haben nur die Struktur der Daten.

Nehmen Sie diese kleine Probe:

1, 2, 3, 7, 8, 12
(Ich habe auch das Urheberrecht daran.)

Welche davon fühlt sich, wenn man es intuitiv betrachtet, wie eine Anomalie an?

Persönlich würde ich sagen 12.

Schauen wir uns nun die Ergebnisse an. Laut LOF ist der Ausreißer 7.

(Und Sie können sehen, dass wir bei der k-Entfernung sagen würden, dass dies der Fall ist 12.)

Jetzt können wir vergleichen Isolationswald Und LOF nebeneinander.

Hyperlinks mit dem Datensatz 1, 2, 3, 9beide Methoden stimmen überein:
9 ist der klare Ausreißer.
Isolation Forest gibt ihm die niedrigste Punktzahl,
und LOF gibt ihm den höchsten LOF-Wert.

Wenn wir genauer hinschauen, gibt es für Isolation Forest: 1, 2 und 3 keine Unterschiede in der Punktzahl. Und LOF gibt eine höhere Punktzahl für 2. Das ist uns bereits aufgefallen.

Mit dem Datensatz 1, 2, 3, 7, 8, 12die Geschichte ändert sich.

• Isolationswald weist darauf hin 12 als der isolierteste Punkt.
  Das entspricht der Instinct: 12 ist bei weitem nicht jeder.
• LOFjedoch Highlights 7 stattdessen.

Wer hat additionally Recht?

Das ist schwer zu sagen.

In der Praxis müssen wir uns zunächst mit den Geschäftsteams darauf einigen was „Anomalie“ eigentlich bedeutet im Zusammenhang mit unseren Daten.

Denn beim unbeaufsichtigten Lernen gibt es keine einzige Wahrheit.

Es gibt nur die Definition von „Anomalie“, die jeder Algorithmus verwendet.

Deshalb ist es äußerst wichtig zu verstehen
wie der Algorithmus funktioniertund welche Artwork von Anomalien es erkennen soll.

Nur dann können Sie entscheiden, ob LOF, Okay-Distance oder Isolation Forest für Ihre spezifische Scenario die richtige Wahl ist.

Und das ist die ganze Botschaft des unbeaufsichtigten Lernens:

Verschiedene Algorithmen betrachten die Daten unterschiedlich.
Es gibt keinen „echten“ Ausreißer.
Nur die Definition, was ein Ausreißer für jedes Modell bedeutet.

Aus diesem Grund verstehen Sie, wie der Algorithmus funktioniert
wichtiger ist als das daraus resultierende Endergebnis.

Abschluss

LOF und Isolation Forest erkennen beide Anomalien, betrachten die Daten jedoch aus völlig unterschiedlichen Blickwinkeln.

• k-Abstand erfasst, wie weit ein Punkt zurücklegen muss, um seine Nachbarn zu finden.
• LOF vergleicht lokale Dichten.
• Isolationswald Isoliert Punkte mithilfe zufälliger Teilungen.

Und sogar weiter sehr einfache Datensätzediese Methoden können unterschiedlich sein.
Ein Algorithmus markiert möglicherweise einen Punkt als Ausreißer, während ein anderer einen völlig anderen hervorhebt.

Und das ist die Kernbotschaft:

Beim unbeaufsichtigten Lernen gibt es keinen „wahren“ Ausreißer.
Jeder Algorithmus definiert Anomalien nach seiner eigenen Logik.

Deshalb Verständnis Wie Eine Methode funktioniert, ist wichtiger als die Zahl, die sie produziert.
Nur dann können Sie den richtigen Algorithmus für die richtige Scenario auswählen und die Ergebnisse sicher interpretieren.

In der vorherige Artikelhaben wir distanzbasiertes Clustering mit Okay-Means untersucht.

Weiter: Um die Distanzmessung zu verbessern, fügen wir Varianz hinzu, um die Mahalanobis-Distanz zu erhalten.

Wenn additionally k-Means die unbeaufsichtigte Model von ist Klassifikator für den nächstgelegenen Schwerpunktdann ist die natürliche Frage:

Was ist die unbeaufsichtigte Model von QDA?

Das bedeutet, dass wie bei QDA nun jeder Cluster nicht nur durch seine eigene Beschreibung beschrieben werden muss bedeutenaber auch durch seine Varianz (Und wir müssen auch Kovarianz hinzufügen, wenn die Anzahl der Merkmale größer als 2 ist). Aber hier wird alles gelernt ohne Etiketten.

Du verstehst additionally die Idee, oder?

Und nun ja, der Title dieses Modells ist Gaußsches Mischungsmodell (GMM)…

GMM und die Namen dieser Modelle…

Wie so oft sind die Namen der Modelle historisch bedingt. Sie sind nicht immer darauf ausgelegt, die Verbindungen zwischen Modellen hervorzuheben, wenn sie nicht zusammen gefunden werden.

Unterschiedliche Forscher, unterschiedliche Zeiträume, unterschiedliche Anwendungsfälle … und am Ende haben wir Namen, die manchmal die wahre Struktur hinter den Ideen verbergen.

Hier bedeutet der Title „Gaussian Combination Mannequin“ einfach, dass die Daten als dargestellt werden Mischung mehrerer Gauß-Verteilungen.

Wenn wir der gleichen Benennungslogik folgen wie k-Mitteles wäre klarer gewesen, es so zu nennen k-Gaußsche Mischung

Denn in der Praxis verwenden wir nicht nur die Mittelwerte, sondern addieren die Varianz. Und wir könnten einfach die Mahalanobis-Distanz oder eine andere gewichtete Distanz verwenden, die sowohl Mittelwerte als auch Varianz verwendet. Aber die Gaußsche Verteilung liefert uns Wahrscheinlichkeiten, die einfacher zu interpretieren sind.

Additionally wählen wir eine Zahl ok von Gaußschen Komponenten.

Und GMM ist übrigens nicht der Einzige.

Eigentlich das Ganze Framework für maschinelles Lernen ist tatsächlich viel aktueller als viele der darin enthaltenen Modelle. Die meisten dieser Techniken wurden ursprünglich in den Bereichen Statistik, Signalverarbeitung, Ökonometrie oder Mustererkennung entwickelt.

Dann, viel später, entstand das Gebiet, das wir heute „maschinelles Lernen“ nennen, und gruppierte alle diese Modelle unter einem Dach. Aber die Namen änderten sich nicht.

Deshalb verwenden wir heute eine Mischung aus Vokabeln aus verschiedenen Epochen, verschiedenen Gemeinschaften und unterschiedlichen Absichten.

Aus diesem Grund sind die Beziehungen zwischen Modellen nicht immer offensichtlich, wenn man sich nur die Namen ansieht.

Wenn wir alles mit einem modernen, einheitlichen Namen umbenennen müssten Stil des maschinellen Lernenswäre die Landschaft tatsächlich viel klarer:

• GMM würde werden k-Gaußsches Clustering
• QDA würde werden Nächster Gaußscher Klassifikator
• LDA, na ja, Nächster Gaußscher Klassifikator mit der gleichen Varianz zwischen den Klassen.

Und plötzlich erscheinen alle Hyperlinks:

• k-Mittel Nächster Schwerpunkt
• GMM Nächster Gaußscher Wert (QDA)

Deshalb ist GMM nach Okay-Means so natürlich. Wenn Okay-Means Punkte nach ihrem nächstgelegenen Schwerpunkt gruppiert, gruppiert GMM sie nach ihrem nächstgelegenen Schwerpunkt Gaußsche Kind.

Warum dieser ganze Abschnitt, um die Namen zu besprechen?

Nun, die Wahrheit ist, dass wir bereits alles über diesen Algorithmus wissen, da wir uns bereits mit dem k-means-Algorithmus befasst haben und den Übergang vom Nearest Centroids Classifier zu QDA bereits durchgeführt haben, und der Trainingsalgorithmus wird sich nicht ändern …

Und wie heißt dieser Trainingsalgorithmus?

Oh, Lloyds Algorithmus.

Tatsächlich battle k-means, bevor es so genannt wurde, einfach als Lloyd’s-Algorithmus bekannt, veröffentlicht von Stuart Lloyd In 1957. Erst später änderte die Neighborhood für maschinelles Lernen es in „k-means“.

Und dieser Algorithmus hat nur die Mittel manipuliert, additionally brauchen wir einen anderen Namen, oder?

Sie sehen, wohin das führt: der Expectation-Maximizing-Algorithmus!

EM ist einfach die allgemeine Kind von Lloyds Idee. Lloyd aktualisiert die Mittel, EM aktualisiert alles: Mittelwerte, Varianzen, Gewichte und Wahrscheinlichkeiten.

Sie wissen additionally bereits alles über GMM!

Da mein Artikel aber „GMM in Excel“ heißt, kann ich meinen Artikel hier nicht beenden …

GMM in einer Dimension

Beginnen wir mit diesem einfachen Datensatz, dem gleichen, den wir für k-means verwendet haben: 1, 2, 3, 11, 12, 13

Hmm, die beiden Gauß-Funktionen werden die gleichen Varianzen haben. Denken Sie additionally darüber nach, mit anderen Zahlen in Excel zu spielen!

Und wir wollen natürlich 2 Cluster.

Hier sind die verschiedenen Schritte.

Initialisierung

Wir beginnen mit Schätzungen für Mittelwerte, Varianzen und Gewichte.

Erwartungsschritt (E-Schritt)

Für jeden Punkt berechnen wir, wie wahrscheinlich es ist, dass er zu jeder Gaußschen Funktion gehört.

Maximierungsschritt (M-Schritt)

Mithilfe dieser Wahrscheinlichkeiten aktualisieren wir die Mittelwerte, Varianzen und Gewichte.

Iteration

Wir wiederholen E-Schritt und M-Schritt, bis sich die Parameter stabilisieren.

Sobald die Formeln sichtbar sind, ist jeder Schritt äußerst einfach.
Sie werden sehen, dass EM nichts anderes ist als die Aktualisierung von Durchschnittswerten, Varianzen und Wahrscheinlichkeiten.

Wir können auch eine Visualisierung durchführen, um zu sehen, wie sich die Gaußschen Kurven während der Iterationen bewegen.

Zu Beginn überlappen sich die beiden Gaußkurven stark, da es sich bei den anfänglichen Mittelwerten und Varianzen nur um Schätzungen handelt.

Die Kurven trennen sich langsam, passen ihre Breite an und liegen schließlich genau auf den beiden Punktgruppen.

Indem Sie die Gaußschen Kurven bei jeder Iteration zeichnen, können Sie dies im wahrsten Sinne des Wortes tun betrachten Das Modell lernt:

• Die Mittel gleiten in Richtung der Zentren der Daten
• Die Varianzen schrumpfen, um der Streuung jeder Gruppe zu entsprechen
• die Überlappung verschwindet
• Die endgültigen Formen entsprechen der Struktur des Datensatzes

Diese visuelle Entwicklung ist äußerst hilfreich für die Instinct. Sobald Sie sehen, wie sich die Kurven bewegen, ist EM kein abstrakter Algorithmus mehr. Es entsteht ein dynamischer Prozess, den Sie Schritt für Schritt verfolgen können.

GMM in 2 Dimensionen

Die Logik ist genau die gleiche wie in 1D. Konzeptionell nichts Neues. Wir erweitern einfach die Formeln…

Anstatt ein Characteristic professional Punkt zu haben, haben wir es jetzt zwei.

Jeder Gaußsche Operator muss nun lernen:

• ein Mittelwert für x1
• ein Mittelwert für x2
• eine Varianz für x1
• eine Varianz für x2
• UND ein Kovarianzterm zwischen den beiden Merkmalen.

Sobald Sie die Formeln in Excel geschrieben haben, werden Sie feststellen, dass der Prozess genau derselbe bleibt:

Nun, die Wahrheit ist, wenn Sie sich den Screenshot ansehen, denken Sie vielleicht: „Wow, die Formel ist so lang!„Und das ist noch nicht alles.

Aber lassen Sie sich nicht täuschen. Die Formel ist nur deshalb lang, weil wir sie ausschreiben Zweidimensionale Gaußsche Dichte ausdrücklich:

• ein Teil für den Abstand in x1
• ein Teil für den Abstand in x2
• der Kovarianzterm
• die Normalisierungskonstante

Mehr nicht.

Es ist einfach die Dichteformel, die Zelle für Zelle erweitert wird.
Das Eintippen ist lang, aber völlig verständlich, wenn man die Struktur sieht: eine gewichtete Distanz innerhalb einer Exponentialfunktion, dividiert durch die Determinante.

Additionally ja, die Formel sieht groß aus … aber die Idee dahinter ist äußerst einfach.

Abschluss

Okay-Means gibt harte Grenzen.

GMM gibt Wahrscheinlichkeiten an.

Sobald die EM-Formeln in Excel geschrieben sind, ist das Modell einfach zu befolgen: Die Mittelwerte verschieben sich, die Varianzen passen sich an und die Gaußschen Gleichungen richten sich auf natürliche Weise um die Daten herum aus.

GMM ist nach k-Means nur der nächste logische Schritt und bietet eine flexiblere Möglichkeit, Cluster und ihre Formen darzustellen.

4 davon Adventskalender für maschinelles Lernen.

In den ersten drei Tagen erkundeten wir Distanzbasierte Modelle für betreutes Lernen:

Bei all diesen Modellen battle die Idee dieselbe: Wir messen Entfernungen und entscheiden über die Ausgabe basierend auf den nächstgelegenen Punkten oder nächstgelegenen Zentren.

Heute bleiben wir in derselben Ideenfamilie. Aber wir nutzen die Distanzen unbeaufsichtigt: k-bedeutet.

Nun eine Frage an diejenigen, die diesen Algorithmus bereits kennen: Welchem ​​Modell ähnelt k-means eher, dem k-NN-Klassifikator oder dem Nearest Centroid-Klassifikator?

Und wenn Sie sich erinnern, gab es bei allen Modellen, die wir bisher gesehen haben, keine wirkliche „Trainings“-Section oder Hyperparameter-Abstimmung.

• Für k-NN gibt es überhaupt kein Coaching.

• Für LDA, QDA oder GNB besteht Coaching lediglich darin, Mittelwerte und Varianzen zu berechnen. Und es gibt auch keine echten Hyperparameter.

Jetzt werden wir mit k-means einen Trainingsalgorithmus implementieren, der endlich wie „echtes“ maschinelles Lernen aussieht.

Wir beginnen mit einem winzigen 1D-Beispiel. Dann gehen wir zu 2D über.

Ziel von k-means

Im Trainingsdatensatz gibt es keine anfänglichen Etiketten.

Das Ziel von k-means ist es erstellen Sie können aussagekräftige Beschriftungen erstellen, indem Sie Punkte gruppieren, die nahe beieinander liegen.

Schauen wir uns die Abbildung unten an. Man erkennt deutlich zwei Gruppen von Punkten. Jeder Schwerpunkt (das rote Quadrat und das grüne Quadrat) liegt in der Mitte seines Clusters und jeder Punkt ist dem nächstgelegenen zugeordnet.

Dies vermittelt ein sehr intuitives Bild davon, wie k-means die Struktur nur anhand von Abständen erkennt.

Und hier bedeutet okay die Anzahl der Zentren, die wir zu finden versuchen.

Beantworten wir nun die Frage: Welcher Algorithmus ist k-means näher, der k-NN-Klassifikator oder der Nearest Centroid-Klassifikator?

Lassen Sie sich nicht täuschen okay in k-NN und k-means.
Sie bedeuten nicht dasselbe:

• In k-NN, okay ist die Anzahl der Nachbarn, nicht die Anzahl der Klassen;
• In k-bedeutet, okay ist die Anzahl der Schwerpunkte.

Ok-means liegt viel näher am Klassifikator für den nächstgelegenen Schwerpunkt.

Beide Modelle werden vertreten durch Schwerpunkteund für eine neue Beobachtung berechnen wir einfach die Entfernung zu jedem Schwerpunkt, um zu entscheiden, zu welchem ​​Schwerpunkt er gehört.

Der Unterschied liegt natürlich darin Klassifikator für den nächstgelegenen Schwerpunktwir schon wissen die Schwerpunkte, weil sie aus beschrifteten Klassen stammen.

In k-bedeutetwir kennen die Schwerpunkte nicht. Das gesamte Ziel des Algorithmus besteht darin entdecken passende direkt aus den Daten.

Das Geschäftsproblem ist ein völlig anderes: Anstatt Etiketten vorherzusagen, versuchen wir es erstellen ihnen.

Und in k-means der Wert von okay (die Anzahl der Schwerpunkte) ist unbekannt. Es wird additionally ein Hyperparameter dass wir abstimmen können.

k-bedeutet mit nur einer Funktion

Wir beginnen mit einem winzigen 1D-Beispiel, damit alles auf einer Achse sichtbar ist. Und wir werden die Werte so trivial wählen, dass wir die beiden Schwerpunkte sofort sehen können.

1, 2, 3, 11, 12, 13

Ja, 2 und 12.

Aber woher sollte der Pc das wissen? Die Maschine „lernt“, indem sie Schritt für Schritt rät.

Hier kommt der genannte Algorithmus Lloyd’s-Algorithmus.

Wir werden es in Excel mit der folgenden Schleife implementieren:

1. Wählen Sie die Anfangsschwerpunkte
2. Berechnen Sie den Abstand von jedem Punkt zu jedem Schwerpunkt
3. Ordnen Sie jeden Punkt dem nächstgelegenen Schwerpunkt zu
4. Berechnen Sie die Schwerpunkte als Durchschnitt der Punkte in jedem Cluster neu
5. Wiederholen Sie die Schritte 2 bis 4, bis sich die Schwerpunkte nicht mehr bewegen

1. Wählen Sie die Anfangsschwerpunkte

Wählen Sie zwei erste Zentren aus, zum Beispiel:

Sie sollten innerhalb des Datenbereichs liegen (zwischen 1 und 13).

2. Berechnen Sie Entfernungen

Für jeden Datenpunkt x:

• Berechne den Abstand zu c_1,
• Berechnen Sie den Abstand zu c_2.

Normalerweise verwenden wir den absoluten Abstand in 1D.

Wir haben jetzt zwei Abstandswerte für jeden Punkt.

3. Cluster zuweisen

Für jeden Punkt:

• vergleiche die beiden Abstände,
• Ordnen Sie den Cluster des Kleinsten zu (1 oder 2).

In Excel ist dies einfach IF oder MIN basierte Logik.

4. Berechnen Sie die neuen Schwerpunkte

Für jeden Cluster:

• nimm die diesem Cluster zugewiesenen Punkte,
• Berechnen Sie ihren Durchschnitt,
• dieser Durchschnitt wird zum neuen Schwerpunkt.

5. Iterieren Sie, bis die Konvergenz erreicht ist

Jetzt können wir in Excel dank der Formeln einfach Fügen Sie die neuen Schwerpunktwerte ein in die Zellen der anfänglichen Schwerpunkte.

Die Aktualisierung erfolgt sofort und nachdem Sie dies einige Male durchgeführt haben, werden Sie feststellen, dass sich die Werte nicht mehr ändern. Dann ist der Algorithmus konvergiert.

Wir können jeden Schritt auch in Excel aufzeichnen, um zu sehen, wie sich die Schwerpunkte und Cluster im Laufe der Zeit entwickeln.

k-bedeutet mit zwei Funktionen

Lassen Sie uns nun zwei Funktionen verwenden. Der Vorgang ist genau der gleiche, wir verwenden einfach den euklidischen Abstand in 2D.

Sie können entweder das tun Kopieren und Einfügen der neuen Schwerpunkte als Werte (mit nur wenigen zu aktualisierenden Zellen),

oder Sie können anzeigen alle Zwischenschritte um die vollständige Entwicklung des Algorithmus zu sehen.

Visualisierung der beweglichen Schwerpunkte in Excel

Um den Prozess intuitiver zu gestalten, ist es hilfreich, Diagramme zu erstellen, die zeigen, wie sich die Schwerpunkte bewegen.

Leider sind Excel oder Google Sheets für diese Artwork der Visualisierung nicht preferrred und die Organisation der Datentabellen wird schnell etwas komplex.

Wenn Sie ein vollständiges Beispiel mit detaillierten Diagrammen sehen möchten, können Sie es lesen dieser Artikel Ich habe vor quick drei Jahren geschrieben, wo jeder Schritt der Schwerpunktbewegung klar dargestellt ist.

Wie Sie auf diesem Bild sehen können, wurde das Arbeitsblatt ziemlich unorganisiert, insbesondere im Vergleich zur vorherigen Tabelle, die sehr einfach battle.

Auswahl des optimalen okay: Die Ellbogenmethode

Jetzt ist es additionally möglich, es zu versuchen okay = 2 Und okay = 3 in unserem Fall, und berechnen Sie die Trägheit für jeden einzelnen. Dann vergleichen wir einfach die Werte.

Wir können sogar mit okay=1 beginnen.

Für jeden Wert von okay:

• wir führen k-Means bis zur Konvergenz durch,
• Berechnen Sie die Trägheitdas ist die Summe der quadrierten Abstände zwischen jedem Punkt und dem ihm zugewiesenen Schwerpunkt.

In Excel:

• Nehmen Sie für jeden Punkt den Abstand zu seinem Schwerpunkt und quadrieren Sie ihn.
• Summieren Sie alle diese quadrierten Abstände.
• Dies ergibt die Trägheit für dieses okay.

Zum Beispiel:

• für okay = 1 ist der Schwerpunkt nur der Gesamtmittelwert von x1 und x2,
• Für okay = 2 und okay = 3 entnehmen wir die konvergierten Schwerpunkte den Blättern, auf denen Sie den Algorithmus ausgeführt haben.

Dann können wir die Trägheit als Funktion von okay darstellen, zum Beispiel für (okay = 1, 2, 3).

Für diesen Datensatz

• von 1 auf 2 sinkt die Trägheit stark,
• Von 2 auf 3 ist die Verbesserung viel geringer.

Der „Ellbogen“ ist der Wert von okay, nach dem die Trägheitsabnahme marginal wird. Im Beispiel wird darauf hingewiesen, dass okay = 2 ausreichend ist.

Abschluss

Ok-means ist ein sehr intuitiver Algorithmus, wenn Sie ihn Schritt für Schritt in Excel sehen.

Wir beginnen mit einfachen Schwerpunkten, berechnen Entfernungen, weisen Punkte zu, aktualisieren die Schwerpunkte und wiederholen den Vorgang. Jetzt können wir sehen, wie „Maschinen lernen“, oder?

Nun, das ist erst der Anfang, wir werden sehen, dass verschiedene Modelle auf wirklich unterschiedliche Weise „lernen“.

Und hier ist der Übergang für den morgigen Artikel: die unbeaufsichtigte Model des Klassifikator für den nächstgelegenen Schwerpunkt ist in der Tat k-bedeutet.

Was wäre additionally die unbeaufsichtigte Model von? LDA oder QDA? Wir werden dies im nächsten Artikel beantworten.

dem k-NN-Regressor und der Idee der Vorhersage basierend auf der Distanz, schauen wir uns nun den k-NN-Klassifikator an.

Das Prinzip ist dasselbe, aber die Klassifizierung ermöglicht uns die Einführung mehrerer nützlicher Varianten, wie z. B. „Radius Nearest Neighbors“, „Nearest Centroid“, Multi-Class-Vorhersage und probabilistische Distanzmodelle.

Daher werden wir zunächst den k-NN-Klassifikator implementieren und dann diskutieren, wie er verbessert werden kann.

Sie können verwenden dieses Excel/Google-Blatt beim Lesen dieses Artikels, um allen Erklärungen besser folgen zu können.

Titanic-Überlebensdatensatz

Wir verwenden den Titanic-Überlebensdatensatz, ein klassisches Beispiel, bei dem jede Zeile einen Passagier mit Merkmalen wie Klasse, Geschlecht, Alter und Fahrpreis beschreibt und das Ziel darin besteht, vorherzusagen, ob der Passagier überlebt hat.

Prinzip von k-NN zur Klassifizierung

Der k-NN-Klassifikator ist dem k-NN-Regressor so ähnlich, dass ich quick einen einzigen Artikel schreiben könnte, um beide zu erklären.

Tatsächlich, wenn wir nach dem suchen ok Nächste Nachbarn, wir verwenden den Wert nicht j überhaupt, geschweige denn seine Natur.

ABER es gibt immer noch einige interessante Fakten darüber, wie Klassifikatoren (binär oder mehrklassig) erstellt werden und wie die Funktionen unterschiedlich gehandhabt werden können.

Wir beginnen mit der binären Klassifizierungsaufgabe und dann mit der Mehrklassenklassifizierung.

Ein kontinuierliches Merkmal für die binäre Klassifizierung

Mit diesem Datensatz können wir additionally ganz schnell die gleiche Übung für ein kontinuierliches Function durchführen.

Für den Wert von y verwenden wir normalerweise 0 und 1, um die beiden Klassen zu unterscheiden. Aber Sie können es bemerken, oder Sie werden bemerken, dass es Verwirrung stiften kann.

Denken Sie mal darüber nach: 0 und 1 sind auch Zahlen, oder? Wir können additionally genau den gleichen Prozess durchführen, als würden wir eine Regression durchführen.

Das ist richtig. An der Berechnung ändert sich nichts, wie Sie im folgenden Screenshot sehen. Und Sie können natürlich versuchen, den Wert der neuen Beobachtung selbst zu ändern.

Der einzige Unterschied besteht darin, wie wir das Ergebnis interpretieren. Wenn wir den „Durchschnitt“ der Nachbarn nehmen j Werte, unter dieser Zahl versteht man die Wahrscheinlichkeit, dass die neue Beobachtung zur Klasse 1 gehört.

In Wirklichkeit ist der „durchschnittliche“ Wert additionally nicht die gute Interpretation, sondern vielmehr der Anteil der Klasse 1.

Wir können dieses Diagramm auch manuell erstellen, um zu zeigen, wie sich die vorhergesagte Wahrscheinlichkeit über einen Bereich von ändert X Werte.

Um zu vermeiden, dass die Wahrscheinlichkeit am Ende bei 50 Prozent liegt, wählen wir traditionell einen ungeraden Wert für okdamit wir immer mit Mehrheitsentscheidung entscheiden können.

Zwei Funktionen für die binäre Klassifizierung

Wenn wir zwei Merkmale haben, ist die Operation auch quick die gleiche wie beim k-NN-Regressor.

Eine Funktion für die Klassifizierung mehrerer Klassen

Nehmen wir nun ein Beispiel für drei Klassen für die Zielvariable y.

Dann sehen wir, dass wir den Begriff „Durchschnitt“ nicht mehr verwenden können, da die Zahl, die die Kategorie darstellt, eigentlich keine Zahl ist. Und wir sollten sie besser „Kategorie 0“, „Kategorie 1“ und „Kategorie 2“ nennen.

Von k-NN zu den nächstgelegenen Schwerpunkten

Wenn ok zu groß wird

Jetzt machen wir ok groß. Wie groß? So groß wie möglich.

Denken Sie daran, dass wir diese Übung auch mit dem k-NN-Regressor durchgeführt haben und die Schlussfolgerung lautete: Wenn ok der Gesamtzahl der Beobachtungen im Trainingsdatensatz entspricht, ist der k-NN-Regressor der einfache Durchschnittswertschätzer.

Für den k-NN-Klassifikator ist es quick dasselbe. Wenn ok der Gesamtzahl der Beobachtungen entspricht, erhalten wir für jede Klasse ihren Gesamtanteil im gesamten Trainingsdatensatz.

Manche Leute bezeichnen diese Proportionen aus bayesianischer Sicht als Priors!

Dies hilft uns jedoch nicht viel bei der Klassifizierung einer neuen Beobachtung, da diese Prioritäten für jeden Punkt gleich sind.

Die Schaffung von Schwerpunkten

Gehen wir additionally noch einen Schritt weiter.

Für jede Klasse können wir auch alle Merkmalswerte gruppieren X die zu dieser Klasse gehören, und berechnen Sie ihren Durchschnitt.

Diese gemittelten Merkmalsvektoren nennen wir Schwerpunkte.

Was können wir mit diesen Schwerpunkten machen?

Wir können sie verwenden, um eine neue Beobachtung zu klassifizieren.

Anstatt die Abstände zum gesamten Datensatz für jeden neuen Punkt neu zu berechnen, messen wir einfach den Abstand zu jedem Klassenschwerpunkt und weisen die Klasse des nächstgelegenen zu.

Mit dem Überlebensdatensatz der Titanic können wir mit einer einzigen Funktion beginnen: Alterund berechnen Sie die Schwerpunkte für die beiden Klassen: Passagiere, die überlebt haben, und Passagiere, die nicht überlebt haben.

Jetzt ist es auch möglich, mehrere kontinuierliche Funktionen zu verwenden.

Beispielsweise können wir die beiden Merkmale Alter und Fahrpreis nutzen.

Und wir können einige wichtige Merkmale dieses Modells diskutieren:

• Die Skala ist wichtig, wie wir bereits für den k-NN-Regressor besprochen haben.
• Die fehlenden Werte stellen hier kein Drawback dar: Wenn wir die Schwerpunkte professional Klasse berechnen, wird jeder einzelne mit den verfügbaren (nicht leeren) Werten berechnet
• Wir sind vom „komplexesten“ und „größten“ Modell (in dem Sinne, dass das eigentliche Modell der gesamte Trainingsdatensatz ist, sodass wir den gesamten Datensatz speichern müssen) zum einfachsten Modell übergegangen (wir verwenden nur einen Wert professional Function und speichern nur diese Werte als unser Modell).

Von stark nichtlinear bis naiv linear

Aber fällt Ihnen jetzt ein großer Nachteil ein?

Während der grundlegende k-NN-Klassifikator stark nichtlinear ist, ist die Nearest Centroid-Methode äußerst linear.

In diesem 1D-Beispiel sind die beiden Schwerpunkte einfach die durchschnittlichen x-Werte der Klassen 0 und 1. Da diese beiden Durchschnittswerte nahe beieinander liegen, wird die Entscheidungsgrenze lediglich zum Mittelpunkt zwischen ihnen.

Anstelle einer stückweisen, gezackten Grenze, die von der genauen Place vieler Trainingspunkte abhängt (wie in k-NN), erhalten wir additionally einen geraden Cutoff, der nur von zwei Zahlen abhängt.

Dies veranschaulicht, wie Nearest Centroids den gesamten Datensatz in eine einfache und sehr lineare Regel komprimiert.

Ein Hinweis zur Regression: Warum Schwerpunkte nicht gelten

Eine solche Verbesserung ist für den k-NN-Regressor nicht möglich. Warum?

Bei der Klassifizierung bildet jede Klasse eine Gruppe von Beobachtungen, sodass die Berechnung des durchschnittlichen Merkmalsvektors für jede Klasse sinnvoll ist und wir dadurch die Klassenschwerpunkte erhalten.

Aber in der Regression das Ziel j ist kontinuierlich. Es gibt keine diskreten Gruppen, keine Klassengrenzen und daher keine sinnvolle Möglichkeit, den „Schwerpunkt einer Klasse“ zu berechnen.

Ein kontinuierliches Ziel hat unendlich viele mögliche Werte, daher können wir Beobachtungen nicht nach ihnen gruppieren j Wert, um Schwerpunkte zu bilden.

Der einzig mögliche „Schwerpunkt“ in der Regression wäre der globaler Mittelwertwas dem Fall ok = N im k-NN-Regressor entspricht.

Und dieser Schätzer ist viel zu einfach, um nützlich zu sein.

Kurz gesagt, der Nearest Centroids Classifier ist eine natürliche Verbesserung der Klassifizierung, hat aber kein direktes Äquivalent in der Regression.

Weitere statistische Verbesserungen

Was können wir sonst noch mit dem grundlegenden k-NN-Klassifikator machen?

Durchschnitt und Varianz

Mit dem Nearest Centroids Classifier haben wir die einfachste Statistik verwendet Durchschnitt. Ein natürlicher Reflex in der Statistik besteht darin, das zu addieren Varianz sowie.

Nun ist der Abstand additionally nicht mehr euklidisch, sondern Mahalanobis Distanz. Mithilfe dieser Distanz erhalten wir die Wahrscheinlichkeit basierend auf der Verteilung, die durch den Mittelwert und die Varianz jeder Klasse gekennzeichnet ist.

Umgang mit kategorialen Options

Für kategoriale Merkmale können wir keine Durchschnittswerte oder Varianzen berechnen. Und für den k-NN-Regressor haben wir gesehen, dass es möglich ist, eine One-Sizzling-Codierung oder eine Ordinal-/Label-Codierung durchzuführen. Aber der Maßstab ist wichtig und nicht leicht zu bestimmen.

Hier können wir im Hinblick auf die Wahrscheinlichkeiten etwas ebenso Bedeutsames tun: Wir können Zählen Sie die Anteile jeder Kategorie innerhalb einer Klasse.

Diese Proportionen verhalten sich genau wie Wahrscheinlichkeiten und beschreiben, wie wahrscheinlich jede Kategorie innerhalb jeder Klasse ist.

Diese Idee steht in direktem Zusammenhang mit Modellen wie Kategorischer naiver Bayeswobei Klassen gekennzeichnet sind durch Häufigkeitsverteilungen über die Kategorien.

Gewichtete Distanz

Eine andere Richtung besteht darin, Gewichte einzuführen, sodass nähere Nachbarn mehr zählen als entfernte. In scikit-learn gibt es das Argument „Gewichte“, das uns dies ermöglicht.

Wir können auch von „ok Nachbarn“ zu einem festen Radius um die neue Beobachtung wechseln, was zu radiusbasierten Klassifikatoren führt.

Radius Nächste Nachbarn

Manchmal können wir die folgende Grafik finden, um den k-NN-Klassifikator zu erklären. Aber tatsächlich spiegelt ein solcher Radius eher die Idee des „Radius der nächsten Nachbarn“ wider.

Ein Vorteil ist die Kontrolle der Nachbarschaft. Besonders interessant ist es, wenn wir die konkrete Bedeutung der Entfernung kennen, beispielsweise die geografische Entfernung.

Der Nachteil ist jedoch, dass Sie den Radius im Voraus kennen müssen.

Übrigens eignet sich dieser Begriff des Radius nächster Nachbarn auch für die Regression.

Zusammenfassung verschiedener Varianten

All diese kleinen Änderungen führen zu unterschiedlichen Modellen, von denen jedes versucht, die Grundidee des Vergleichs von Nachbarn anhand einer komplexeren Definition der Entfernung mit einem Kontrollparameter zu verbessern, der es uns ermöglicht, lokale Nachbarn oder eine globalere Charakterisierung der Nachbarschaft zu erhalten.

Wir werden hier nicht alle diese Modelle untersuchen. Ich kann einfach nicht anders, als etwas zu weit zu gehen, wenn eine kleine Variation natürlich zu einer anderen Idee führt.

Betrachten Sie dies vorerst als Ankündigung der Modelle, die wir später in diesem Monat implementieren werden.

Abschluss

In diesem Artikel haben wir den k-NN-Klassifikator von seiner grundlegendsten Kind bis hin zu mehreren Erweiterungen untersucht.

An der Grundidee ändert sich nichts: Eine neue Beobachtung wird anhand der Ähnlichkeit mit den Trainingsdaten klassifiziert.

Aber diese einfache Idee kann viele verschiedene Formen annehmen.

Bei kontinuierlichen Merkmalen basiert die Ähnlichkeit auf dem geometrischen Abstand.
Bei kategorialen Merkmalen betrachten wir stattdessen, wie oft jede Kategorie unter den Nachbarn vorkommt.

Wenn ok sehr groß wird, zerfällt der gesamte Datensatz in nur wenige zusammenfassende Statistiken, was natürlich dazu führt Klassifikator für nächstgelegene Schwerpunkte.

Das Verständnis dieser Familie distanzbasierter und wahrscheinlichkeitsbasierter Ideen hilft uns zu erkennen, dass viele Modelle des maschinellen Lernens einfach unterschiedliche Möglichkeiten zur Beantwortung derselben Frage darstellen:

Welcher Klasse ähnelt diese neue Beobachtung am meisten?

In den nächsten Artikeln werden wir uns weiterhin mit dichtebasierten Modellen befassen, die als globale Maße für die Ähnlichkeit zwischen Beobachtungen und Klassen verstanden werden können.