Bild vom Autor

# Einführung

Sie haben vielleicht unzählige Modelle für maschinelles Lernen an der Universität oder am Arbeitsplatz trainiert, aber haben Sie jemals eines bereitgestellt, damit jeder es über eine API oder eine Internet-App nutzen kann? Beim Deployment werden Modelle zu Produkten und es handelt sich dabei um eine der wertvollsten (und unterschätztesten) Fähigkeiten im modernen ML.

In diesem Artikel werden wir 10 GitHub-Repositories erkunden, um die Bereitstellung von maschinellem Lernen zu meistern. Mithilfe dieser von der Neighborhood betriebenen Projekte, Beispiele, Kurse und kuratierten Ressourcenlisten lernen Sie, wie Sie Modelle verpacken, über APIs verfügbar machen, in der Cloud bereitstellen und reale ML-basierte Anwendungen erstellen, die Sie tatsächlich versenden und teilen können.

// 1. MLOps Zoomcamp

Repository: DataTalksClub/mlops-zoomcamp

Dieses Repository bietet MLOps Zoomcamp, einen kostenlosen 9-wöchigen Kurs zur Produktion von ML-Diensten.

In 6 strukturierten Modulen, praktischen Workshops und einem Abschlussprojekt lernen Sie die MLOps-Grundlagen von der Schulung bis zur Bereitstellung und Überwachung. Verfügbar kohortenbasiert (ab 5. Mai 2025) oder im Selbststudium, mit Neighborhood-Unterstützung über Slack für Lernende mit Python-, Docker- und ML-Grundlagen.

// 2. Hergestellt mit ML

Repository: GokuMohandas/Made-With-ML

Dieses Repository bietet einen ML-Kurs für die Produktion, in dem Sie lernen, Finish-to-Finish-ML-Systeme zu erstellen.

Sie lernen die MLOps-Grundlagen von der Experimentverfolgung bis zur Modellbereitstellung kennen. CI/CD-Pipelines für kontinuierliche Bereitstellung implementieren; Arbeitslasten mit Ray/Anyscale skalieren; und stellen Sie zuverlässige Inferenz-APIs bereit, um ML-Experimente mithilfe getesteter, softwaretechnischer Python-Skripte in produktionsbereite Anwendungen umzuwandeln.

// 3. Design maschineller Lernsysteme

Repository: Chiphuyen/Machine-Studying-Techniques-Design

Dieses Repository bietet a Broschüre zum Design von Systemen für maschinelles Lernen, einschließlich Projekteinrichtung, Datenpipelines, Modellierung und Bereitstellung.

Sie lernen praktische Prinzipien anhand von Fallstudien großer Technologieunternehmen kennen, erkunden 27 offene Interviewfragen mit von der Neighborhood beigesteuerten Antworten und entdecken Ressourcen für den Aufbau von Produktions-ML-Systemen.

// 4. Ein Leitfaden für Deep Studying auf Produktionsebene

Repository: Alirezadir/Manufacturing-Stage-Deep-Studying

Dieses Repository bietet einen Leitfaden für das Design von Deep-Studying-Systemen auf Produktionsebene.

Sie lernen die vier Schlüsselphasen kennen: Projekteinrichtung, Datenpipelines, Modellierung und Bereitstellung anhand praktischer Ressourcen und realer Fallstudien von ML-Ingenieuren großer Technologieunternehmen.

Der Leitfaden enthält 27 offene Interviewfragen mit von der Neighborhood beigesteuerten Antworten.

// 5. Deep Studying in Manufacturing-Buch

Repository: Der KI-Sommer/Deep-Studying-in-Manufacturing

Dieses Repository bietet Deep Studying In Manufacturing, ein umfassendes Buch zum Erstellen robuster ML-Anwendungen.

Sie lernen Greatest Practices zum Schreiben und Testen von DL-Code, zum Erstellen effizienter Datenpipelines, zum Bereitstellen von Modellen mit Flask/uWSGI/Nginx, zum Bereitstellen mit Docker/Kubernetes und zum Implementieren von Finish-to-Finish-MLOps mit TensorFlow Prolonged und Google Cloud.

Es ist excellent für Software program-Ingenieure, die in die DL einsteigen, Forscher mit begrenztem Software program-Hintergrund und ML-Ingenieure, die produktionsreife Fähigkeiten anstreben.

// 6. Beispiele für maschinelles Lernen + Kafka-Streams

Repository: kaiwaehner/kafka-streams-machine-learning-examples

Dieses Repository demonstriert die Bereitstellung von Analysemodellen für die Produktion mithilfe von Apache Kafka und seiner Streams-API.

Sie lernen, TensorFlow-, Keras-, H2O- und DeepLearning4J-Modelle in skalierbare Streaming-Pipelines zu integrieren; Implementieren Sie geschäftskritische Anwendungsfälle wie Flugverzögerungsvorhersage und Bilderkennung mit Unit-Checks; und nutzen Sie das Kafka-Ökosystem für eine robuste, produktionsbereite ML-Infrastruktur.

// 7. NVIDIA Deep Studying-Beispiele für Tensorkerne

Repository: NVIDIA/DeepLearningBeispiele

Dieses Repository bietet hochmoderne Deep-Studying-Beispiele, die für NVIDIA Tensor Cores auf Volta-, Turing- und Ampere-GPUs optimiert sind.

Sie lernen, Hochleistungsmodelle in den Bereichen Pc Imaginative and prescient, NLP, Empfehlungssysteme und Sprache mithilfe von Frameworks wie PyTorch und TensorFlow zu trainieren und bereitzustellen. Nutzen Sie automatische gemischte Präzision, Multi-GPU/Knoten-Coaching und TensorRT/ONNX-Konvertierung für maximalen Durchsatz.

// 8. Großartiges maschinelles Lernen in der Produktion

Repository: EthicalML/awesome-Manufacturing-Machine-Studying

Dieses Repository kuratiert eine umfassende Liste von Open-Supply-Bibliotheken für maschinelles Lernen in der Produktion.

Sie lernen, durch kategorisierte Software-Hear im MLOps-Ökosystem zu navigieren, mithilfe des integrierten Such-Toolkits Lösungen für die Bereitstellung, Überwachung und Skalierung zu entdecken und mit monatlichen Neighborhood-Updates, die alles von AutoML bis hin zur Modellbereitstellung abdecken, auf dem Laufenden zu bleiben.

// 9. MLOps-Kurs

Repository: GokuMohandas/mlops-Kurs

Dieses Repository bietet einen umfassenden MLOps-Kurs, der Sie vom ML-Experiment bis zur Produktionsbereitstellung führt.

Sie lernen, ML-Anwendungen in Produktionsqualität zu erstellen und dabei die Greatest Practices der Softwareentwicklung zu befolgen. Skalieren Sie Arbeitslasten mithilfe von Python, Docker und Cloud-Plattformen. Implementieren Sie Finish-to-Finish-Pipelines mit Experimentverfolgung, Orchestrierung, Modellbereitstellung und Überwachung; und erstellen Sie CI/CD-Workflows für kontinuierliche Schulung und Bereitstellung.

// 10. MLOPs-Grundierung

Repository: dair-ai/MLOPs-Primer

Dieses Repository kuratiert wichtige MLOps-Ressourcen, um Sie bei der Bereitstellung von ML-Modellen zu unterstützen.

Sie lernen die MLOps-Toollandschaft, datenzentrierte KI-Prinzipien und das Produktionssystemdesign anhand von Blogs, Büchern und Artikeln kennen. Entdecken Sie Neighborhood-Ressourcen und Kurse für praktische Übungen. und eine Grundlage für die Schaffung einer skalierbaren, verantwortungsvollen Infrastruktur für maschinelles Lernen schaffen.

Repository-Karte

Hier ist eine kurze Vergleichstabelle, die Ihnen hilft zu verstehen, wie jedes Repository in das breitere ML-Bereitstellungsökosystem passt:

Abid Ali Awan (@1abidaliawan) ist ein zertifizierter Datenwissenschaftler, der gerne Modelle für maschinelles Lernen erstellt. Derzeit konzentriert er sich auf die Erstellung von Inhalten und das Schreiben technischer Blogs zu maschinellem Lernen und Datenwissenschaftstechnologien. Abid verfügt über einen Grasp-Abschluss in Technologiemanagement und einen Bachelor-Abschluss in Telekommunikationstechnik. Seine Imaginative and prescient ist es, ein KI-Produkt mithilfe eines graphischen neuronalen Netzwerks für Schüler mit psychischen Erkrankungen zu entwickeln.

Es ist sehr einfach, jedes Modell zu trainieren. Und der Trainingsprozess erfolgt immer mit der scheinbar gleichen Passform. Daher gewöhnen wir uns an die Vorstellung, dass das Coaching jedes Modells ähnlich und einfach ist.

Mit AutoML, Grid Search und Gen AI können Modelle für maschinelles Lernen mit einer einfachen „Eingabeaufforderung“ „trainiert“ werden.

Die Realität ist jedoch, dass der Prozess, wenn wir mannequin.match durchführen, hinter jedem Modell sehr unterschiedlich sein kann. Und jedes Modell selbst arbeitet ganz anders mit den Daten.

Wir können zwei sehr unterschiedliche Developments beobachten, die quick in zwei entgegengesetzte Richtungen gehen:

• Einerseits trainieren, verwenden, manipulieren und prognostizieren wir Modelle (z. B. generative Modelle), die immer komplexer werden.
• Andererseits sind wir nicht immer in der Lage, einfache Modelle (wie lineare Regression, linearer Diskriminanzklassifikator) zu erklären und Ergebnisse manuell neu zu berechnen.

Es ist wichtig, die von uns verwendeten Modelle zu verstehen. Und der beste Weg, sie zu verstehen, besteht darin, sie selbst umzusetzen. Manche Leute machen es mit Python, R oder anderen Programmiersprachen. Aber es gibt immer noch eine Hürde für diejenigen, die nicht programmieren. Und heutzutage ist es für jeden von entscheidender Bedeutung, KI zu verstehen. Darüber hinaus kann die Verwendung einer Programmiersprache auch dazu führen, dass einige Operationen hinter bereits vorhandenen Funktionen verborgen bleiben. Und es wird nicht visuell erklärt, was bedeutet, dass jede Operation nicht klar dargestellt wird, da die Funktion so codiert ist, dass sie dann ausgeführt wird, um nur die Ergebnisse anzuzeigen.

Meiner Meinung nach ist Excel das beste Device zum Erkunden. Mit den Formeln, die jeden Schritt der Berechnungen klar darstellen.

Wenn wir einen Datensatz erhalten, öffnen ihn die meisten Nicht-Programmierer tatsächlich in Excel, um zu verstehen, was darin enthalten ist. Dies kommt in der Geschäftswelt sehr häufig vor.

Sogar viele Datenwissenschaftler, mich eingeschlossen, nutzen Excel, um einen kurzen Blick darauf zu werfen. Und wenn es darum geht, die Ergebnisse zu erklären, ist die direkte Darstellung in Excel oft die effektivste Möglichkeit, insbesondere vor Führungskräften.

In Excel ist alles so sichtbar. Es gibt keine „Blackbox“. Sie können jede Formel, jede Zahl, jede Berechnung sehen.

Dies hilft sehr, ohne Abkürzungen zu verstehen, wie die Modelle wirklich funktionieren.

Außerdem müssen Sie nichts installieren. Nur eine Tabellenkalkulation.

Ich werde eine Reihe von Artikeln darüber veröffentlichen, wie das geht verstehen Und implementieren Modelle für maschinelles Lernen und Deep Studying in Excel.

Für den „Adventskalender“ werde ich jeden Tag einen Artikel veröffentlichen.

Für wen ist diese Serie?

Ich denke, dass diese Artikel für Studenten, die gerade studieren, eine praktische Sichtweise bieten. Es geht darum, komplexe Formeln zu verstehen.

Für ML- oder KI-Entwickler, die manchmal keine Theorie studiert haben – aber jetzt ohne komplizierte Algebra, Wahrscheinlichkeit oder Statistik können Sie die Blackbox hinter mannequin.match öffnen. Denn für alle Modelle machen Sie mannequin.match. Doch in Wirklichkeit können die Modelle sehr unterschiedlich sein.

Dies gilt auch für Supervisor, die möglicherweise nicht über den gesamten technischen Hintergrund verfügen, denen Excel jedoch alle intuitiven Ideen hinter den Modellen vermittelt. In Kombination mit Ihrem Fachwissen können Sie daher besser beurteilen, ob maschinelles Lernen wirklich notwendig ist und welches Modell möglicherweise besser geeignet ist.

Zusammenfassend geht es darum, die Modelle, das Coaching der Modelle, die Interpretierbarkeit der Modelle und die Verbindungen zwischen verschiedenen Modellen besser zu verstehen.

Aufbau der Artikel

Aus der Sicht eines Praktikers kategorisieren wir die Modelle normalerweise in die folgenden zwei Kategorien: überwachtes Lernen und unüberwachtes Lernen.

Für überwachtes Lernen gibt es dann Regression und Klassifizierung. Und für unbeaufsichtigtes Lernen gibt es Clustering und Dimensionsreduktion.

Aber Sie bemerken sicherlich bereits, dass einige Algorithmen möglicherweise den gleichen oder einen ähnlichen Ansatz verfolgen, wie z. B. KNN-Klassifikator vs. KNN-Regressor, Entscheidungsbaum-Klassifikator vs. Entscheidungsbaum-Regressor, lineare Regression vs. „linearer Klassifikator“.

Ein Regressionsbaum und eine lineare Regression haben das gleiche Ziel, nämlich die Durchführung einer Regressionsaufgabe. Wenn Sie jedoch versuchen, sie in Excel zu implementieren, werden Sie feststellen, dass der Regressionsbaum dem Klassifizierungsbaum sehr nahe kommt. Und die lineare Regression ähnelt eher einem neuronalen Netzwerk.

Und manchmal verwechseln Leute Okay-NN mit Okay-Mitteln. Manche mögen argumentieren, dass ihre Ziele völlig unterschiedlich seien und dass es ein Anfängerfehler sei, sie zu verwechseln. ABER wir müssen auch zugeben, dass sie den gleichen Ansatz zur Berechnung der Abstände zwischen den Datenpunkten verfolgen. Es besteht additionally eine Beziehung zwischen ihnen.

Das Gleiche gilt für den Isolationswald, da wir sehen können, dass es im Zufallswald auch einen „Wald“ gibt.

Deshalb werde ich alle Modelle aus theoretischer Sicht organisieren. Es gibt drei Hauptansätze, und wir werden deutlich sehen, wie diese Ansätze in Excel auf ganz unterschiedliche Weise implementiert werden.

Diese Übersicht wird uns helfen, durch die verschiedenen Modelle zu navigieren und die Zusammenhänge zwischen vielen von ihnen zu erkennen.

• Bei distanzbasierten Modellen berechnen wir lokale oder globale Distanzen zwischen einer neuen Beobachtung und dem Trainingsdatensatz.
• Für baumbasierte Modelle müssen wir die Aufteilungen oder Regeln definieren, die zum Erstellen von Kategorien der Options verwendet werden.
• Bei mathematischen Funktionen besteht die Idee darin, Gewichtungen auf Options anzuwenden. Und zum Trainieren des Modells wird hauptsächlich der Gradientenabstieg verwendet.
• Bei Deep-Studying-Modellen gehen wir davon aus, dass es vor allem um das Characteristic-Engineering geht, um eine angemessene Darstellung der Daten zu erstellen.

Für jedes Modell werden wir versuchen, diese Fragen zu beantworten.

Allgemeine Fragen zum Modell:

• Was ist die Natur des Modells?
• Wie wird das Modell trainiert?
• Was sind die Hyperparameter des Modells?
• Wie kann derselbe Modellansatz für Regression, Klassifizierung oder sogar Clustering verwendet werden?

Wie Funktionen Sind modelliert:

• Wie werden kategoriale Merkmale gehandhabt?
• Wie werden fehlende Werte verwaltet?
• Macht die Skalierung bei kontinuierlichen Options einen Unterschied?
• Wie messen wir die Wichtigkeit einer Funktion?

Wie können wir uns qualifizieren? die Bedeutung der Funktionen? Auch diese Frage wird diskutiert. Sie wissen vielleicht, dass Pakete wie LIME und SHAP sehr beliebt sind und modellunabhängig sind. Die Wahrheit ist jedoch, dass sich jedes Modell ganz anders verhält, und es ist auch interessant und wichtig, es direkt mit dem Modell zu interpretieren.

Beziehungen zwischen verschiedenen Modellen

Jedes Modell wird in einem separaten Artikel behandelt, wir werden jedoch die Verbindungen zu anderen Modellen besprechen.

Wir werden auch die Beziehungen zwischen verschiedenen Modellen diskutieren. Da wir wirklich jede „Black Field“ öffnen, wissen wir auch, wie wir einige Modelle theoretisch verbessern können.

• KNN und LDA (Lineare Diskriminanzanalyse) liegen sehr nahe beieinander. Der erste verwendet eine lokale Distanz und der zweite eine globale Distanz.
• Die Gradientenverstärkung ist dasselbe wie der Gradientenabfall, nur der Vektorraum ist unterschiedlich.
• Die lineare Regression ist ebenfalls ein Klassifikator.
• Die Beschriftungskodierung kann gewissermaßen für kategoriale Funktionen verwendet werden und kann sehr nützlich und sehr leistungsfähig sein, aber Sie müssen die „Beschriftungen“ mit Bedacht auswählen.
• SVM kommt der linearen Regression sehr nahe, sogar noch näher an der Ridge-Regression.
• LASSO und SVM verwenden ein ähnliches Prinzip, um Options oder Datenpunkte auszuwählen. Wussten Sie, dass das zweite S in LASSO zur Auswahl steht?

Für jedes Modell werden wir auch einen bestimmten Punkt besprechen, der in den meisten herkömmlichen Kursen übersehen wird. Ich nenne es die ungelehrte Lektion des maschinellen Lernmodells.

Modelltraining vs. Hyperparameter-Tuning

In diesen Artikeln konzentrieren wir uns nur auf die Funktionsweise der Modelle und wie sie trainiert werden. Wir werden nicht auf die Optimierung von Hyperparametern eingehen, da der Prozess im Wesentlichen für jedes Modell derselbe ist. Normalerweise verwenden wir die Rastersuche.

Liste der Artikel

Nachfolgend finden Sie eine Liste, die ich ab dem 1. Dezember aktualisieren werde, indem ich jeden Tag einen Artikel veröffentliche!

Bis bald!

…

Kontext

Zentren, Netzwerkverschwendung können aus dem Nichts erscheinen. Ein plötzlicher Verkehrsschub von verteilten Systemen, Microservices oder KI -Schulungsjobs kann in Sekundenschnelle den Schalterpuffer überwältigen. Das Downside ist nicht nur zu wissen, wann etwas schief geht. Es ist in der Lage zu sehen, dass es kommt, bevor es passiert.
Telemetriesysteme werden häufig zur Überwachung der Netzwerkgesundheit verwendet, die meisten arbeiten jedoch in einem reaktiven Modus. Sie sind erst nach dem Abbau der Leistung eine Überlastung. Sobald ein Hyperlink gesättigt oder eine Warteschlange voll ist, sind Sie bereits über die frühe Diagnose hinaus und die Verfolgung der ursprünglichen Ursache wird deutlich schwieriger.

In-Band-Netzwerk-Telemetrie oder int versucht, diese Lücke zu lösen, indem Stay-Pakete mit Metadaten markiert werden, wenn sie durch das Netzwerk reisen. Es gibt Ihnen eine Echtzeit-Ansicht darüber, wie sich Verkehrsströme, bei denen sich Warteschlangen aufbauen, wo sich die Latenz einbringt, und wie jeder Schalter die Weiterleitung bearbeitet. Es ist ein leistungsstarkes Werkzeug, wenn es sorgfältig verwendet wird. Aber es kommt mit Kosten. Durch das Aktivieren von INT in jedem Paket kann ein ernsthafter Overhead eingebracht und eine Flut von Telemetriedaten in die Kontrollebene schieben, von denen Sie möglicherweise nicht einmal benötigt werden.

Was wäre, wenn wir selektiver sein könnten? Anstatt alles zu verfolgen, prognostizieren wir, wo sich Probleme wahrscheinlich nur für diese Regionen und nur für kurze Zeit ermöglichen. Auf diese Weise erhalten wir eine detaillierte Sichtbarkeit, wenn es am wichtigsten ist, ohne die vollen Kosten für immer zu einer Überwachung zu zahlen.

Das Downside bei der stets On-Telemetrie

Int gibt Ihnen eine leistungsstarke, detaillierte Sicht auf das, was im Netzwerk passiert. Sie können Warteschlangenlängen, Hop-für-Hop-Latenz und Zeitstempel direkt vom Paketpfad verfolgen. Es gibt jedoch Kosten: Diese Telemetriedaten verleihen jedem Paket Gewicht, und wenn Sie sie auf den gesamten Verkehr anwenden, kann sie erhebliche Bandbreite und Verarbeitungskapazität aufnehmen.
Um dies zu umgehen, nehmen viele Systeme Verknüpfungen ein:

Probenahme: Markieren Sie nur einen Bruch (z. B. 1%) von Paketen mit Telemetriedaten.

Ereignisgesteuerte Telemetrie: Schalten Sie int nur ein, wenn bereits etwas Schlimmes passiert, wie eine Warteschlange, die eine Schwelle überquert.

Diese Techniken helfen dabei, den Overhead zu kontrollieren, aber sie vermissen die kritischen frühen Momente eines Verkehrsaufzeigs, den Teil, den Sie am meisten verstehen möchten, wenn Sie versuchen, Verlangsamungen zu verhindern.

Einführung eines prädiktiven Ansatzes

Anstatt auf Symptome zu reagieren, haben wir ein System entwickelt, das Vorlager vor dieser vorhersagen und detaillierte Telemetrie proaktiv aktivieren kann. Die Idee ist einfach: Wenn wir vorhersehen können, wann und wo der Verkehr ansteigt, können wir INT selektiv für diesen Hotspot und nur für das richtige Zeitfenster aktivieren.

Dies hält über Kopf niedrig, bietet Ihnen jedoch eine tiefe Sichtbarkeit, wenn es tatsächlich wichtig ist.

Systemdesign

Wir haben einen einfachen Ansatz entwickelt, der die Netzwerküberwachung intelligenter macht. Es kann vorhersagen, wann und wo tatsächlich eine Überwachung benötigt wird. Die Idee ist nicht, jedes Paket zu probieren und nicht auf eine Überlastung zu warten. Stattdessen möchten wir ein System, das frühzeitig Anzeichen von Schwierigkeiten aufnehmen und die Überwachung von Excessive-Constancy nur dann selektiv ermöglichen könnte, wenn es benötigt wird.

Additionally, wie haben wir das erledigt? Wir haben die folgenden vier kritischen Komponenten für eine eigene Aufgabe erstellt.

Datensammler

Wir beginnen damit, Netzwerkdaten zu sammeln, um zu überwachen, wie viele Daten zu jedem Zeitpunkt verschiedene Netzwerkports durchführen. Wir verwenden SFlow für die Datenerfassung, da es hilft, wichtige Metriken zu sammeln, ohne die Netzwerkleistung zu beeinträchtigen. Diese Metriken werden in regelmäßigen Abständen erfasst, um jederzeit eine Echtzeit-Sicht auf das Netzwerk zu erhalten.

Prognosemotor

Die Prognose -Engine ist die wichtigste Komponente unseres Methods. Es wurde mit einem langen Kurzzeitgedächtnismodell (LSTM) erstellt. Wir haben uns mit LSTM gegangen, weil es erfährt, wie sich im Laufe der Zeit Muster entwickeln, was es für den Netzwerkverkehr geeignet ist. Wir suchen hier nicht nach Perfektion. Das Wichtigste ist, ungewöhnliche Verkehrspikes zu erkennen, die normalerweise vor Beginn der Überlastung auftauchen.

Telemetrie -Controller

Der Controller hört auf diese Prognosen und trifft Entscheidungen. Wenn eine vorhergesagte Spike den Alarmschwellenwert kreuzt, würde das System reagieren. Es sendet einen Befehl an die Switches, um in einen detaillierten Überwachungsmodus zu wechseln, jedoch nur für die wichtigsten Ströme oder Anschlüsse. Es weiß auch, wann man sich zurückziehen muss und die zusätzliche Telemetrie ausschaltet, sobald die Bedingungen wieder regular sind.

Programmierbare Datenebene

Das letzte Stück ist der Schalter selbst. In unserem Setup verwenden wir P4 -programmierbare BMV2 -Switches, mit denen wir das Paketverhalten im laufenden Flug anpassen können. Meistens leitet der Schalter den Verkehr einfach weiter, ohne Änderungen vorzunehmen. Wenn der Controller jedoch int einschaltet, beginnt der Schalter, Telemetriemetadaten in Pakete einzubetten, die bestimmte Regeln entsprechen. Diese Regeln werden vom Controller vorangetrieben und lassen uns nur auf den Datenverkehr abzielen, der uns wichtig ist.

Dies vermeidet den Kompromiss zwischen konstanter Überwachung und blindem Abtastung. Stattdessen erhalten wir genau bei Bedarf eine detaillierte Sichtbarkeit, ohne das System den Relaxation der Zeit mit unnötigen Daten zu überfluten.

Experimenteller Setup

Wir haben eine vollständige Simulation dieses Methods mit:

• Mininet zur Emulation eines Blattwirbelsetznetzes
• BMV2 (P4 Software program Swap) Für programmierbare Datenebeneverhalten
• sflow-rt Für Echtzeitverkehrsstatistiken
• Tensorflow + Keras Für das LSTM -Prognosemodell
• Python + GRPC + P4Runtime Für die Controller -Logik

Das LSTM wurde auf synthetischen Verkehrsspuren in Mininet mit iPerf geschult. Nach dem Coaching läuft das Modell in einer Schleife, macht alle 30 Sekunden Vorhersagen und speichert Prognosen für den Controller.

Hier ist eine vereinfachte Model der Vorhersageschleife:

For each 30 seconds:
latest_sample = data_collector.current_traffic()
slinding_window += latest_sample
if sliding_window dimension >= window dimension:
forecast = forecast_engine.predict_upcoming_traffic()
if forecast > alert_threshold:
telem_controller.trigger_INT()

Switches reagieren sofort, indem sie Telemetriemodi für bestimmte Ströme schalten.

Warum LSTM?

Wir haben uns mit einem LSTM -Modell entschieden, weil der Netzwerkverkehr in der Regel Struktur hat. Es ist nicht ganz zufällig. Es gibt Muster, die an Tageszeit, Hintergrundbelastung oder Stapelverarbeitungsjobs gebunden sind, und LSTMs sind besonders intestine darin, diese zeitlichen Beziehungen aufzunehmen. Im Gegensatz zu einfacheren Modellen, die jeden Datenpunkt unabhängig voneinander behandeln, kann sich ein LSTM erinnern, was zuvor gekommen ist, und verwenden diesen Speicher, um bessere kurzfristige Vorhersagen zu treffen. Für unseren Anwendungsfall bedeutet dies, frühe Anzeichen eines bevorstehenden Anstiegs zu erkennen, indem Sie sich ansehen, wie sich die letzten Minuten verhalten haben. Wir brauchten es nicht, um genaue Zahlen zu prognostizieren, nur um zu markieren, wenn etwas Abnormales kommt. LSTM gab uns gerade genug Genauigkeit, um eine proaktive Telemetrie auszulösen, ohne Rauschen zu übertreffen.

Auswertung

Wir haben keine groß angelegten Leistungsbenchmarks durchgeführt, aber durch unser Prototyp und unser Systemverhalten unter Testbedingungen können wir die praktischen Vorteile dieses Entwurfsansatzes skizzieren.

Vorlaufvorteil

Einer der Hauptvorteile eines Vorhersagesystems wie diesem ist die Fähigkeit, frühzeitig Ärger zu machen. Reaktive Telemetrielösungen warten normalerweise, bis eine Warteschlangenschwelle gekreuzt wird oder die Leistung verschlechtert, was bedeutet, dass Sie bereits hinter der Kurve stehen. Im Gegensatz dazu erwartet unser Design eine Überlastung auf der Grundlage von Verkehrstrends und aktiviert eine detaillierte Überwachung im Voraus, wodurch den Bedienern ein klareres Bild davon ist, was zu dem Downside geführt hat, nicht nur die Symptome, sobald sie auftreten.

Überwachungseffizienz

Ein Hauptziel in diesem Projekt struggle es, den Overhead niedrig zu halten, ohne die Sicht zu beeinträchtigen. Anstatt den gesamten Verkehr auf den gesamten Verkehr anzuwenden oder sich auf grobe Stichproben zu verlassen, ermöglicht unser System selektiv Excessive-Constancy-Telemetrie für kurze Bursts, und nur wenn Prognosen potenzielle Probleme anzeigen. Obwohl wir die genauen Kosteneinsparungen nicht quantifiziert haben, begrenzt das Design auf natürliche Weise den Overhead, indem wir int fokussiert und kurzlebig bleiben, was statische Probenahme oder reaktives Auslösen nicht mithalten können.

Konzeptioneller Vergleich von Telemetriestrategien

Während wir keine Gemeinkosten aufzeichneten, bestand die Absicht des Designs darin, einen Mittelweg zu finden, was eine tiefere Sichtbarkeit lieferte als Probenahme oder reaktive Systeme, jedoch zu einem Bruchteil der Kosten für immer in der Telemetrie. So vergleicht sich der Ansatz auf hohem Niveau:

Abschluss

Wir wollten einen besseren Weg finden, um den Netzwerkverkehr zu überwachen. Durch die Kombination von maschinellem Lernen und programmierbaren Switches haben wir ein System erstellt, das Staus vorhersagt, bevor es passiert, und aktiviert detaillierte Telemetrie genau an der richtigen Stelle und Zeit.

Es scheint eine geringfügige Veränderung zu sein, anstatt zu reagieren, aber es eröffnet ein neues Maß an Beobachtbarkeit. Da die Telemetrie in Rechenzentren im KI-Maßstab und in geringen Latenzdiensten immer wichtiger wird, wird diese Artwork der intelligenten Überwachung zu einer Grunderwartung, nicht nur zu einem Nettel.

Referenzen

1. https://www.researchgate.internet/publication/340034106_adaptive_telemetry_for_software-defined_mobilile_networks
2. https://liyuliang001.github.io/publications/hpcc.pdf

In jeder NBA -Saison kämpfen 30 Groups um etwas, das nur einer erreichen wird: Das Erbe einer Meisterschaft. Von der Energy -Rangliste bis zum Handel mit Chaos und Verletzungen spekulieren Followers und Analysten endlos darüber, wer die Larry O’Brien -Trophäe erhöhen wird.

Aber was wäre, wenn wir über die heißen Einnahmen und Vorhersagen hinausgehen könnten, und Verwenden Sie Daten und Maschinelles Lernen Am Ende der regulären Saison prognostizieren Sie den NBA -Champion?

In diesem Artikel werde ich diesen Prozess durchgehen – vom Sammeln und Vorbereiten der Daten bis hin zur Schulung und Bewertung des Modells und schließlich verwenden Sie es, um Vorhersagen für die kommenden Playoffs 2024–25 zu treffen. Unterwegs werde ich einige der überraschendsten Erkenntnisse hervorheben, die aus der Analyse hervorgegangen sind.

Alle verwendeten Code und Daten sind auf verfügbar Github.

Das Downside verstehen

Vor dem Eintauchen in das Modelltraining ist der wichtigste Schritt bei jedem Projekt für maschinelles Lernen das Downside:
Welche Frage versuchen wir zu beantworten und welche Daten (und Modell) können uns helfen, dorthin zu gelangen?

In diesem Fall ist die Frage einfach: Wer wird der sein NBA Champion?

Eine natürliche erste Idee ist es, dies als einzuordnen Klassifizierungsproblem: Jedes Workforce in jeder Saison ist als entweder bezeichnet Champion oder Kein Champion.

Aber es gibt einen Haken. Es gibt nur Ein Champion professional Jahr (offensichtlich).

Wenn wir additionally Daten aus den letzten 40 Spielzeiten ziehen, hätten wir 40 constructive Beispiele… und Hunderte von negativen. Dieser Mangel an positiven Stichproben macht es für ein Modell äußerst schwierig, sinnvolle Muster zu lernen, insbesondere wenn man bedenkt, dass das Gewinnen eines NBA -Titels ein so seltenes Ereignis ist, dass wir einfach nicht genug historische Daten haben – wir arbeiten nicht mit 20.000 Jahreszeiten. Diese Knappheit macht es jedem Klassifizierungsmodell äußerst schwierig, wirklich zu verstehen, was Champions von den anderen trennt.

Wir brauchen einen intelligenteren Weg, um das Downside zu rahmen.

Um dem Modell zu helfen, zu verstehen, was einen Champion macht, ist es nützlich, es auch beizubringen, was eine macht quick Champion – und wie sich das von einem Workforce unterscheidet, das in der ersten Runde ausgeschaltet wurde. Mit anderen Worten, wir möchten, dass das Modell lernt Erfolgsgrade In den Playoffs eher als ein einfaches Ja/Nein -Ergebnis.

Dies führte mich zum Konzept von Champion Share – Der Anteil der Playoffs gewinnt ein Workforce aus der Gesamtzahl, die für den Gewinn des Titels erforderlich ist.

Ab 2003 dauert es 16 SiegeNBA -Champion werden. Zwischen 1984 und 2002 conflict die erste Runde jedoch eine Greatest-of-5 15 Siege.

Ein Workforce, das in der ersten Runde verliert, hat möglicherweise einen Gewinn von 0 oder 1 (Champion Share = 1/16), während ein Workforce, das das Finale erzielt, aber 14 Siege verliert (Champion Share = 14/16). Der Champion hat einen vollen Anteil von 1,0.

Dadurch werden die Aufgabe als neu bearbeitet Regressionsproblem wo das Modell einen kontinuierlichen Wert zwischen 0 und 1 vorhersagt – was darstellt, wie nahe jedes Workforce gekommen ist, alles zu gewinnen.

In diesem Setup das Workforce mit dem höchster vorhergesagtes Wert ist die Wahl unseres Modells für den NBA -Champion.

Dies ist ein ähnlicher Ansatz wie MVP -VorhersageAus meinem vorherigen Artikel.

Daten

Basketball – und insbesondere die NBA – ist dank des Volumens frei verfügbarer Statistiken einer der aufregendsten Sportarten, mit denen sie in der Datenwissenschaft zusammenarbeiten können. Für dieses Projekt habe ich Daten von gesammelt Basketballreferenz Mit meinem Python -Paket BrscraperDies ermöglicht einen einfachen Zugriff auf die Daten der Spieler und Groups. Die gesamte Datenerfassung wurde gemäß den Richtlinien der Web site und den Ratengrenzen erfolgen.

Die verwendeten Daten umfassen Statistik auf Teamebene Anwesend letzte reguläre Saisonstandards (zB Gewinnanteil, Aussaat) sowie Statistiken auf Spielerebene Für jedes Workforce (beschränkt auf Spieler, die in mindestens 30 Spielen erschienen) und Historische Playoff -LeistungIndikatoren.

Es ist jedoch wichtig, bei der Arbeit mit der Arbeit vorsichtig zu sein rohe, absolute Werte . Zum Beispiel die durchschnittliche Punkte professional Spiel (PPG)In der Saison 2023–24 conflict 114.2während im Jahr 2000-01 es conflict 94.8– Eine Zunahme von quick 20%.

Dies ist auf eine Reihe von Faktoren zurückzuführen, aber die Tatsache ist, dass sich das Spiel im Laufe der Jahre erheblich verändert hat, und so sind die daraus abgeleiteten Metriken.

Um diese Verschiebung zu berücksichtigen, vermeidet der Ansatz hier die Verwendung absoluter Statistiken direkt und entscheidet stattdessen für die Normalisierte, relative Metriken. Zum Beispiel:

• Anstelle der PPG eines Groups können Sie ihre verwenden Rating in dieser Saison .
• Anstatt zu zählen, wie viele Spieler durchschnittlich mehr als 20 PPG sind, können Sie überlegen, wie viele sich in der befinden Prime 10 in der Wertung und so weiter.

Dadurch kann das Modell erfasst werden relative DominanzInnerhalb jeder Zeit, die Vergleiche über Jahrzehnte aussagekräftiger machen und damit die Aufnahme älterer Jahreszeiten ermöglichen, den Datensatz zu bereichern.

Daten aus dem 1984 bis 2024Die Jahreszeiten wurden verwendet, um das Modell insgesamt zu trainieren und zu testen 40 Jahreszeiten mit insgesamt 70 Variablen.

Bevor Sie in das Modell selbst eintauchen, entstehen einige interessante Muster aus einer explorativen Analyse, wenn sie Meisterschaftsteams mit allen Playoff -Groups als Ganzes vergleichen:

Champions kommen aus den Prime -Samen und mit höheren Gewinnprozentsätzen nicht überraschend. Das Workforce mit dem schlechtesten regulären Saisonrekord, um alles in dieser Zeit zu gewinnen 1994–95 Houston Rocketsangeführt von Hakeem Olajuwon, beendet 47–35 (.573) und betritt die Playoffs als nur die 10. Bestes Gesamtteam(6. im Westen).

Ein weiterer bemerkenswerter Pattern ist, dass Champions tendenziell ein etwas höheres Durchschnittsalter haben, was darauf hindeutet, dass die Erfahrung eine entscheidende Rolle spielt, wenn die Playoffs beginnen. Das jüngste Meisterschaftsteam in der Datenbank mit durchschnittlich 26,6 Jahren ist die 1990–91 Chicago Bullsund das älteste ist das 1997–98 Chicago Bullsmit 31,2 Jahren – die ersten und letzten Titel der Michael Jordan Dinasty.

In ähnlicher Weise sind Groups mit Trainern, die länger mit dem Franchise waren, in der Nachsaison auch mehr Erfolg.

Modellieren

Das verwendete Modell conflict Lightgbmein baumbasierter Algorithmus, der neben anderen wie Xgboost als eine der effektivsten Methoden für tabellarische Daten erkannt wird. Es wurde eine Gittersuche durchgeführt, um die besten Hyperparameter für dieses spezifische Downside zu identifizieren.

Die Modellleistung wurde unter Verwendung des quadratischen Fehlers des Stammmittelmittels (stammende Mittel) bewertet (Rmse ) und der Bestimmungskoeffizient (R² ).

Sie können die Formel und Erklärung jeder Metrik in meinem finden Vorheriger MVP -Artikel.

Die für das Coaching und Check verwendeten Jahreszeiten wurden zufällig ausgewählt, mit der Einschränkung von Reservieren der letzten drei Spielzeiten für den Testsatz Um die Leistung des Modells für neuere Daten besser zu bewerten. Wichtig ist, dass alle Groups in den Datensatz aufgenommen wurden – nicht nur diejenigen, die sich für die Playoffs qualifizierten -, sodass das Modell Muster lernen konnte, ohne sich auf die Nachsaison -Qualifikation zu stützen.

Ergebnisse

Hier sehen wir einen Vergleich zwischen den „Verteilungen“ sowohl der Vorhersagen als auch der realen Werte. Obwohl es sich technisch um ein Histogramm handelt – da es sich um ein Regressionsproblem handelt -, funktioniert es immer noch als visuelle Verteilung, da die Zielwerte von 0 bis 1 reichen. Zusätzlich zeigen wir auch die Verteilung des Restfehlers für jede Vorhersage an.

Wie wir sehen können, folgen die Vorhersagen und die realen Werte einem ähnlichen Muster, beide quick Null – da die meisten Groups keinen hohen Erfolg mit Playoffs erzielen. Dies wird weiter durch die Verteilung der Restfehler gestützt, die sich um Null konzentriert und einer Normalverteilung ähnelt. Dies deutet darauf hin, dass das Modell die in den Daten vorhandenen zugrunde liegenden Muster erfassen und reproduzieren kann.

In Bezug auf die Leistungsmetriken erreichte das beste Modell einen RMSE von 0,184 und einen R² -Rating von 0,537 im Testdatensatz.

Ein effektiver Ansatz zur Visualisierung der Schlüsselvariablen, die die Vorhersagen des Modells beeinflussen FormwerteAtechnique, das eine vernünftige Erklärung dafür liefert, wie sich jedes Merkmal auf die Vorhersagen des Modells auswirkt.

Auch hier kann eine tiefere Erklärung über Shap und die Interpretation seines Diagramms gefunden werden Vorhersage des NBA -MVP mit maschinellem Lernen.

Aus dem Shap -Diagramm entstehen mehrere wichtige Erkenntnisse:

• SamenUnd W/l%Zu den drei wichtigsten Funktionen gehören und die Bedeutung der Teamleistung in der regulären Saison hervorhebt.
• Workforce-Ebene wie Netto -Score (NRTG) Anwesend Gegnerpunkte professional Spiel (PA/G) Anwesend Rand des Sieges (MOV) Und Angepasste offensive Bewertung (ORTG/A) spielen auch eine bedeutende Rolle bei der Gestaltung des Playoff -Erfolgs.
• Auf der Spielerseite stechen fortschrittliche Metriken hervor: die Anzahl der Spieler in den Prime 30 für Field Plus/Minus (BPM) Und Prime 3 für Gewinnanteile professional 48 Minuten (WS/48) gehören zu den einflussreichsten.

Interessanterweise erfasst das Modell auch breitere Developments – Groups mit höherem Durchschnittsalter arbeiten in den Playoffs in der Regel besser ab, und eine starke Leistung in der vorherigen Nachsaison korreliert häufig mit zukünftigem Erfolg. Beide Muster zeigen erneut auf Erfahrungals wertvolles Kapital bei der Verfolgung einer Meisterschaft.

Schauen wir uns nun genauer an, wie das Modell in der Leistung durchgeführt wurde Vorhersage der letzten drei NBA -Champions:

Das Modell wurde korrekt vorhergesagt zwei der letzten drei NBA -Champions. Der einzige Miss conflict im Jahr 2023, als er das bevorzugte Milwaukee Bucks . In dieser Saison hatte Milwaukee den besten Rekord der regulären Saison mit 58–24 (.707), aber eine Verletzung An Giannis Antetokounmpo verletzte ihren Playoff -Lauf. Die Böcke wurden in der ersten Runde von der Miami Warmth 4: 1 beseitigt, die das Finale erreichte – ein überraschender und enttäuschender Nachsaison -Ausstieg für Milwaukee, der die Meisterschaft erst zwei Jahre zuvor beansprucht hatte.

2025 Playoffs Vorhersagen

Für diese bevorstehenden 2025 Playoffs prognostiziert das Modell das Boston Celtics Again-to-Again gehen, mit OKC Und Clevelandnah hinter.

Angesichts ihrer starken regulären Saison (61–21, 2. Samen im Osten) und der Tatsache, dass sie die amtierenden Meister sind, stimme ich zu. Sie verbinden sich Aktuelle Leistungmit Jüngster Erfolg von Playoffs.

Wie wir alle wissen, kann im Sport alles passieren – und wir werden erst Ende Juni die wahre Antwort bekommen.

Schlussfolgerungen

Dieses Projekt zeigt, wie maschinelles Lernen auf komplexe, dynamische Umgebungen wie Sport angewendet werden kann. Mit einem Datensatz über vier Jahrzehnte Basketball -Geschichte konnte das Modell sinnvolle Muster in den Erfolg des Playoffs aufdecken. Über die Vorhersage hinaus ermöglichten uns Instruments wie Shap, die Entscheidungen des Modells zu interpretieren und die Faktoren, die zum Erfolg nach der Saison beitragen, besser zu verstehen.

Eine der größten Herausforderungen in diesem Downside besteht darin Verletzungen. Sie können die Playoff -Landschaft komplett umgestalten – insbesondere wenn sie Starspieler während der Playoffs oder in der regulären Saison betreffen. Im Idealfall könnten wir Verletzungsgeschichten und Verfügbarkeitsdaten integrieren, um dies besser zu berücksichtigen. Leider ist es schwer, konsequente und strukturierte offene Daten in dieser Angelegenheit zu dieser Angelegenheit zu finden. Infolgedessen bleibt dies einer der blinden Flecken des Modells: Es behandelt alle Groups mit voller Stärke, was oft nicht der Fall ist.

Während kein Modell das Chaos und die Unvorhersehbarkeit des Sports activities perfekt vorhersagen kann, zeigt diese Analyse, dass datengetriebene Ansätze eng werden können. Während sich die Playoffs 2025 entfalten, wird es aufregend sein zu sehen, wie die Vorhersagen aufhalten – und was das Spiel immer noch überrascht.

---

Ich bin immer auf meinen Kanälen verfügbar (LinkedIn Und Github).

Danke für deine Aufmerksamkeit!

Gabriel Speranza Pastorello

Maschinelles Lernen (ML) ist ein entscheidendes Werkzeug zur Kontrolle von Betrug bei E-Commerce-Transaktionen. Stellen Sie sich das so vor, als würden Sie einem Detektiv beibringen, zweifelhaftes Verhalten zu erkennen und den Täter zu fassen, aber anstelle einer Particular person ist es ein Laptop, der verschiedene ML-Algorithmen verwendet, um Muster zu erkennen und Vorhersagen sowie Entscheidungen auf der Grundlage verfügbarer Daten zu treffen.

Arten von Betrug im E-Commerce

E-Commerce-Betrug ist sowohl für Unternehmen als auch für Verbraucher ein ernstes Drawback. Es ist wichtig, es zu stoppen, denn es schützt Unternehmen vor Geldverlusten, schützt Kunden vor Identitätsdiebstahl und trägt dazu bei, Vertrauen in On-line-Einkäufe aufzubauen.

Dennoch ist es eine Herausforderung, Betrug zu erkennen, da Betrüger ständig neue Wege finden, das System auszutricksen. Lassen Sie uns die verschiedenen Arten von Betrug im E-Commerce untersuchen. Wenn Sie diese verstehen, erfahren Sie, wie ML und andere Werkzeuge Tragen Sie dazu bei, On-line-Procuring sicherer zu machen.

1. Kreditkartenbetrug

Wenn jemand gestohlene Kreditkartendaten nutzt, um ohne die Erlaubnis des Karteninhabers einzukaufen, spricht man von Kreditkartenbetrug. Betrüger gelangen häufig über Datenschutzverletzungen, Phishing-Betrügereien oder das Darkish Net an diese Daten.

Beispiel aus der Praxis:

Stellen Sie sich vor, Sie besitzen einen On-line-Store und jemand gibt mit einer gestohlenen Kreditkarte eine umfangreiche Elektronikbestellung auf. Sie bearbeiten die Bestellung und versenden die Artikel, doch kurz darauf meldet der echte Karteninhaber den Betrug. Die Financial institution retourniert dann die Belastung, so dass Sie weder das Geld noch die Produkte erhalten.

Lösung:

ML kann helfen, indem es Transaktionsmuster analysiert, um zweifelhafte Aktivitäten wie ungewöhnlich große Einkäufe oder Bestellungen von unbekannten Standorten zu erkennen.

2. Kontoübernahme (ATO)

Ein Betrüger, der sich für Einkäufe in das Konto eines echten Benutzers hackt, Kontodaten ändert oder gespeicherte Kreditkarteninformationen stiehlt, wird als ATO-Angriff bezeichnet. Sie gelangen oft durch den Diebstahl von Passwörtern durch Phishing-E-Mails oder durch das Erraten einfacher Passwörter.

Beispiel aus der Praxis:

Stellen Sie sich vor, ein Betrüger hackt sich in das Amazon-Konto eines Kunden ein. Sie könnten die Lieferadresse ändern und mit der hinterlegten Zahlungsart teure Artikel kaufen. Wenn sich der echte Benutzer anmeldet und sieht, dass sein Konto gehackt wurde, verursacht das viel Stress und Ärger und ist auch ein großer Verlust für das Unternehmen.

Lösung:

ML kann helfen, indem es auf ungewöhnliche Anmeldepraktiken achtet, etwa wenn sich jemand aus einem neuen Land oder Gerät anmeldet. Wenn etwas verdächtig erscheint, fordert das System möglicherweise eine zusätzliche Bestätigung an, z. B. einen Einmalcode, der an die E-Mail-Adresse oder das Telefon des echten Benutzers gesendet wird.

3. Freundlicher Betrug (Chargeback-Betrug)

Der Käufer beanstandet absichtlich eine gültige Gebühr, um sein Geld zurückzuerhalten und das Produkt zu behalten. Es wird „freundlicher Betrug“ genannt, weil es in der Regel vom Kunden und nicht von einem Außenstehenden begangen wird.

Beispiel aus der Praxis:

Stellen Sie sich vor, ein Kunde kauft ein Paar Schuhe in einem On-line-Store. Nachdem sie die Schuhe erhalten haben, teilen sie ihrer Financial institution mit, dass sie sie nie erhalten haben, und verlangen eine Rückerstattung. Der Laden muss das Geld zurückgeben, der Kunde behält aber weiterhin die Schuhe.

Lösung:

ML kann dabei helfen, Muster bei Rückbuchungen zu erkennen, etwa wenn ein Kunde häufig nach dem Kauf etwas über Gebühren bestreitet. Dies hilft dem System, verdächtige Kunden zu kennzeichnen, sodass das Unternehmen die Angelegenheit genauer untersuchen kann.

4. Identitätsdiebstahl und synthetischer Betrug

Wenn eine Particular person die Daten einer anderen Particular person nutzt, um Einkäufe zu tätigen, spricht man von einem Identitätsdiebstahl-Angriff. Beim synthetischen Betrug stellen sie künstliche Identitäten her, indem sie echte und erfundene Daten vermischen, um Sicherheitskontrollen zu umgehen. Möglicherweise erstellen sie sogar ein gefälschtes Profil auf einer Einkaufsseite, um Artikel zu kaufen oder Geld zu verdienen.

Beispiel aus der Praxis:

Ein Betrüger könnte auf einer Web site mit einer gefälschten Identität ein neues Konto erstellen, Artikel auf Kredit kaufen und dann verschwinden, ohne zu bezahlen.

Lösung:

ML hilft durch die Analyse von Kundendaten und -routinen. Wenn ein neues Konto beispielsweise eine große Bestellung aufgibt, ohne dass zuvor ein Kaufdatensatz vorliegt, markiert das System diese möglicherweise zur Überprüfung oder erfordert eine zusätzliche Überprüfung, bevor die Bestellung genehmigt wird.

6. Phishing und Social Engineering

Bei Phishing- und Social-Engineering-Betrug verleiten Angreifer Kunden dazu, ihre Daten wie Anmelde- oder Kreditkartendaten preiszugeben. Dies geschieht in der Regel über gefälschte E-Mails, Web sites oder Nachrichten, die den Anschein erwecken, als kämen sie von einer vertrauenswürdigen Quelle.

Beispiel aus der Praxis:

Ein Kunde erhält eine E-Mail, die aussieht, als käme sie von eBay, in der ihm mitgeteilt wird, dass es ein Drawback mit seinem Konto gibt, und in der er aufgefordert wird, sich über einen Hyperlink anzumelden. Wenn sie auf der gefälschten Web site ihren Benutzernamen und ihr Passwort eingeben, stiehlt der Betrüger diese Informationen und nutzt sie, um auf das echte Konto zuzugreifen, um Artikel zu kaufen oder Anmeldeinformationen zu ändern.

Lösung:

Hier hilft ML dabei, Phishing zu erkennen, indem es ungewöhnliche Anmeldeversuche oder seltsames Verhalten erkennt, z. B. Anmeldungen von neuen Geräten, IP-Adressen oder ungewöhnliche Aktivitäten auf dem Konto. Viele E-Commerce-Web sites scannen auch E-Mails, um Phishing-Versuche zu erkennen und Kunden auf gefälschte Nachrichten aufmerksam zu machen.

Einsatz von maschinellem Lernen zur Betrugsprävention bei E-Commerce-Transaktionen: Schritt für Schritt

Stellen Sie sich einen On-line-Store wie Amazon oder eBay vor, der jede Minute Tausende von Transaktionen abwickelt. Man kann nicht jedes einzelne überprüfen, um zu sehen, ob es echt ist oder nicht. Deshalb diese Unternehmen nutzen maschinelles Lernen, um den Prozess zu automatisieren. So funktioniert es:

Schritt 1: Daten sammeln

Der erste Schritt besteht darin, eine große Menge an Daten zu sammeln. Im E-Commerce umfassen diese Daten typischerweise:

• Transaktionsbeträge: Der Wert jedes Kaufs.
• Kaufhistorie: Eine Aufzeichnung vergangener Käufe, einschließlich Artikel, Mengen und Häufigkeit.
• Geografische Informationen: Der Ort, an dem die Transaktion stattfindet, einschließlich Particulars wie der IP-Adresse oder der Lieferadresse.
• Gerätedetails: Informationen über das für den Handel verwendete Gerät, einschließlich Modell, Betriebssystem und Webbrowser.

Diese Daten dienen als Rohmaterial für das Coaching des Modells. Durch die Analyse dieser Hinweise lernt das Modell, zwischen normalem und verdächtigem Verhalten zu unterscheiden.

Schritt 2: Muster finden

Dieser Prozess umfasst das Auffinden von Tendencies und Unregelmäßigkeiten in den Daten. Zum Beispiel:

• Ungewöhnliche Ausgaben: Wenn die meisten Kunden typischerweise weniger als 500 US-Greenback ausgeben, könnte eine Transaktion, die diesen Betrag übersteigt, als verdächtig gekennzeichnet werden.
• Geografische Anomalien: Eine plötzliche Änderung des Einkaufsstandorts eines Kunden, beispielsweise eine Bestellung aus einem Land, in dem er noch nie zuvor eingekauft hat, könnte auf einen möglichen Betrug hindeuten.

Schritt 3: Vorhersagen treffen

Nachdem das ML-Modell trainiert wurde, ist es bereit, Vorhersagen zu treffen. Wenn eine neue Transaktion stattfindet, betrachtet das Modell andere Particulars als die gelernten Daten. Wenn es etwas Ungewöhnliches bemerkt, etwa einen Anstieg der Ausgaben oder einen Kauf an einem seltsamen Ort, markiert es die Transaktion als möglicherweise intrigant.

Schritt 4: Entscheidungsfindung in Echtzeit

Der gesamte Prozess der Überprüfung von Transaktionen und der Entscheidungsfindung erfolgt sofort. Dies bedeutet, dass das maschinelle Lernmodell eine neue Transaktion schnell auf potenziellen Betrug analysiert, sobald sie abgeschlossen ist. Wenn es etwas Verdächtiges erkennt, kann es sofort handeln, zum Beispiel:

• Automatische Stornierung: Die Transaktion wird blockiert, um eine weitere Verarbeitung zu verhindern.
• Manuelle Überprüfung: Die Transaktion wird zur menschlichen Prüfung markiert, sodass ein Fabrikationsanalyst weitere Untersuchungen durchführen und ein endgültiges Urteil fällen kann.

Schritt 5: Lernen und verbessern

Ein großer Vorteil des maschinellen Lernens besteht darin, dass es sich im Laufe der Zeit immer weiter verbessert. Nachdem eine gefälschte Transaktion entdeckt wurde, lernt es daraus und verbessert die Erkennung von Betrug. Dieses ständige Lernen hilft dem System, einzigartige Methods zu vermeiden, die Betrüger anwenden könnten.

Letzte Worte

ML-Algorithmen können Transaktionsdaten schnell und genau in Echtzeit diagnostizieren, um ungewöhnliche Aktivitäten zu erkennen, potenziellen Betrug zu kennzeichnen und unregelmäßige Muster zu erkennen. Da Betrüger ständig neue Methoden anwenden, verbessert sich das maschinelle Lernen ständig, um neuen Taktiken immer einen Schritt voraus zu sein und sowohl Unternehmen als auch Verbraucher zu schützen.

Die Rolle des Projektmanagers ist sowohl kritisch als auch herausfordernd. Sie sind für den Projektplan und dessen Ausführung verantwortlich. Zu Beginn des Projekts helfen sie dabei, den Plan zu definieren und Fristen festzulegen, basierend auf den Anfragen der Stakeholder und den Kapazitäten des technischen Groups. Während des gesamten Projekts überwachen sie ständig den Fortschritt. Weicht der Ist-Zustand von Aufgaben oder Lieferungen vom Plan ab, müssen sie ein Zeichen setzen und sich mit den Groups abstimmen. Daher verbringen sie die meiste Zeit damit, mit verschiedenen Groups, übergeordneten Managern und Geschäftsinteressenten zu kommunizieren. Zwei große Herausforderungen in ihrem Job sind:

• Interdependenz zwischen technischen Groups: Dies macht die Rolle zu einer Herausforderung, da die Ergebnisse eines Groups (z. B. Dateningenieure, die die Daten aufnehmen) als Eingaben für ein anderes Group dienen (z. B. Datenwissenschaftler, die die Daten verarbeiten). Jede Verzögerung oder Änderung im ersten Schritt wirkt sich auf den zweiten Schritt aus. Obwohl Projektmanager normalerweise nicht besonders technisch versiert sind, müssen sie sich dieser Änderungen bewusst sein und eine ordnungsgemäße Kommunikation zwischen den Groups sicherstellen.
• Konkurrierende Geschäftsprioritäten: Geschäftsinteressenten ändern oft ihre Prioritäten, oder es gibt möglicherweise konkurrierende Prioritäten in verschiedenen Groups, die abgestimmt werden müssen. Projektmanager müssen diese Veränderungen bewältigen und die verschiedenen Groups aufeinander abstimmen, um das Projekt auf Kurs zu halten.

Durch die effektive Bewältigung dieser Herausforderungen spielen Projektmanager eine entscheidende Rolle bei der erfolgreichen Durchführung von maschinellen Lernprojekten.

Die Fachkompetenz und das Fachwissen von Betrugsanalysten sind für die Entwicklung und Bewertung von Betrugsvorhersagemodellen von entscheidender Bedeutung. Von Beginn des Projekts an bieten sie Einblicke in aktive Betrugstrends, häufige Betrugsszenarien und rote Fahnen sowie Ausnahmen oder „grüne Fahnen“. Datenwissenschaftler beziehen dieses Wissen während der Characteristic-Erstellung/Engineering-Part ein. Sobald das Modell in der Produktion läuft, ist eine ständige Überwachung erforderlich, um die Leistung aufrechtzuerhalten oder zu verbessern. In dieser Part sind Betrugsanalysten von entscheidender Bedeutung, um die wahren oder falschen positiven Ergebnisse des Modells zu identifizieren. Diese Identifizierung kann durch eine gründliche Untersuchung der Kundenhistorie oder durch Kontaktaufnahme mit dem Kunden zur Bestätigung erfolgen. Das Suggestions von Betrugsanalysten ist ein wesentlicher Bestandteil des Feedbackschleifenprozesses.

Hochrangige Supervisor und Führungskräfte auf C-Ebene spielen eine entscheidende Rolle für den Erfolg von ML/KI-Betrugsprojekten. Ihre Unterstützung ist entscheidend für die Beseitigung von Hindernissen und die Konsensbildung über die strategische Ausrichtung des Projekts. Daher müssen sie regelmäßig über den Projektfortschritt informiert werden. Damit sie die Förderung von Investitionen in die erforderlichen Groups, Instruments und Prozesse basierend auf den spezifischen Anforderungen des Projekts unterstützen und sicherstellen können, dass geeignete Ressourcen zugewiesen werden. Darüber hinaus sind sie dafür verantwortlich, interne und externe Parteien für den Datenschutz und die Einhaltung von Industriestandards zur Rechenschaft zu ziehen. Indem sie eine Kultur der Verantwortlichkeit fördern und eine klare Führung bieten, tragen sie dazu bei, dass das Projekt seine Ziele erreicht und sich reibungslos in die Gesamtstrategie der Organisation einfügt. Ihre Beteiligung ist von entscheidender Bedeutung, um etwaige regulatorische Bedenken auszuräumen, Risiken zu managen und das Projekt in Richtung einer erfolgreichen Umsetzung und langfristigen Nachhaltigkeit voranzutreiben.

Dateningenieure stellen die Daten bereit, die wir (Datenwissenschaftler) zum Erstellen von Modellen benötigen, was ein wesentlicher Schritt in jedem ML-Projekt ist. Sie sind für die Gestaltung und Pflege von Datenpipelines verantwortlich, sei es für Echtzeit-Datenströme oder Batch-Prozesse in Information Warehouses. Dateningenieure sind von Beginn an in das Projekt eingebunden und ermitteln Datenanforderungen, Quellen, Verarbeitungsanforderungen und SLA-Anforderungen für die Datenzugänglichkeit.

Sie bauen Pipelines auf, um Daten aus verschiedenen Quellen zu sammeln, umzuwandeln und zu speichern, und wickeln im Wesentlichen den ETL-Prozess ab. Sie verwalten und warten diese Pipelines auch, erfüllen Skalierbarkeitsanforderungen, überwachen die Datenqualität, optimieren Abfragen und Prozesse, um die Latenz zu verbessern und Kosten zu senken.

Auf dem Papier erstellen Datenwissenschaftler Algorithmen für maschinelles Lernen, um verschiedene Arten von Informationen für das Unternehmen vorherzusagen. In Wirklichkeit tragen wir den ganzen Tag über viele verschiedene Hüte. Wir beginnen damit, das Geschäftsproblem zu identifizieren, die Daten und verfügbaren Ressourcen zu verstehen, eine Lösung zu definieren und diese in technische Anforderungen umzusetzen.

Datenwissenschaftler arbeiten eng mit Dateningenieuren und MLOps-Ingenieuren zusammen, um Lösungen zu implementieren. Wir arbeiten auch mit Geschäftsinteressenten zusammen, um Ergebnisse zu kommunizieren und Suggestions zu erhalten. Die Modellbewertung ist eine weitere wichtige Aufgabe. Dazu gehört die Auswahl geeigneter Metriken zur Bewertung der Modellleistung, die kontinuierliche Überwachung und Berichterstattung darüber sowie die Beobachtung etwaiger Leistungseinbußen.

Der Prozess der kontinuierlichen Verbesserung ist für die Rolle eines Datenwissenschaftlers von zentraler Bedeutung, um sicherzustellen, dass Modelle im Laufe der Zeit genau und related bleiben.

Sobald Dateningenieure und Datenwissenschaftler die Datenpipelines und das Modell erstellt haben, ist es an der Zeit, das Modell in Produktion zu bringen. MLOps-Ingenieure spielen in dieser Part eine entscheidende Rolle, indem sie die Lücke zwischen Entwicklung und Betrieb schließen. Im Zusammenhang mit der Betrugsvorhersage ist das Timing von entscheidender Bedeutung, da das Unternehmen Betrug verhindern muss, bevor er auftritt, was einen Pipeline-Prozess erfordert, der in weniger als einer Sekunde ausgeführt wird. Daher stellen die Mlops-Ingenieure sicher, dass Modelle nahtlos in Produktionsumgebungen integriert werden und dabei Zuverlässigkeit und Skalierbarkeit gewahrt bleiben. MLOps-Ingenieure entwerfen und verwalten die für die Modellbereitstellung erforderliche Infrastruktur, implementieren CI/CD-Pipelines (Steady Integration und Steady Deployment) und überwachen die Modellleistung in Echtzeit. Sie kümmern sich auch um die Versionskontrolle, automatisieren Exams und verwalten Prozesse zur Neuschulung von Modellen, um Modelle auf dem neuesten Stand zu halten. Durch die Bewältigung dieser betrieblichen Herausforderungen ermöglichen MLOps-Ingenieure die reibungslose und effiziente Bereitstellung von Modellen für maschinelles Lernen und stellen sicher, dass sie konsistente und wertvolle Ergebnisse für das Unternehmen liefern.

Wir sprachen über die Rollen, die ich in meiner Berufserfahrung identifiziert habe. Diese Rollen interagieren je nach Projektphase und Unternehmen unterschiedlich. Meiner Erfahrung nach arbeiten zu Beginn des Projekts Betrugsanalysten, hochrangige Supervisor und Datenwissenschaftler zusammen, um die Strategie und Anforderungen zu definieren. Datenwissenschaftler spielen eine wichtige Rolle bei der Identifizierung des Geschäftsproblems. Sie arbeiten mit Mlops und Engineering zusammen, um es in eine technische Lösung umzusetzen. Dateningenieure müssen vorbeikommen, um die erforderlichen Pipeline-Entwicklungen zu besprechen. Eine häufige Herausforderung besteht darin, dass zwischen diesen Groups eine Diskrepanz besteht und diese erst zum Zeitpunkt der Ausführung zum Vorschein kommt. Dies kann sich auf Zeitpläne und die Qualität der zu liefernden Leistung auswirken. Je mehr Integrität zwischen diesen Groups besteht, desto reibungsloser wird die Implementierung und Bereitstellung sein.

Kommentieren Sie unten die Rollen in Ihrem Unternehmen. Wie sind die Dinge Ihrer Erfahrung nach anders?

Bild vom Autor | Canva

Tiefenchecks ist ein Python-Paket, das eine Vielzahl integrierter Prüfungen zum Testen auf Probleme mit der Modellleistung, der Datenverteilung, der Datenintegrität und mehr bietet.

In diesem Tutorial lernen wir DeepChecks kennen und verwenden es, um den Datensatz zu validieren und das trainierte maschinelle Lernmodell zu testen, um einen umfassenden Bericht zu erstellen. Wir lernen auch, Modelle anhand spezifischer Exams zu testen, anstatt vollständige Berichte zu erstellen.

Warum brauchen wir Exams für maschinelles Lernen?

Machine-Studying-Exams sind unerlässlich, um die Zuverlässigkeit, Equity und Sicherheit von KI-Modellen sicherzustellen. Sie helfen dabei, die Leistung von Modellen zu überprüfen, Verzerrungen zu erkennen, die Sicherheit gegen feindliche Angriffe, insbesondere bei Massive Language Fashions (LLMs), zu verbessern, die Einhaltung gesetzlicher Vorschriften sicherzustellen und kontinuierliche Verbesserungen zu ermöglichen. Instruments wie Deepchecks bieten eine umfassende Testlösung, die alle Aspekte der KI- und ML-Validierung von der Forschung bis zur Produktion abdeckt, was sie für die Entwicklung robuster, vertrauenswürdiger KI-Systeme von unschätzbarem Wert macht.

Erste Schritte mit DeepChecks

In dieser Anleitung für den Einstieg laden wir den Datensatz und führen einen Datenintegritätstest durch. Dieser wichtige Schritt stellt sicher, dass unser Datensatz zuverlässig und genau ist, und ebnet den Weg für ein erfolgreiches Modelltraining.

1. Wir beginnen mit der Set up des DeepChecks Python-Pakets mit dem Befehl „pip“.

!pip set up deepchecks --upgrade

2. Importieren Sie wichtige Python-Pakete.
3. Laden Sie den Datensatz mit der Pandas-Bibliothek, der aus 569 Beispielen und 30 Merkmalen besteht. Krebsklassifizierung Der Datensatz basiert auf digitalisierten Bildern von Feinnadelaspirationen (FNA) von Brusttumoren, wobei jedes Merkmal eine Eigenschaft der im Bild vorhandenen Zellkerne darstellt. Diese Merkmale ermöglichen uns, vorherzusagen, ob der Krebs gutartig oder bösartig ist.
4. Teilen Sie den Datensatz mithilfe der Zielspalte „benign_0__mal_1“ in Coaching und Take a look at auf.

import pandas as pd
from sklearn.model_selection import train_test_split

# Load Knowledge
cancer_data = pd.read_csv("/kaggle/enter/cancer-classification/cancer_classification.csv")
label_col="benign_0__mal_1"
df_train, df_test = train_test_split(cancer_data, stratify=cancer_data(label_col), random_state=0)

5. Erstellen Sie den DeepChecks-Datensatz, indem Sie zusätzliche Metadaten angeben. Da unser Datensatz keine kategorialen Merkmale aufweist, lassen wir das Argument leer.

from deepchecks.tabular import Dataset

ds_train = Dataset(df_train, label=label_col, cat_features=())
ds_test =  Dataset(df_test,  label=label_col, cat_features=())

6. Führen Sie den Datenintegritätstest für den Trainingsdatensatz aus.

from deepchecks.tabular.suites import data_integrity

integ_suite = data_integrity()
integ_suite.run(ds_train)

Die Erstellung des Berichts dauert einige Sekunden.

Der Datenintegritätsbericht enthält Testergebnisse zu:

• Characteristic-Characteristic-Korrelation
• Merkmal-Beschriftungs-Korrelation
• Einzelner Wert in der Spalte
• Spezielle Charaktere
• Gemischte Nullen
• Gemischte Datentypen
• Zeichenfolgen-Nichtübereinstimmung
• Datenduplikate
• Zeichenfolgenlänge außerhalb der Grenzen
• Widersprüchliche Bezeichnungen
• Erkennung von Ausreißerproben

Testen von Modellen für maschinelles Lernen

Lassen Sie uns unser Modell trainieren und dann eine Modellbewertungssuite ausführen, um mehr über die Modellleistung zu erfahren.

1. Laden Sie die erforderlichen Python-Pakete.
2. Erstellen Sie drei Modelle für maschinelles Lernen (Logistische Regression, Random-Forest-Klassifikator und Gaussian NB).
3. Kombinieren Sie sie mithilfe des Abstimmungsklassifikators.
4. Passen Sie das Ensemblemodell an den Trainingsdatensatz an.

from sklearn.linear_model import LogisticRegression
from sklearn.naive_bayes import GaussianNB
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import VotingClassifier

# Practice Mannequin
clf1 = LogisticRegression(random_state=1,max_iter=10000)
clf2 = RandomForestClassifier(n_estimators=50, random_state=1)
clf3 = GaussianNB()

V_clf = VotingClassifier(
    estimators=(('lr', clf1), ('rf', clf2), ('gnb', clf3)),
    voting='laborious')

V_clf.match(df_train.drop(label_col, axis=1), df_train(label_col));

5. Sobald die Trainingsphase abgeschlossen ist, führen Sie die DeepChecks-Modellbewertungssuite mit den Trainings- und Testdatensätzen und dem Modell aus.

from deepchecks.tabular.suites import model_evaluation

evaluation_suite = model_evaluation()
suite_result = evaluation_suite.run(ds_train, ds_test, V_clf)
suite_result.present()

Der Modellbewertungsbericht enthält die Testergebnisse zu:

• Unbenutzte Funktionen – Datensatz trainieren
• Unbenutzte Funktionen – Testdatensatz
• Leistung des Zugtests
• Vorhersagedrift
• Einfacher Modellvergleich
• Modellinferenzzeit – Datensatz trainieren
• Modellinferenzzeit – Testdatensatz
• Confusion Matrix Report – Trainingsdatensatz
• Confusion Matrix-Bericht – Testdatensatz

In der Suite sind weitere Exams verfügbar, die aufgrund des Ensemble-Modelltyps nicht ausgeführt wurden. Wenn Sie ein einfaches Modell wie die logistische Regression ausgeführt haben, haben Sie möglicherweise einen vollständigen Bericht erhalten.

6. Wenn Sie einen Modellauswertungsbericht in einem strukturierten Format verwenden möchten, können Sie Ihren Bericht jederzeit mit der Funktion „.to_json()“ in das JSON-Format konvertieren.

7. Darüber hinaus können Sie diesen interaktiven Bericht auch als Webseite speichern, indem Sie den .save_as_html() Funktion.

Ausführen der Einzelprüfung

Wenn Sie nicht die gesamte Reihe der Modellbewertungstests ausführen möchten, können Sie Ihr Modell auch mit einer einzigen Prüfung testen.

Sie können beispielsweise die Beschriftungsabweichung überprüfen, indem Sie den Trainings- und Testdatensatz bereitstellen.

from deepchecks.tabular.checks import LabelDrift
verify = LabelDrift()
outcome = verify.run(ds_train, ds_test)
outcome

Als Ergebnis erhalten Sie ein Verteilungsdiagramm und einen Drift-Rating.

Sie können sogar den Wert und die Methodik des Drift-Scores extrahieren.

{'Drift rating': 0.0, 'Technique': "Cramer's V"}

Abschluss

Der nächste Schritt auf Ihrer Lernreise besteht darin, den Testprozess für maschinelles Lernen zu automatisieren und die Leistung zu verfolgen. Sie können dies mit GitHub Actions tun, indem Sie den Tiefenprüfungen in CI/CD Führung.

In diesem anfängerfreundlichen Kurs haben wir gelernt, Datenvalidierungs- und Machine-Studying-Evaluierungsberichte mit DeepChecks zu erstellen. Wenn Sie Probleme beim Ausführen des Codes haben, schlage ich vor, dass Sie einen Blick auf die Machine-Studying-Exams mit DeepChecks Kaggle Pocket book und führen Sie es selbst aus.

Abid Ali Awan (@1abidaliawan) ist ein zertifizierter Datenwissenschaftler, der gerne Modelle für maschinelles Lernen erstellt. Derzeit konzentriert er sich auf die Erstellung von Inhalten und das Schreiben technischer Blogs zu Technologien für maschinelles Lernen und Datenwissenschaft. Abid hat einen Grasp-Abschluss in Technologiemanagement und einen Bachelor-Abschluss in Telekommunikationstechnik. Seine Imaginative and prescient ist es, mithilfe eines Graph-Neural-Networks ein KI-Produkt für Studenten zu entwickeln, die mit psychischen Erkrankungen zu kämpfen haben.

Da wir einen unüberwachten Lernalgorithmus verwenden, gibt es kein allgemein verfügbares Maß für die Genauigkeit. Wir können jedoch Domänenwissen verwenden, um unsere Gruppen zu validieren.

Bei einer optischen Überprüfung der Gruppen können wir erkennen, dass einige Benchmarking-Gruppen über eine Mischung aus Economic system- und Luxushotels verfügen, was geschäftlich keinen Sinn ergibt, da die Nachfrage nach Resorts grundsätzlich unterschiedlich ist.

Wir können zu den Daten scrollen und einige dieser Unterschiede feststellen, aber können wir unser eigenes Maß für die Genauigkeit finden?

Wir möchten eine Funktion erstellen, um die Konsistenz der empfohlenen Benchmarking-Units für jedes Function zu messen. Eine Möglichkeit hierfür besteht darin, die Varianz in jedem Function für jedes Set zu berechnen. Für jeden Cluster können wir einen Durchschnitt der Varianz jedes Options berechnen und dann den Durchschnitt der Varianz jedes Hotelclusters bilden, um einen Gesamtwert für das Modell zu erhalten.

Aus unserem Fachwissen wissen wir, dass wir, um einen vergleichbaren Benchmark-Satz einzurichten, Resorts der gleichen Marke, möglichst des gleichen Marktes und des gleichen Landes priorisieren müssen. Und wenn wir unterschiedliche Märkte oder Länder verwenden, sollte die Marktstufe dieselbe sein.

Vor diesem Hintergrund möchten wir, dass unsere Messung eine höhere Strafe für die Varianz dieser Merkmale vorsieht. Zu diesem Zweck verwenden wir einen gewichteten Durchschnitt, um die Varianz jedes Benchmark-Units zu berechnen. Wir drucken die Varianz der Hauptmerkmale und der sekundären Merkmale außerdem separat aus.

Zusammenfassend müssen wir zur Erstellung unseres Genauigkeitsmaßes Folgendes tun:

1. Varianz für kategoriale Variablen berechnen: Ein gängiger Ansatz besteht darin, ein „entropiebasiertes“ Maß zu verwenden, bei dem eine größere Vielfalt in Kategorien eine höhere Entropie (Varianz) anzeigt.
2. Varianz für numerische Variablen berechnen: Wir können die Standardabweichung oder den Bereich (Differenz zwischen Maximal- und Minimalwerten) berechnen. Dies misst die Streuung der numerischen Daten innerhalb jedes Clusters.
3. Normalisieren Sie die Daten: Normalisieren Sie die Varianzwerte für jede Kategorie, bevor Sie Gewichte anwenden, um sicherzustellen, dass kein einzelnes Merkmal den gewichteten Durchschnitt allein aufgrund von Skalenunterschieden dominiert.
4. Gewichtungen für unterschiedliche Metriken anwenden: Gewichten Sie jeden Varianztyp basierend auf seiner Bedeutung für die Clusterlogik.
5. Berechnen gewichteter Durchschnittswerte: Berechnen Sie den gewichteten Durchschnitt dieser Varianzwerte für jeden Cluster.
6. Aggregieren von Punktzahlen über Cluster hinweg: Der Gesamtwert ist der Durchschnitt dieser gewichteten Varianzwerte über alle Cluster oder Zeilen hinweg. Ein niedrigerer Durchschnittswert würde darauf hinweisen, dass unser Modell ähnliche Resorts effektiv zusammenfasst und so die Varianz innerhalb der Cluster minimiert.

from scipy.stats import entropy
from sklearn.preprocessing import MinMaxScaler
from collections import Counter
def categorical_variance(information):
"""
Calculate entropy for a categorical variable from a listing.
The next entropy worth signifies datas with various courses.
A decrease entropy worth signifies a extra homogeneous subset of information.
"""
# Depend frequency of every distinctive worth
value_counts = Counter(information)
total_count = sum(value_counts.values())
chances = (rely / total_count for rely in value_counts.values())
return entropy(chances)
#set scoring weights giving greater weights to a very powerful options
scoring_weights = {"BRAND": 0.3,
"Room_count": 0.025,
"Market": 0.25,
"Nation": 0.15,
"Market Tier": 0.15,
"HCLASS": 0.05,
"Demand": 0.025,
"Value vary": 0.025,
"distance_to_airport": 0.025}
def calculate_weighted_variance(df, weights):
"""
Calculate the weighted variance rating for clusters within the dataset
"""
# Initialize a DataFrame to retailer the variances
variance_df = pd.DataFrame()
# 1. Calculate variances for numerical options
numerical_features = ('Room_count', 'Demand', 'Value vary', 'distance_to_airport')
for function in numerical_features:
variance_df(f'{function}') = df(function).apply(np.var)
# 2. Calculate entropy for categorical options
categorical_features = ('BRAND', 'Market','Nation','Market Tier','HCLASS')
for function in categorical_features:
variance_df(f'{function}') = df(function).apply(categorical_variance)
# 3. Normalize the variance and entropy values
scaler = MinMaxScaler()
normalized_variances = pd.DataFrame(scaler.fit_transform(variance_df),
columns=variance_df.columns,
index=variance_df.index)
# 4. Compute weighted common
cat_weights = {f'{function}': weights(f'{function}') for function in categorical_features}
num_weights = {f'{function}': weights(f'{function}') for function in numerical_features}
cat_weighted_scores = normalized_variances(categorical_features).mul(cat_weights)
df('cat_weighted_variance_score') = cat_weighted_scores.sum(axis=1)
num_weighted_scores = normalized_variances(numerical_features).mul(num_weights)
df('num_weighted_variance_score') = num_weighted_scores.sum(axis=1)
return df('cat_weighted_variance_score').imply(), df('num_weighted_variance_score').imply()

Um unseren Code sauber zu halten und unsere Experimente zu verfolgen, definieren wir auch eine Funktion zum Speichern der Ergebnisse unserer Experimente.

# outline a perform to retailer the outcomes of our experiments
def model_score(information: pd.DataFrame,
weights: dict = scoring_weights,
model_name: str ="model_0"):
cat_score,num_score = calculate_weighted_variance(information,weights)
outcomes ={"Mannequin": model_name,
"Major options rating": cat_score,
"Secondary options rating": num_score}
return outcomes
model_0_score= model_score(results_model_0,scoring_weights)
model_0_score

Da wir nun eine Foundation haben, wollen wir sehen, ob wir unser Modell verbessern können.

Verbesserung unseres Modells durch Experimente

Bisher mussten wir nicht wissen, was unter der Haube vor sich ging, wenn wir diesen Code ausführten:

nns = NearestNeighbors()
nns.match(data_scaled)
nns_results_model_0 = nns.kneighbors(data_scaled)(1)

Um unser Modell zu verbessern, müssen wir die Modellparameter verstehen und wissen, wie wir mit ihnen interagieren können, um bessere Benchmark-Units zu erhalten.

Sehen wir uns zunächst die Scikit Be taught-Dokumentation und den Quellcode an:

# the under is taken instantly from scikit be taught supply
from sklearn.neighbors._base import KNeighborsMixin, NeighborsBase, RadiusNeighborsMixin
class NearestNeighbors_(KNeighborsMixin, RadiusNeighborsMixin, NeighborsBase):
"""Unsupervised learner for implementing neighbor searches.
Parameters
----------
n_neighbors : int, default=5
Variety of neighbors to make use of by default for :meth:`kneighbors` queries.
radius : float, default=1.0
Vary of parameter area to make use of by default for :meth:`radius_neighbors`
queries.
algorithm : {'auto', 'ball_tree', 'kd_tree', 'brute'}, default='auto'
Algorithm used to compute the closest neighbors:
- 'ball_tree' will use :class:`BallTree`
- 'kd_tree' will use :class:`KDTree`
- 'brute' will use a brute-force search.
- 'auto' will try to resolve essentially the most applicable algorithm
based mostly on the values handed to :meth:`match` methodology.
Observe: becoming on sparse enter will override the setting of
this parameter, utilizing brute power.
leaf_size : int, default=30
Leaf dimension handed to BallTree or KDTree.  This will have an effect on the
velocity of the development and question, in addition to the reminiscence
required to retailer the tree.  The optimum worth relies on the
nature of the issue.
metric : str or callable, default='minkowski'
Metric to make use of for distance computation. Default is "minkowski", which
ends in the usual Euclidean distance when p = 2. See the
documentation of `scipy.spatial.distance
<https://docs.scipy.org/doc/scipy/reference/spatial.distance.html>`_ and
the metrics listed in
:class:`~sklearn.metrics.pairwise.distance_metrics` for legitimate metric
values.
p : float (constructive), default=2
Parameter for the Minkowski metric from
sklearn.metrics.pairwise.pairwise_distances. When p = 1, that is
equal to utilizing manhattan_distance (l1), and euclidean_distance
(l2) for p = 2. For arbitrary p, minkowski_distance (l_p) is used.
metric_params : dict, default=None
Further key phrase arguments for the metric perform.
"""
def __init__(
self,
*,
n_neighbors=5,
radius=1.0,
algorithm="auto",
leaf_size=30,
metric="minkowski",
p=2,
metric_params=None,
n_jobs=None,
):
tremendous().__init__(
n_neighbors=n_neighbors,
radius=radius,
algorithm=algorithm,
leaf_size=leaf_size,
metric=metric,
p=p,
metric_params=metric_params,
n_jobs=n_jobs,
)

Hier ist ziemlich viel los.

Der Nearestneighbor Klasse erbt vonNeighborsBasedie Fallklasse für Nearest-Neighbor-Schätzer. Diese Klasse behandelt die allgemeinen Funktionen, die für Nearest-Neighbor-Suchen erforderlich sind, wie z. B.

• n_neighbors (die Anzahl der zu verwendenden Nachbarn)
• Radius (der Radius für radiusbasierte Nachbarsuchen)
• Algorithmus (der Algorithmus, der zur Berechnung der nächsten Nachbarn verwendet wird, z. B. „ball_tree“, „kd_tree“ oder „brute“)
• Metrik (die zu verwendende Distanzmetrik)
• metric_params (zusätzliche Schlüsselwortargumente für die Metrikfunktion)

Der Nearestneighbor Klasse erbt auch vonKNeighborsMixin Und RadiusNeighborsMixinKlassen. Diese Mixin-Klassen fügen spezielle Neighbor-Search-Funktionalitäten zum Nearestneighbor

• KNeighborsMixin bietet die Funktion, die nächste feste Anzahl okay von Nachbarn zu einem Punkt zu finden. Dies geschieht, indem die Distanz zu den Nachbarn und ihren Indizes ermittelt und ein Diagramm der Verbindungen zwischen Punkten basierend auf den k-nächsten Nachbarn jedes Punkts erstellt wird.
• RadiusNeighborsMixin basiert auf dem Radius-Nachbarn-Algorithmus, der alle Nachbarn innerhalb eines bestimmten Radius eines Punkts findet. Diese Methode ist in Szenarien nützlich, in denen der Fokus auf der Erfassung aller Punkte innerhalb einer sinnvollen Entfernungsschwelle und nicht einer festen Anzahl von Punkten liegt.

Basierend auf unserem Szenario bietet KNeighborsMixin die Funktionalität, die wir benötigen.

Bevor wir unser Modell verbessern können, müssen wir einen Schlüsselparameter verstehen: die Distanzmetrik.

In der Dokumentation wird erwähnt, dass der NearestNeighbor-Algorithmus standardmäßig die „Minkowski“-Distanz verwendet, und es wird auf die SciPy-API verwiesen.

In scipy.spatial.distancekönnen wir zwei mathematische Darstellungen der „Minkowski“-Distanz sehen:

∥u−v∥ p​=( i ∑​∣ui​−vi​∣ p ) 1/p

Diese Formel berechnet die p-te Wurzel der Summe der Potenzdifferenzen aller Elemente.

Die zweite mathematische Darstellung der „Minkowski“-Distanz lautet:

∥u−v∥ p​=( i ∑​wi​(∣ui​−vi​∣ p )) 1/p

Dies ist dem ersten sehr ähnlich, führt aber Gewichte ein wi auf die Unterschiede, indem bestimmte Dimensionen hervorgehoben oder weniger hervorgehoben werden. Dies ist nützlich, wenn bestimmte Merkmale relevanter sind als andere. Standardmäßig ist die Einstellung Keine, wodurch allen Merkmalen die gleiche Gewichtung von 1,0 zugewiesen wird.

Dies ist eine großartige Choice zur Verbesserung unseres Modells, da wir dadurch Domänenwissen an unser Modell weitergeben und die für die Benutzer relevantesten Ähnlichkeiten hervorheben können.

Wenn wir uns die Formeln ansehen, sehen wir den Parameter. pDieser Parameter beeinflusst den „Pfad“, den der Algorithmus zur Berechnung der Entfernung nimmt. Standardmäßig ist p=2, was die euklidische Distanz darstellt.

Sie können sich die euklidische Distanz so vorstellen, als würde man die Distanz berechnen, indem man eine gerade Linie zwischen zwei Punkten zieht. Normalerweise ist das die kürzeste Distanz, aber das ist nicht immer die beste Artwork, die Distanz zu berechnen, insbesondere in Räumen mit höheren Dimensionen. Weitere Informationen dazu, warum das so ist, finden Sie in diesem großartigen Artikel on-line: https://bib.dbvis.de/uploadedFiles/155.pdf

Ein anderer gängiger Wert für p ist 1. Dies stellt die Manhattan-Distanz dar. Stellen Sie es sich als die Entfernung zwischen zwei Punkten vor, gemessen entlang eines gitterartigen Pfades.

Wenn wir andererseits p gegen unendlich erhöhen, erhalten wir die Tschebyscheff-Distanz, definiert als die maximale absolute Differenz zwischen entsprechenden Elementen der Vektoren. Es misst im Wesentlichen die Differenz im schlimmsten Fall und ist daher in Szenarien nützlich, in denen Sie sicherstellen möchten, dass kein einzelnes Merkmal zu stark variiert.

Durch das Lesen und Vertrautmachen mit der Dokumentation haben wir einige mögliche Optionen zur Verbesserung unseres Modells entdeckt.

Standardmäßig ist n_neighbors 5, aber für unseren Benchmark-Satz möchten wir jedes Resort mit den 3 ähnlichsten Resorts vergleichen. Dazu müssen wir n_neighbors = 4 (Betreffhotel + 3 Friends) festlegen.

nns_1= NearestNeighbors(n_neighbors=4)
nns_1.match(data_scaled)
nns_1_results_model_1 = nns_1.kneighbors(data_scaled)(1)
results_model_1 = clean_results(nns_results=nns_1_results_model_1,
encoders=encoders,
information=data_clean)
model_1_score= model_score(results_model_1,scoring_weights,model_name="baseline_k_4")
model_1_score

Basierend auf der Dokumentation können wir Gewichte an die Distanzberechnung übergeben, um die Beziehung zwischen einigen Merkmalen hervorzuheben. Basierend auf unserem Fachwissen haben wir die Merkmale identifiziert, die wir hervorheben möchten, in diesem Fall Marke, Markt, Land und Marktstufe.

# arrange weights for distance calculation
weights_dict =  {"BRAND": 5,
"Room_count": 2,
"Market": 4,
"Nation": 3,
"Market Tier": 3,
"HCLASS": 1.5,
"Demand": 1,
"Value vary": 1,
"distance_to_airport": 1}
# Remodel the wieghts dictionnary into a listing by holding the scaled information column order
weights = ( weights_dict(idx) for idx in listing(scaler.get_feature_names_out()))
nns_2= NearestNeighbors(n_neighbors=4,metric_params={ 'w': weights})
nns_2.match(data_scaled)
nns_2_results_model_2 = nns_2.kneighbors(data_scaled)(1)
results_model_2 = clean_results(nns_results=nns_2_results_model_2,
encoders=encoders,
information=data_clean)
model_2_score= model_score(results_model_2,scoring_weights,model_name="baseline_with_weights")
model_2_score

Die Weitergabe von Domänenwissen an das Modell über Gewichte erhöhte die Punktzahl erheblich. Als Nächstes testen wir die Auswirkungen des Distanzmaßes.

Bisher haben wir die euklidische Distanz verwendet. Sehen wir uns an, was passiert, wenn wir stattdessen die Manhattan-Distanz verwenden.

nns_3= NearestNeighbors(n_neighbors=4,p=1,metric_params={ 'w': weights})
nns_3.match(data_scaled)
nns_3_results_model_3 = nns_3.kneighbors(data_scaled)(1)
results_model_3 = clean_results(nns_results=nns_3_results_model_3,
encoders=encoders,
information=data_clean)
model_3_score= model_score(results_model_3,scoring_weights,model_name="Manhattan_with_weights")
model_3_score

Die Reduzierung von p auf 1 brachte einige gute Verbesserungen. Mal sehen, was passiert, wenn p sich der Unendlichkeit nähert.

Um die Tschebyscheff-Distanz zu verwenden, ändern wir den metrischen Parameter in Chebyshev. Die standardmäßige Tschebyscheff-Metrik von sklearn hat keinen Gewichtsparameter. Um dies zu umgehen, definieren wir eine benutzerdefinierte weighted_chebyshev metrisch.

#  Outline the customized weighted Chebyshev distance perform
def weighted_chebyshev(u, v, w):
"""Calculate the weighted Chebyshev distance between two factors."""
return np.max(w * np.abs(u - v))
nns_4 = NearestNeighbors(n_neighbors=4,metric=weighted_chebyshev,metric_params={ 'w': weights})
nns_4.match(data_scaled)
nns_4_results_model_4 = nns_4.kneighbors(data_scaled)(1)
results_model_4 = clean_results(nns_results=nns_4_results_model_4,
encoders=encoders,
information=data_clean)
model_4_score= model_score(results_model_4,scoring_weights,model_name="Chebyshev_with_weights")
model_4_score

Durch Experimente ist es uns gelungen, die Varianzwerte der primären Merkmale zu senken.

Lassen Sie uns die Ergebnisse visualisieren.

results_df = pd.DataFrame((model_0_score,model_1_score,model_2_score,model_3_score,model_4_score)).set_index("Mannequin")
results_df.plot(variety='barh')

Die Verwendung der Manhattan-Distanz mit Gewichten scheint unseren Anforderungen entsprechend die genauesten Benchmark-Sätze zu liefern.

Der letzte Schritt vor der Implementierung der Benchmark-Units besteht darin, die Units mit den höchsten Punktzahlen für die primären Funktionen zu untersuchen und festzustellen, welche Schritte mit ihnen unternommen werden sollten.

# Histogram of Major options rating
results_model_3("cat_weighted_variance_score").plot(variety="hist")

exceptions = results_model_3(results_model_3("cat_weighted_variance_score")>=0.4)
print(f" There are {exceptions.form(0)} benchmark units with vital variance throughout the first options")

Diese 18 Fälle müssen überprüft werden, um sicherzustellen, dass die Benchmark-Units related sind.

Wie Sie sehen, ist es uns mit ein paar Zeilen Code und etwas Verständnis der Nearest-Neighbor-Suche gelungen, interne Benchmark-Units festzulegen. Wir können die Units nun verteilen und beginnen, die KPIs der Resorts anhand ihrer Benchmark-Units zu messen.

Sie müssen sich nicht immer auf die modernsten Methoden des maschinellen Lernens konzentrieren, um Mehrwert zu erzielen. Sehr oft kann einfaches maschinelles Lernen großen Mehrwert liefern.

Welche Ziele können Sie in Ihrem Unternehmen leicht erreichen, indem Sie maschinelles Lernen einsetzen?

Weltbank. „World Improvement Indicators“. Abgerufen am 11. Juni 2024 von https://datacatalog.worldbank.org/search/dataset/0038117

Aggarwal, CC, Hinneburg, A., & Keim, DA (nd). Über das überraschende Verhalten von Distanzmetriken im hochdimensionalen Raum. IBM TJ Watson Analysis Middle und Institut für Informatik, Universität Halle. Abgerufen von https://bib.dbvis.de/uploadedFiles/155.pdf

SciPy v1.10.1 Handbuch. scipy.spatial.distance.minkowskiAbgerufen am 11. Juni 2024 von https://docs.scipy.org/doc/scipy/reference/generated/scipy.spatial.distance.minkowski.html

GeeksforGeeks. Haversine-Formel zur Ermittlung der Entfernung zwischen zwei Punkten auf einer Kugel. Abgerufen am 11. Juni 2024 von https://www.geeksforgeeks.org/haversine-formula-to-find-distance-between-two-points-on-a-sphere/

scikit-learn. Neighbors-Modul. Abgerufen am 11. Juni 2024 von https://scikit-learn.org/steady/modules/courses.html#module-sklearn.neighbors

Einführung

Maschinelles Lernen (ML) verändert verschiedene Branchen rasant. Aus Gesundheitspflege Zu Finanzen, seine Wirkung ist tiefgreifend. Unternehmen nutzen maschinelles Lernen, um Daten zu analysieren, Developments vorherzusagen und fundierte Entscheidungen zu treffen. Das Erlernen von ML ist für jeden, der sich für eine Datenkarriere interessiert, von entscheidender Bedeutung geworden. Es gibt heute eine Vielzahl digitaler Lernplattformen und Ressourcen zum Erlernen von ML. In diesem Artikel haben wir die 6 besten Universitätskurse aufgelistet, um maschinelles Lernen kostenlos zu erlernen!

Bedeutung des maschinellen Lernens in der heutigen datengesteuerten Welt

Wir leben in einer Welt voller Daten. Jeder Klick, Kauf und jede Interaktion generiert Daten. Maschinelles Lernen hilft dabei, diese riesigen Datenmengen zu verstehen. Es hilft Unternehmen, Produkte zu verbessern, Interaktionen zu personalisieren und das Kundenverhalten vorherzusagen. EmpfehlungssystemeErhöhen Sie beispielsweise die Kundenzufriedenheit, indem Sie Produkt- oder Filmempfehlungen auf der Grundlage früherer Benutzerauswahlen aussprechen.

Maschinelles Lernen kann in der Medizin eingesetzt werden, um Krankheitsausbrüche vorherzusagen und Behandlungspläne zu personalisieren. Finanzinstitute nutzen es, um Risiken einzuschätzen und Betrug aufzudecken. Autonome Fahrzeuge nutzen ML, um Entscheidungen zu treffen und in Echtzeit zu navigieren. Maschinelles Lernen hat ein unendliches Potenzial, was es im heutigen Umfeld zu einer notwendigen Fähigkeit macht.

Ein Überblick über die kostenlosen Bildungsressourcen der High-Universitäten

Führende Universitäten bieten kostenlose On-line-Kurse zum maschinellen Lernen an. Diese Kurse behandeln ein breites Themenspektrum, von grundlegenden Ideen bis hin zu anspruchsvollen Methoden. Sie bieten praxisnahe Erfahrungen und werden von Profis erstellt.

Jeder, unabhängig von seinem Hintergrund, kann sich für diese Kurse anmelden. Dies sind großartige Ressourcen, egal ob Sie mehr erfahren möchten oder gerade erst anfangen. Begeben Sie sich jetzt auf Ihr Abenteuer und entdecken Sie das faszinierende Feld des ML.

6 kostenlose Kurse zum maschinellen Lernen von Universitäten

1. Harvards CS50-Einführung in künstliche Intelligenz mit Python

Harvards „CS50s Einführung in künstliche Intelligenz mit Python„ist ein umfassender Kurs, der grundlegende Kenntnisse vermitteln soll künstliche Intelligenz (KI). Dieser Kurs behandelt Schlüsselkonzepte und Algorithmen, die modernen KI-Technologien zugrunde liegen, und umfasst praktische, praktische Projekte mit Python.

Kursstruktur und Lernpfad

Der Kurs ist so strukturiert, dass er die Studierenden durch die wesentlichen Elemente der KI führt. Beginnend mit grundlegenden Konzepten wird schrittweise zu komplexeren Themen übergegangen, um ein umfassendes Verständnis jedes Bereichs zu gewährleisten. Die Studierenden werden sich mit Videovorträgen, Lesungen und praktischen Projekten beschäftigen, um ihr Lernen zu festigen.

Dieser Kurs legt den Schwerpunkt auf praktische Anwendungen und ermöglicht es den Studierenden, KI-Konzepte direkt anzuwenden Python-Programmierung. Durch die Arbeit an Projekten sammeln Studierende praktische Erfahrungen und erlernen die Implementierung von KI-Algorithmen und -Techniken.

Behandelte Kernthemen

• Graphsuchalgorithmen
• Einstufung
• Optimierung
• Verstärkungslernen
• Bibliotheken für maschinelles Lernen
• Spiel-Engines
• Handschrifterkennung
• Maschinenübersetzung

2. Stanford CS229: Maschinelles Lernen

Stanfords „CS229: Maschinelles LernenDer Kurs ist eines der renommiertesten Programme auf diesem Gebiet. Dieser Kurs soll ein tiefes Verständnis der ML-Konzepte und -Techniken vermitteln und eignet sich sowohl für Anfänger als auch für erfahrene Lernende.

Kursstruktur und Lernpfad

CS229 in Stanford deckt ein breites Themenspektrum ab und ermöglicht es den Studierenden, verschiedene Lernparadigmen und -techniken zu erkunden. Der Kurs ist intestine strukturiert, um den Studierenden dabei zu helfen, Vorhersagemodelle zu erstellen und die theoretischen Grundlagen des maschinellen Lernens zu verstehen.

Behandelte Kernthemen

• Überwachtes Lernen
• Unbeaufsichtigtes Lernen
• Tiefes Lernen
• Generalisierung und Regularisierung
• Verstärkungslernen und -kontrolle

3. MIT-Kurs „Einführung in maschinelles Lernen“.

Dieser Einführungskurs vom MIT mit dem Titel „Einführung in maschinelles Lernen„kann von Studierenden belegt werden, die sich intensiv mit ML befassen möchten. Der über die MIT Open Studying Library verfügbare Kurs deckt verschiedene Themen ab, die für den Erwerb von Kenntnissen über ML-Konzepte und -Methoden von entscheidender Bedeutung sind. Bitte beachten Sie, dass für die in der Open Studying Library des MIT aufgeführten Kurse keine Abschlusszertifikate angeboten werden.

Kursstruktur und Lernpfad

Dieser Kurs bietet eine Einführung in die Prinzipien, Algorithmen und Anwendungen von ML, mit Schwerpunkt auf Modellierung und Vorhersage. Es umfasst die Formulierung von Lernproblemen, Darstellung, Überanpassung und Verallgemeinerung sowie praktische Übungen zum überwachten und verstärkenden Lernen, das auf Bilder und zeitliche Sequenzen angewendet wird.

Das Kursformat umfasst Vorlesungen, Skripten, Übungen, Labore und Hausaufgaben mit dem Ziel, den Studierenden die Fähigkeit zu vermitteln, intestine spezifizierte Formulierungen zu formulieren Probleme des maschinellen Lernens und relevante Lerntechniken anwenden.

Behandelte Kernthemen

1. Lineare Klassifikatoren
2. Perzeptrone
3. Margenmaximierung
4. Rückschritt
5. Neuronale Netze
6. Faltungs-Neuronale Netze
7. Zustandsmaschinen und Markov-Entscheidungsprozesse
8. Verstärkungslernen
9. Empfehlungssysteme
10. Entscheidungsbäume
11. Nächste Nachbarn

4. Harvards Kurs über Datenwissenschaft: Maschinelles Lernen

Harvard bietet einen praktischen und ansprechenden Ansatz zum Erlernen des maschinellen Lernens durch „Datenwissenschaft: Maschinelles Lernen“ Kurs. Dieser Kurs ist Teil des Harvard Skilled Certificates Program in Knowledge Science und konzentriert sich auf praktische Anwendungen und reale Probleme.

Kursstruktur und Lernpfad

Der Harvard-Kurs zeichnet sich durch seinen Fokus auf praxisorientiertes Lernen aus. Statt nur theoretischer Konzepte liegt der Schwerpunkt auf dem Aufbau praktischer Fähigkeiten. Der Kurs lehrt populär ML-Algorithmen und Techniken durch die Schaffung eines Filmempfehlungssystems. Dieser projektbasierte Lernansatz hilft Schülern, komplexe Konzepte zu verstehen, indem er sie auf reale Szenarien anwendet.

Behandelte Kernthemen

• Algorithmen für maschinelles Lernen
• Hauptkomponentenanalyse
• Regulierung
• Trainingsdaten
• Algorithmentraining
• Übertraining und Kreuzvalidierung

5. Angewandtes maschinelles Lernen mit Python der College of Michigan

Die College of Michigan bietet einen hervorragenden Kurs mit dem Titel „Angewandtes maschinelles Lernen mit Python.„Dieser Kurs ist auf Coursera verfügbar und Teil der Spezialisierung „Angewandte Datenwissenschaft mit Python“. Es bietet einen praktischen Ansatz zum Erlernen des maschinellen Lernens, wobei der Schwerpunkt auf der Verwendung von Python und Scikit-Be taught liegt.

Kursstruktur und Lernpfad

Der Kurs soll die Studierenden Schritt für Schritt durch die Grundlagen des statistischen Lernens führen und dabei von einfacheren zu komplexeren Themen vorgehen. Um den Inhalt zu unterstützen und reale Erfahrungen zu vermitteln, werden in jeder Sitzung Texte, Videovorträge und praktische Aktivitäten kombiniert.

Der Schwerpunkt dieses Kurses auf realen Anwendungen ist eines seiner Hauptmerkmale. Die Studierenden nutzen Jupyter Pocket book und Python, um an praktischen Aufgaben und Projekten zu arbeiten. Diese praktische Methode gewährleistet, dass die Studierenden theoretische Ideen erfassen und in realen Situationen anwenden können.

Behandelte Kernthemen

• Modellbewertung und -auswahl
• Naive Bayes, Random Forest und Gradient Boosting
• Unbeaufsichtigte Lerntechniken

6. Stanfords statistisches Lernen mit Python

Stanford bietet einen ausführlichen Kurs mit dem Titel „Statistisches Lernen mit Python.„Dieser Kurs ist auf edX verfügbar und vermittelt ein tiefgreifendes Verständnis statistischer Lerntechniken mit Python. Es behandelt wesentliche Werkzeuge für Datenwissenschaft und statistische Modellierung und ist somit eine wertvolle Ressource für alle, die ihr Wissen in diesem Bereich vertiefen möchten.

Kursstruktur und Lernpfad

Der Kurs ist so strukturiert, dass er die Lernenden durch die Grundlagen des statistischen Lernens führt, angefangen bei grundlegenden Konzepten bis hin zu fortgeschritteneren Themen. Jeder Abschnitt umfasst eine Kombination aus Videovorträgen, Lesungen und praktischen Übungen, die den Stoff vertiefen und praktische Erfahrungen vermitteln sollen.

Ein wesentliches Merkmal dieses Kurses ist die Betonung praktischer Anwendungen. Mithilfe von Python und Jupyter Pocket book arbeiten die Schüler an realen Projekten und Übungen. Dieser praxisorientierte Ansatz stellt sicher, dass die Lernenden nicht nur theoretische Konzepte verstehen, sondern auch wissen, wie sie diese in die Praxis umsetzen können.

Behandelte Kernthemen

• Lineare Regression
• Einstufung
• Resampling
• Auswahl linearer Modelle
• Baumbasierte Methoden
• Unbeaufsichtigtes Lernen
• Tiefes Lernen

Abschluss

In der datengesteuerten Welt von heute ist es wichtiger denn je, maschinelles Lernen zu verstehen. Ein guter Ausgangspunkt sind die Kurse renommierter Universitäten wie Harvard, MIT, Stanford und der College of Michigan. Und jetzt wissen Sie, dass sie kostenlose Kurse zum maschinellen Lernen anbieten!

Diese Kurse helfen dabei, praktische Fähigkeiten zu entwickeln, praktische Erfahrungen zu vermitteln und wichtige Themen abzudecken. Mit diesen kostenlosen Kursen hat jeder, unabhängig von seinem Hintergrund, Zugang zu einer höheren Bildung. Diese Instruments sind wirklich hilfreich, egal ob Sie neu im Beruf sind oder mehr lernen möchten. Nutzen Sie das Potenzial von ML, Innovationen voranzutreiben und Branchen zu revolutionieren, indem Sie noch heute Ihre Reise damit beginnen.