Wenn Sie schon länger im Bereich der Datenwissenschaft tätig sind, haben Sie diesen Modebegriff höchstwahrscheinlich schon einmal gehört.

Der Lebenszyklus des maschinellen Lernens.

Es klingt ausgefallen, aber das ist es, worauf es im Grunde hinausläuft:

• Maschinelles Lernen ist ein aktiver und dynamischer Prozess – er hat keinen strengen Anfang oder Ende
• Sobald ein Modell trainiert und bereitgestellt wurde, muss es im Laufe der Zeit höchstwahrscheinlich erneut trainiert werden, wodurch der Zyklus neu beginnt.
• Es gibt jedoch Schritte innerhalb des Zyklus, die in der richtigen Reihenfolge befolgt und sorgfältig ausgeführt werden müssen

Wenn Sie den ML-Lebenszyklus googeln, wird Ihnen jede Quelle wahrscheinlich eine leicht unterschiedliche Anzahl von Schritten und deren Namen geben.

Sie werden jedoch feststellen, dass der Zyklus größtenteils Folgendes umfasst: Problemdefinition, Datenerfassung und -vorverarbeitung, Function-Engineering, Modellauswahl und -schulung, Modellevaluierung, Bereitstellung und Überwachung.

Die meisten Menschen sind sowohl beeindruckt als auch verwirrt, wenn ich ihnen erzähle, dass ich Datenwissenschaftler bin.

Beeindruckt, weil er heutzutage als solch ein schicker und prestigeträchtiger Titel gilt (obwohl manche uns immer noch Statistiker nennen, die programmieren können).

Verwirrt, weil … was bedeutet Knowledge Science eigentlich? Und was machen wir?

Nun, es kommt darauf an.

Auf der Area, dem Unternehmen und dem Workforce selbst.

Aber im Allgemeinen umfasst Knowledge Science die folgenden Arbeitskategorien:

• Datenbanken und Datentechnik— Viele Datenwissenschaftler arbeiten eng mit Datenbanken zusammen, sei es beim Laden und Abfragen großer Datenmengen, beim Aufbau von Datenpipelines oder beim Bereinigen und Vorbereiten von Daten für die Analyse. In meinem letzten Unternehmen habe ich regelmäßig SQL verwendet, um auf unsere Datenbank zuzugreifen und die für die Erstellung von ML-Modellen erforderlichen Daten abzufragen. Außerdem habe ich Tabellen erstellt und geändert, um Ergebnisse aus Modellen und anderen Analysen zu speichern.
• Datenanalyse und Visualisierung— Bei der Datenvisualisierung geht es nicht nur um die Analyse der Daten, sondern…

Herzlichen Glückwunsch, Sie haben eine Stelle im Bereich Information Science bekommen!

Sie öffnen Ihr Angebotsschreiben und …

Naja, du bist ein bisschen enttäuscht.

Dies ist völlig regular, zumindest für die meisten Unternehmen, insbesondere wenn Sie ein Junior sind oder gerade erst in die Branche einsteigen. Der Traum von Datenwissenschaft, der Ihnen verkauft wird (zumindest in den USA), beinhaltet ein sechsstelliges Gehalt direkt nach dem School ohne Erfahrung, und oft sieht die Realität ganz anders aus.

Was bestimmt ein Gehalt?

Die Gehälter für jede Place werden hauptsächlich von einigen Faktoren bestimmt, von denen einige außerhalb Ihrer Kontrolle liegen:

• Das Unternehmen selbst
• Geografische Area (Land, Bundesland, Stadt)
• Ihr Erfahrungsstand
• Ihr Bildungsniveau (Bachelor, Grasp, PhD)
• Aktuelle Marktbedingungen

Andere Faktoren, die bei Ihrem Gehalt eine Rolle spielen könnten (wenn auch wahrscheinlich in geringerem Maße), sind bestimmte Fähigkeiten oder Zertifizierungen, die Sie besitzen. Je nachdem, wie related diese Fähigkeiten für die Place sind, können sie Ihnen bei Verhandlungen die Oberhand verschaffen.

Die Realität des Knowledge-Science-Arbeitsmarktes im Jahr 2024

Es ist nicht mehr so ​​einfach, Ihren Lebenslauf an einige Unternehmen zu schicken und zwei Wochen später zu einem Vorstellungsgespräch eingeladen zu werden.

Der Kampf um Jobs in der Datenwissenschaft wird von Tag zu Tag intensiver. In meinem letzten Artikel habe ich die Herausforderungen beschrieben, denen sich Datenwissenschaftler im Jahr 2024 stellen müssen, und eine davon ist der wettbewerbsintensive Arbeitsmarkt.

In diesem letzten Beitrag habe ich ein kurzes LinkedIn-Experiment durchgeführt, das gezeigt hat, wie eingeschränkt die Jobaussichten tatsächlich werden können, wenn man einfache Filter wie „Vollzeit“ und „Distant“ hinzufügt.

Viele junge und aufstrebende Datenwissenschaftler haben sich an mich gewandt und meine Artikel kommentiert und um Ratschläge gebeten, wie sie im gegenwärtigen Umfeld einen Job finden.

Ich sage ihnen immer, dass Vernetzung ist der Schlüssel denn durch einfaches Drücken der Straightforward-App-Schaltfläche auf LinkedIn (insbesondere, wenn Sie nicht …

Was ist Skalierung?

Wenn Sie zum ersten Mal einen Datensatz in Ihr Python-Skript oder -Pocket book laden und sich Ihre numerischen Merkmale ansehen, werden Sie wahrscheinlich feststellen, dass sie alle auf unterschiedlichen Skalen liegen.

Dies bedeutet, dass jede Spalte oder jedes Function unterschiedliche Bereiche hat. Beispielsweise kann ein Function Werte zwischen 0 und 1 haben, während ein anderes Werte zwischen 1000 und 10000 haben kann.

Nehmen Sie die Weinqualitätsdatensatz aus dem UCI Machine Studying Repository (CC by 4.0 Lizenz) Zum Beispiel.

Beim Skalieren handelt es sich im Wesentlichen um den Vorgang, alle Options einem ähnlichen oder gleichen Bereich oder Maßstab anzunähern. Dies kann beispielsweise durch die Transformation geschehen, sodass alle Werte zwischen 0 und 1 liegen.

Wann (und warum) Sie skalieren müssen

Es gibt einige Gründe, warum es wichtig ist, Funktionen vor dem Anpassen/Trainieren eines Machine-Studying-Modells zu skalieren:

1. Stellt sicher, dass alle Options gleichermaßen zum Modell beitragen. Wenn ein Function groß ist und…

Sie haben wahrscheinlich schon einmal von der Manhattan-Distanz oder der euklidischen Distanz gehört. Dabei handelt es sich um zwei verschiedene Messgrößen, die Aufschluss darüber geben, wie weit (oder wie unterschiedlich) zwei gegebene Datenpunkte voneinander entfernt sind.

Kurzgesagt, Euklidische Entfernung ist die kürzeste Entfernung von Punkt A zu Punkt B. Manhattan-Entfernung berechnet die Summe der absoluten Differenzen zwischen den x- und y-Koordinaten und ermittelt die Entfernung zwischen ihnen, als wären sie auf einem Raster platziert, auf dem man sich nur nach oben, unten, hyperlinks oder rechts bewegen kann (nicht diagonal).

Distanzmetriken liegen oft zugrunde Clustering-Algorithmenwie zum Beispiel Okay-Means-Clusterbildungdas die euklidische Distanz verwendet. Das ist sinnvoll, denn um Cluster zu definieren, müssen Sie zunächst wissen, wie ähnlich oder unterschiedlich zwei Datenpunkte sind (additionally wie weit sie voneinander entfernt sind).

Berechnen der Entfernung zwischen zwei Punkten

Um diesen Prozess in Aktion zu zeigen, beginne ich mit einem Beispiel unter Verwendung der euklidischen Distanz.