Bild vom Herausgeber

# Einführung

Ich freue mich darauf, Ihr erstes, überschaubares maschinelles Lernprojekt mit den beliebten Python-Bibliotheken zu starten Pandas Und Scikit-lernenaber Sie wissen nicht, wo Sie anfangen sollen? Suchen Sie nicht weiter.

In diesem Artikel werde ich Sie durch ein sanftes, einsteigerfreundliches Projekt zum maschinellen Lernen führen, in dem wir gemeinsam ein Regressionsmodell erstellen, das das Mitarbeitereinkommen auf der Grundlage sozioökonomischer Merkmale vorhersagt. Unterwegs lernen wir einige wichtige Konzepte und wichtige Methods des maschinellen Lernens kennen.

# Vom Rohdatensatz zum sauberen DataFrame

Zunächst empfiehlt es sich, wie bei jedem Python-basierten Projekt, zunächst die erforderlichen Bibliotheken, Module und Komponenten zu importieren, die wir während des gesamten Prozesses verwenden werden:

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_absolute_error
import joblib

Mit den folgenden Anweisungen wird ein öffentlich verfügbarer Datensatz geladen dieses Repository in einen Panda DataFrame Objekt: eine übersichtliche Datenstruktur zum Laden, Analysieren und Verwalten vollständig strukturierter Daten, d. h. Daten im Tabellenformat. Nach dem Laden betrachten wir seine grundlegenden Eigenschaften und Datentypen in seinen Attributen.

url = "https://uncooked.githubusercontent.com/gakudo-ai/open-datasets/important/employees_dataset_with_missing.csv"
df = pd.read_csv(url)
print(df.head())
print(df.data())

Sie werden feststellen, dass der Datensatz 1.000 Einträge oder Instanzen enthält – additionally Daten, die 1.000 Mitarbeiter beschreiben –, aber für die meisten Attribute wie Alter, Einkommen usw. gibt es weniger als 1.000 tatsächliche Werte. Warum? Weil In diesem Datensatz fehlen Werteein häufiges Drawback bei realen Daten, das behoben werden muss.

In unserem Projekt setzen wir uns zum Ziel, das Einkommen eines Mitarbeiters anhand der übrigen Merkmale vorherzusagen. Daher werden wir den Ansatz verfolgen, Zeilen (Mitarbeiter) zu verwerfen, deren Wert für dieses Attribut fehlt. Während es bei Prädiktorattributen manchmal in Ordnung ist, mit fehlenden Werten umzugehen und sie zu schätzen oder zu imputieren, benötigen wir für die Zielvariable vollständig bekannte Bezeichnungen zum Trainieren unseres maschinellen Lernmodells: Der Haken daran ist, dass unser maschinelles Lernmodell lernt, indem es Beispielen mit bekannten Vorhersageausgaben ausgesetzt wird.

Es gibt auch eine spezielle Anweisung, nur nach fehlenden Werten zu suchen:

Additionally, lasst uns unsere reinigen DataFrame um von fehlenden Werten für die Zielvariable Einkommen ausgenommen zu sein. Dieser Code entfernt Einträge mit fehlenden Werten, insbesondere für dieses Attribut.

goal = "earnings"
train_df = df.dropna(subset=(goal))

X = train_df.drop(columns=(goal))
y = train_df(goal)

Wie wäre es additionally mit den fehlenden Werten in den restlichen Attributen? Wir werden uns in Kürze darum kümmern, aber zuerst müssen wir unseren Datensatz in zwei große Teilmengen aufteilen: einen Trainingssatz zum Trainieren des Modells und einen Testsatz zur Bewertung der Leistung unseres Modells nach dem Coaching, bestehend aus Beispielen, die sich von denen unterscheiden, die das Modell während des Trainings gesehen hat. Scikit-learn bietet eine einzelne Anweisung, um diese Aufteilung nach dem Zufallsprinzip durchzuführen:

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

Der nächste Schritt geht noch einen Schritt weiter, um die Daten in eine großartige Kind für das Coaching eines Modells für maschinelles Lernen umzuwandeln: den Aufbau einer Vorverarbeitungspipeline. Normalerweise sollte diese Vorverarbeitung zwischen numerischen und kategorialen Merkmalen unterscheiden, sodass jeder Merkmalstyp unterschiedlichen Vorverarbeitungsaufgaben entlang der Pipeline unterliegt. Beispielsweise sollen numerische Merkmale typischerweise skaliert werden, während kategoriale Merkmale in numerische Merkmale abgebildet oder kodiert werden können, damit das Modell des maschinellen Lernens sie verarbeiten kann. Zur Veranschaulichung zeigt der folgende Code den gesamten Prozess des Aufbaus einer Vorverarbeitungspipeline. Es umfasst die automatische Identifizierung numerischer und kategorialer Merkmale, sodass jeder Typ korrekt verarbeitet werden kann.

numeric_features = X.select_dtypes(embody=("int64", "float64")).columns
categorical_features = X.select_dtypes(exclude=("int64", "float64")).columns

numeric_transformer = Pipeline((
    ("imputer", SimpleImputer(technique="median"))
))

categorical_transformer = Pipeline((
    ("imputer", SimpleImputer(technique="most_frequent")),
    ("onehot", OneHotEncoder(handle_unknown="ignore"))
))

preprocessor = ColumnTransformer((
    ("num", numeric_transformer, numeric_features),
    ("cat", categorical_transformer, categorical_features)
))

Weitere Informationen zu Datenvorverarbeitungspipelines finden Sie unter dieser Artikel.

Diese Pipeline wurde einmal auf die angewendet DataFrameführt zu einer sauberen, gebrauchsfertigen Model für maschinelles Lernen. Wir werden es jedoch im nächsten Schritt anwenden, indem wir sowohl die Datenvorverarbeitung als auch das Modelltraining für maschinelles Lernen in einer einzigen übergreifenden Pipeline zusammenfassen.

# Vom sauberen DataFrame zum einsatzbereiten Modell

Jetzt definieren wir eine übergreifende Pipeline, die:

1. Wendet den zuvor definierten Vorverarbeitungsprozess an – gespeichert im preprocessor Variable – sowohl für numerische als auch für kategoriale Attribute.
2. Trainiert ein Regressionsmodell, nämlich eine zufällige Waldregression, um das Einkommen anhand vorverarbeiteter Trainingsdaten vorherzusagen.

mannequin = Pipeline((
    ("preprocessor", preprocessor),
    ("regressor", RandomForestRegressor(random_state=42))
))

mannequin.match(X_train, y_train)

Wichtig ist, dass die Trainingsphase nur die Trainingsteilmenge erhält, die wir zuvor bei der Aufteilung erstellt haben, nicht den gesamten Datensatz.

Jetzt nehmen wir die andere Teilmenge der Daten, den Testsatz, und bewerten damit die Leistung des Modells an diesen Beispielmitarbeitern. Wir verwenden den mittleren absoluten Fehler (MAE) als unsere Bewertungsmetrik:

preds = mannequin.predict(X_test)
mae = mean_absolute_error(y_test, preds)
print(f"nModel MAE: {mae:.2f}")

Möglicherweise erhalten Sie einen MAE-Wert von etwa 13.000, was akzeptabel, aber nicht brillant ist, wenn man bedenkt, dass die meisten Einkommen im Bereich von 60.000 bis 90.000 liegen. Auf jeden Fall nicht schlecht für ein erstes Modell für maschinelles Lernen!

Abschließend möchte ich Ihnen zeigen, wie Sie Ihr trainiertes Modell für die zukünftige Bereitstellung in einer Datei speichern.

joblib.dump(mannequin, "employee_income_model.joblib")
print("Mannequin saved as employee_income_model.joblib")

Speichern Sie Ihr trainiertes Modell in einem .joblib Die Datei ist für zukünftige Bereitstellungen nützlich, da Sie sie sofort neu laden und wiederverwenden können, ohne sie erneut von Grund auf trainieren zu müssen. Stellen Sie sich das so vor, als würden Sie Ihre gesamte Vorverarbeitungspipeline und das trainierte Modell in einem tragbaren Objekt „einfrieren“. Zu den schnellen Optionen für die zukünftige Verwendung und Bereitstellung gehören das Einbinden in ein einfaches Python-Skript oder -Pocket book oder die Erstellung einer schlanken Net-App, die mit Instruments wie erstellt wurde Streamlit, Gradiooder Flasche.

# Zusammenfassung

In diesem Artikel haben wir ein einführendes Modell für maschinelles Lernen für die Regression zusammengestellt, insbesondere zur Vorhersage des Mitarbeitereinkommens, und die notwendigen Schritte vom Rohdatensatz bis zum sauberen, vorverarbeiteten Datensatz skizziert DataFrameund von DataFrame zum einsatzbereiten Modell.

Iván Palomares Carrascosa ist ein führender Autor, Redner und Berater in den Bereichen KI, maschinelles Lernen, Deep Studying und LLMs. Er schult und leitet andere darin, KI in der realen Welt zu nutzen.

https://www.youtube.com/watch?v=gg-9zl59r30

Hallo! Ich bin Anna Strahl, Senior Course Developer bei DataQuest, und ich weiß, wie anspruchsvoll das Starten Ihres ersten Datenprojekts sich anfühlen kann. Fragen wie Welchen Datensatz soll ich verwenden? oder Welche Instruments sind am besten? sind ganz regular. Ich battle dort und bin hier, um zu helfen. In diesem Leitfaden werde ich Sie durch zwei anfängerfreundliche Projekte führen-eine in Python und eine in SQL. Bereit? Lass uns eintauchen!

Warum Datenprojekte für Lernende unerlässlich sind

Wenn Sie Python-, SQL- oder Datenvisualisierung lernen, sind Projekte, an denen die Magie stattfindet. Ich sage immer, Projekte sollten 70% Ihrer Lernzeit ausmachenAnwesend mit nur 30% für neue Konzepte. Hier ist der Grund:

• Wenden Sie an, was Sie wissen: Projekte verbinden die Punkte zwischen isolierten Fähigkeiten. Denken Sie an Schleifen, Funktionen und Dateibehandlungen – alle zusammenarbeiten.
• Vertrauen aufbauen: Das Abschluss eines Projekts beweist Ihre Fähigkeiten, was für Vorstellungsgespräche hervorragend ist.
• Erstellen Sie ein Portfolio: Projekte zeigen potenzielle Arbeitgeber Ihre Fähigkeiten zur Problemlösung in Aktion.

Als ich Karrieren überging, gab mir die Arbeit an Datenprojekten konkrete Beispiele, die ich in Vorstellungsgesprächen besprechen konnte, noch bevor ich eine formelle Berufserfahrung hatte.

Python Venture Walkthrough: App Retailer -Datenanalyse

Projektübersicht

In diesem Projekt geht es nur um Analyse von App Retailer -Daten Traits für worthwhile Apps erkennen. Wir werden das Python- und Jupyter -Notizbuch verwenden – perfekte Instruments für Anfänger.

Schritt 1: Beginnen Sie mit Jupyter Pocket book

Wenn Sie neu im Jupyter -Notizbuch sind, scheint es einschüchternd zu sein. Folgendes müssen Sie wissen:

• Code vs. Markdown -Zellen: Codezellen führen Python aus, während Markdown -Zellen Ihnen helfen, Ihren Prozess zu dokumentieren.
• Ausführungsreihenfolge: Verfolgen Sie die Codemellnummern in Klammern (dh In (1)) Um zu vermeiden, dass Code aus der Sequenz ausgeführt wird.
• Starten von Kerneln: Wenn die Dinge schief gehen, starten Sie den Kernel neu und machen Sie Ihre Zellen für einen Neuanfang erneut aus.

Um diesen Prozess noch einfacher zu machen, können Sie dies folgen Schritt-für-Schritt-Anleitung zur Set up von Jupyter Pocket book lokal und Erstellen Sie Ihr erstes Projekt. Wenn Sie Anfänger sind, empfehlen wir Ihnen, unserem Break up-Display-Interaktiv zu folgen Lernen und installieren Sie Jupyter Pocket book Projekt, um die Grundlagen schnell zu lernen.

Schritt 2: Daten importieren und erkunden

Laden wir unseren Datensatz mit Python’s csv Modul:

from csv import reader

# Google Play dataset
opened_file = open('googleplaystore.csv')
read_file = reader(opened_file)
android = checklist(read_file)
android_header = android(0)
android = android(1:)

Professional -Tipp: Fügen Sie Code -Kommentare hinzu, um Ihren Workflow zu dokumentieren, damit Ihr zukünftiges Selbst nicht vergisst, was eine bestimmte Codezeile tut.

Schritt 3: Fehlerbehebung bei üblichen Fehlern

Fehler sind Teil des Prozesses – scheuen Sie sich nicht vor ihnen! Ein häufiges ist ein Dateipfadfehler. Wenn Sie so etwas in der Ausgabe der Codezelle sehen:

FileNotFoundError: (Errno 2) No such file or listing: 'googleplay_store.csv'

Es bedeutet, dass Python Ihre Datei nicht finden kann. Überprüfen Sie den Dateinamen und den Verzeichnis. Vergessen Sie nicht, Sie können sich immer an die wenden Dataquest -Group oder unser Chandra AI -Tutor um Hilfe.

Schritt 4: Bereiten Sie sich auf eine tiefere Analyse vor

Sie haben jetzt eine solide Grundlage mit Jupyter Pocket book – das Verständnis, wie Sie Ihren Code organisieren, Datensätze erkunden und häufig auftretende Probleme beheben. Zu diesem Zeitpunkt sind Sie intestine positioniert, um die Datenreinigung, -analyse und -visualisierung einzugehen.

Von hier aus können Sie sich auf die Datenreinigung konzentrieren, um die Genauigkeit zu gewährleisten, indem Sie Duplikate oder falsche Einträge beseitigen, sich zur Datenerforschung wenden, indem Sie zusammenfassende Statistiken in Bezug matplotlib oder seaborn Klare, überzeugende Diagramme zu erstellen.

SQL Venture Walkthrough: Erforschung einer relationalen Datenbank

Projektübersicht

Für SQL -Liebhaber werde ich Sie durchführen ein Projekt mit SQLite Erkundung einer Datenbank mit Kunden, Mitarbeitern und Produkten.

Schritt 1: SQLite einrichten

SQLite ist leicht und anfängerfreundlich. Laden Sie nach der Set up Ihre Datenbank- und Vorschau -Tabellenschemata, um die Struktur zu verstehen.

Schritt 2: Abfragen schreiben

Beginnen Sie einfach, indem Sie die Tische erkunden:

Diese Abfrage zeigt:

• So dokumentieren Sie Abfragen Kommentare in SQLite mit --
• Wählen Sie alle aus (*) Spalten
• Von der clients Tisch
• Begrenzen Sie die angezeigte Ausgabe auf die ersten 5 Zeilen

Wenn Sie einfache Abfragen wie diese ausführen, können Sie sich an die SQLite -Schnittstelle gewöhnen, insbesondere wenn Sie hauptsächlich mit dem Ausführen von SQL -Abfragen innerhalb einer On-line -Plattform vertraut sind.

Schritt 3: Fortgeschrittene Abfragen und Herausforderungen

Fassen wir alle Tabellen in einer Abfrage mithilfe der Fassungsgruppe zusammen UNION ALL. Es ist eine leistungsstarke Möglichkeit, Ergebnisse über Tabellen hinweg zu kombinieren. Hier sehen wir die Abfrage und die Ausgabe für die ersten beiden Tabellen in der Datenbank (clients Und workers):

Beachten Sie, dass wir die verwendet haben, um Informationen aus mehreren Tabellen zu kombinieren UNION ALL Bediener und stellten sicher, dass unsere Spaltennamen über mehrere Tabellen konsistent waren (table_nameAnwesend num_cols,Und num_rows)

Schritt 4: Bereiten Sie sich auf eine tiefere Analyse vor

Sie haben jetzt eine solide Grundlage mit SQLite – das Verständnis der Set up, Erkundung von Tabellenschemata, führen Sie grundlegende Abfragen aus und verwenden Sie sogar Operatoren wie Operatoren UNION ALL Daten über Tabellen hinweg kombinieren. Zu diesem Zeitpunkt sind Sie intestine vorbereitet, um komplexere Analysen und Datenbankoperationen zu bekämpfen.

Von hier aus können Sie auf Ihren SQL -Fähigkeiten aufbauen, indem Sie ausgefeiltere Abfragen erstellen, z. B. die Verwendung von Verknüpfungen oder Unterabfragen, die Optimierung der Leistung mit Indizes und sogar die Integration Ihrer SQLite -Datenbank in größere Anwendungen oder Visualisierungstools, um tiefere Geschäftserkenntnisse abzuleiten.

Herausforderungen überwinden: Fehlerbehebung und Debuggen

• Für Python: Verwenden Sie Fehlermeldungen als Anleitungen. Instruments wie Chandra AI Tutor oder On-line -Communities können Probleme klären.

---------------------------------------------------------------------------
FileNotFoundError                         Traceback (most up-to-date name final)
<ipython-input-1-2ed9ff83dc25> in <module>
      2 
      3 ### The Google Play information set ###
----> 4 opened_file = open('googleplay_store.csv')
      5 read_file = reader(opened_file)
      6 android = checklist(read_file)

FileNotFoundError: (Errno 2) No such file or listing: 'googleplay_store.csv'

• Dieser Fehler gibt an, dass die Datei nicht vorhanden ist (beachten Sie den Pfeil “ ->“, der auf die Zeile zeigt, in der der Fehler aufgetreten ist). Dies ist ein großer Hinweis darauf, dass etwas über den Dateinamen nicht wie erwartet funktioniert.
• Für SQL: Häufige Fehler wie nicht übereinstimmende Spaltennamen oder ungültige Syntax können durch Bezugnahme auf Datenbankschemas oder das Testen kleinerer Abfragekomponenten aufgelöst werden.

• Dieser Fehler gibt einen Fehler in an line 1und gibt an, dass der Fehler auftritt, weil die aufgelistete Spalte nicht vorhanden ist.

Veröffentlichen Sie Ihr erstes Projekt

Sobald Ihr Projekt abgeschlossen ist, lassen Sie es nicht Staub sammeln. Teilt es! Das Veröffentlichen Ihrer Arbeit schafft Vertrauen und öffnet die Tür für Suggestions.

Empfohlene Werkzeuge

• Github Gist: Perfekt für Anfänger. Sie können Python -Notizbücher oder SQL -Abfragen teilen, ohne sich über komplexe Repository -Strukturen zu sorgen.

  

• Github -Repositories: Mit Repositories können Sie für fortgeschrittenere Benutzer Multi-File-Projekte organisieren und mit anderen zusammenarbeiten.

  

Nach der Veröffentlichung können andere Kommentare oder Vorschläge hinterlassen – eine großartige Möglichkeit, Ihre Fähigkeiten zu verfeinern.

Iterieren mit Suggestions

Suggestions ist Gold. Teilen Sie Ihre Arbeit in der Dataquest -Groupwo Lernende und Moderatoren konstruktive Ratschläge geben können. Ein Lerner verbesserte sein Star Wars -Projekt dramatisch, indem er nur ein Inhaltsverzeichnis und die auf Suggestions raffinierte Visualisierungen hinzufügte.

Nächste Schritte: Erstellen Sie Ihr erstes Datenprojekt

Bist du bereit, dein eigenes Projekt zu starten? So wie: wie:

1. Wählen Sie ein geführtes Projekt: Beginnen Sie klein mit anfänglichen Projekten, die in der Datenquest-Bibliothek verfügbar sind.
2. Üben Sie auf DataQuest oder lokal: Verwenden Sie Instruments wie Jupyter Pocket book, Jupyter Lab, Google Colab oder SQLite, um Vertrauen zu schaffen.
3. Dokumentieren Sie Ihren Prozess: Fügen Sie Markdown -Zellen oder SQL -Kommentare ein, um Ihren Ansatz zu erklären.
4. Veröffentlichen und teilen: Laden Sie Ihr Projekt in GitHub hoch oder teilen Sie es in der Dataquest -Group für Suggestions.

Das Erstellen Ihres ersten Datenprojekts ist ein Meilenstein. Es steigert Ihre Fähigkeiten, Ihr Vertrauen und Ihre Karriereaussichten. Denken Sie daran, dass jedes Projekt, das Sie abschließen, Ihr Selbstvertrauen baut und neue Türen für Lernen und Wachstum eröffnet. Additionally, wähle a Führungsprojekt Heute, und lass uns anfangen!

Codestral ist ein neues generatives KI-Modell aus Mistral AIdient dazu, die Verpackung bei der Entsorgung zu entsorgen. Die Modelle verfügen über mehr als 80 Programmiersprachen und erweitern die Funktionen durch Codebeschriftung und Testskripting. Mit einem großen Kontextmenü auf 32.000 Seiten werden die anderen Modelle in der Tabelle angezeigt. Dies ist zum Laden und Testen geeignet und kann in verschiedene Entwicklungsumgebungen wie VSCode und JetBrains integriert werden.

Um dies zu erreichen, muss Codestral über den offiziellen API-Schnittstellenpunkt api.mistral.ai erreichbar sein, der Abbuchungen professional Token ermöglicht. Denn dieser Punkt und seine Integration erfordern viel Fachwissen, Batchverarbeitung oder die Bereitstellung von Drittanbieter-Anwendungen, um die Ergebnisse direkt an den Benutzer zu übermitteln, ohne dass dies mit derselben API-Lösung erforderlich ist. Öffnen Sie einfach Ihr Konto bei La Plateforme und installieren Sie die Anwendung mithilfe von Codestral, um eine Anleitung zu erhalten.

Codestral ist in beliebte Anwendungen für die Produktivitätssteigerung und KI-Anwendungsentwicklung integriert, beispielsweise LlamaIndex und LangChain sowie VSCode und JetBrains-Umgebungen mit Proceed.dev und Tabnine. Dies ist möglicherweise eine Möglichkeit, den Code mithilfe von Codestral direkt in dieser Umgebung allgemein und interaktiv zu verwenden.

Codestral setzt einen neuen Normal für Pre- und Final-Checks mit modernen Modellen voraus, die für die Kodierung verwendet werden. Es gibt keine großen Codes auf 22B und einen großen Kontextmenübildschirm auf 32k. Dies ermöglicht es Codestral, andere Modelle in RepoBench zu testen, eine umfassende Bewertung der Codegenerierung vorzunehmen und in mehreren Benchmarks für die Python-Codegenerierung, SQL-Requirements und andere Sprachen starke Ergebnisse zu erzielen.

Codestral ist eine leistungsstarke Lösung für Codegenerierungs- und Implementierungsassistenten mit großer Sprachkompetenz und hohem Ansehen, die es zu einem attraktiven Ort für eine umfassende und praktische Implementierung macht.

mistral.ai/information/codestral