Ein egozentrischer Datensatz ist eine strukturierte Sammlung von Video- und Sensoraufzeichnungen aus der ersten Particular person – aufgenommen von einer Kopf-, Brust- oder Handgelenkkamera – und wird verwendet, um Robotik und verkörperte KI-Systeme darauf zu trainieren, wie Menschen sehen, sich bewegen und handeln. Es entspricht am ehesten dem, was die Bordkamera eines Roboters während des Betriebs sieht, weshalb es zu einer Grundlage für das Coaching von Imaginative and prescient-Language-Motion-Modellen (VLA) geworden ist.

Ein Roboter, der nur auf Laboraufnahmen trainiert wird, stürzt häufig am ersten Tag ab, an dem er das Labor verlässt. Der Grund liegt selten im Modell. Es sind die Daten.

Die meisten Schulungsvideos werden mit einem Stativ oder einer Deckenkamera aufgenommen. Solche Aufnahmen zeigen den Raum, aber nicht die Arbeit. Nicht die Hand. Nicht das Objekt. Nicht der genaue Winkel, den die Bordkamera eines Roboters sieht, wenn er tatsächlich eine Tasse aufnimmt oder eine Schublade öffnet. Um diese Lücke zu schließen, wurde ein egozentrischer Datensatz erstellt.

In diesem Leitfaden erfahren Sie, was ein egozentrischer Datensatz ist, warum First-Particular person-Daten zur Grundlage moderner Robotik und verkörperter KI geworden sind, wie gute Daten tatsächlich aussehen und worauf Groups achten sollten, bevor sie einen solchen lizenzieren oder in Auftrag geben.

Was ist ein egozentrischer Datensatz?

Ein egozentrischer Datensatz ist eine strukturierte Sammlung von Video- und Sensordaten, die aus der Ich-Perspektive erfasst werden. Die Kamera sitzt auf dem Kopf, der Brust oder dem Handgelenk der Particular person, die eine Aufgabe ausführt – manchmal auch auf dem Roboter selbst –, sodass die Aufnahme die Welt genau so zeigt, wie der Schauspieler sie sieht.

„Egozentrisch“ bedeutet einfach vom Selbst. Eine Third-Particular person-Kamera zeigt, was in einem Raum passiert. Eine egozentrische Kamera zeigt, was die Hände, Augen und Werkzeuge des Schauspielers tun, während es passiert. Dieser Unterschied klingt gering. Für Robotikteams ist es alles.

Die meisten modernen egozentrischen Datensätze kombinieren Video mit zusätzlichen Signalen – Tiefe, Bewegung, Audio und manchmal Augen- oder Handverfolgung –, sodass ein einzelner Second aus mehreren Blickwinkeln gleichzeitig untersucht werden kann.

Warum egozentrische Daten für Robotik und verkörperte KI wichtig sind

Roboter versagen in der realen Welt aus einer kleinen Liste von Gründen. Der falsche Standpunkt sitzt oben.

Die Bordkamera eines Roboters sieht die Welt von dort aus, wo der Roboter steht. Wenn Sie es mit Overhead- oder Seitenwinkelvideos trainieren, muss das Modell bei jeder Aktion eine Lücke schließen und eine Szene aus der dritten Particular person in eine Entscheidung aus der ersten Particular person übersetzen. In dieser Lücke passieren Fehler: ein falscher Griff, ein verpasster Kontaktpunkt, eine Hand, die einen Schlag zu früh schließt.

Durch Schulungen zu First-Particular person-Daten entfällt dieser Übersetzungsschritt. Das Modell lernt aus derselben Ansicht, die es später verwenden wird. Jüngste Forschungen zum Roboterlernen haben gezeigt, dass Richtlinien, die auf Daten aus der ersten Particular person trainiert werden, bei Manipulationsaufgaben je nach Aufgabentyp die von Dritten trainierten Richtlinien um 15–30 % übertreffen können. Der Gewinn zeigt sich in der Arbeit selbst: sauberere Griffe, besseres Hand-Auge-Timing, intelligentere Reaktionen auf Unordnung und Teilansichten.

Aus diesem Grund stehen auch First-Particular person-Daten im Mittelpunkt Physische KI Systeme und die neue Welle von Imaginative and prescient-Sprach-Aktionsmodelle – Systeme, die eine visuelle Eingabe und eine gesprochene oder schriftliche Anweisung entgegennehmen und dann eine reale Aktion in der physischen Welt ausgeben.

In einem hochwertigen egozentrischen Datensatz

Rohvideo allein reicht nicht aus. Eine qualitativ hochwertige egozentrische Datenerfassung kombiniert Ego-Movies mit mehreren anderen Signalen:

• Synchronisiertes Video in guter Auflösung, oft aus mehr als einem Winkel (Kopf, Brust oder Handgelenk)
• Tiefendaten Dies hilft einem Modell zu verstehen, wie weit ein Objekt entfernt ist und nicht nur, wo es im Bild erscheint
• Daten des Bewegungssensors (IMU). das Kopf- und Körperbewegungen Bild für Bild verfolgt
• Audio – das überraschend viel Kontext enthält, wie ein Messer auf einem Brett oder eine Particular person, die in der Nähe spricht
• Hand- oder Augenverfolgung Für Aufgaben, bei denen Aufmerksamkeit und Griffigkeit wichtig sind

Der Haken an der Sache ist, dass das alles auf die Millisekunde genau sein muss. Wenn der Tiefenstrom eine Viertelsekunde hinter dem Video zurückbleibt, lernt das Modell die falsche Ursache und Wirkung. Solider Egozentriker Datenanmerkung Zusätzlich zu einer intestine kalibrierten Erfassung werden Rohaufzeichnungen in Trainingsdaten umgewandelt.

Laboraufnahmen vs. Aufnahmen aus der realen Welt

Es hilft, sich ein anderes Trainingsproblem vorzustellen.

Stellen Sie sich vor, Sie bringen jemandem das Fahrradfahren bei, indem Sie ihm nur Drohnenaufnahmen vorspielen, die von oben aufgenommen wurden. Sie würden das Fahrrad, die Straße und den Weg sehen. Sie würden das Wackeln des Lenkers, die Artwork und Weise, wie die Augen in Kurven nach vorne blicken, oder die Artwork und Weise, wie sich die Karosserie vor einer Kurve bewegt, nicht bemerken. Sie würden technisch gesehen wissen, was Radfahren ist sieht aus wie. Sie würden nicht wissen, wie es geht Tun Es.

Bei Labordaten tritt im großen Maßstab das gleiche Downside auf. Saubere Beleuchtung, ein Objekt auf einem sauberen Tisch, eine Aufgabe professional Clip – es ist aufgeräumt, aber es ist nicht die Welt, in die ein Roboter eindringt. Modelle, die anhand von Laboraufnahmen trainiert wurden, funktionieren oft am ersten Tag und scheitern am dreißigsten Tag, wenn das Licht flackert, sich die Wege zweier Personen kreuzen oder drei Artikel auf demselben Regal stehen.

Die egozentrische Erfassung in der realen Welt bringt den Lärm wieder ins Spiel. Dieser Lärm sorgt dafür, dass Modelle nach dem Einsatz standhalten.

Die vier Schichten eines egozentrischen Datensatzstapels

Unterschiedliche Probleme erfordern unterschiedliche Datenschichten. Ein für einen Auftrag erstellter Datensatz deckt selten einen anderen Brunnen ab. Hier ist eine einfache Möglichkeit, sich die Schichten vorzustellen, die die meisten physischen KI-Groups stapeln, um einen vollständigen verkörperten KI-Datensatz zu erstellen:

Die meisten Produktionsteams greifen auf mehr als eine Ebene zurück. Ein Humanoid, der beispielsweise eine Spülmaschine beladen muss, greift auf mindestens drei Dinge zurück: menschliche Demonstrationen, feine Manipulation und eine schrittweise Aufgabenstruktur.

Wo egozentrische Daten die echte Nachfrage antreiben

Stellen Sie sich ein mittelgroßes Lager vor, in dem im letzten Quartal ein Choose-and-Place-Roboter eingeführt wurde. Anhand sauberer Laboraufnahmen hat es in der ersten Woche gepasst. Dann kam es zu einem saisonalen Anstieg. In seltsamen Winkeln gestapelte Kisten, flackerndes Neonlicht, zwei Arbeiter überqueren den Gang. Der Roboter geriet ins Stocken – nicht weil das Modell kaputt ging, sondern weil nichts in seinem Coaching wie eine echte Veränderung aussah.

Diese Artwork von Lücke zeigt sich branchenübergreifend und ist der Grund dafür, dass die Nachfrage nach First-Particular person-Trainingsdaten an bestimmten Stellen steigt:

• Humanoide und Heimroboter. Kochen, putzen, Lebensmittel einräumen. Aufgaben, die einfach aussehen, bis Sie einem Roboter dabei zusehen, wie er sie ausführt.
• Autonome Mobilität. Fahren, Verhalten in der Kabine, Zustellung auf der letzten Meile. Die First-Particular person-Erfassung schließt die Lücke zwischen Simulation und realen Straßen.
• Industrielle egozentrische Datensätze. Fabrikhallen, Montagelinien, Öl- und Gasstandorte – werden zum Trainieren von Sicherheitserkennung, ergonomischer Nachverfolgung und arbeiterunterstützender Robotik verwendet.
• Chirurgische Videodaten aus der ersten Particular person. Erfassung von Eingriffen mithilfe von am Kopf montierten Kameras, die von Chirurgen getragen werden und zum Trainieren von Assistenzmodellen und medizinischen AR-Systemen verwendet werden.
• Egozentrische Daten zum Verbraucherverhalten im Einzelhandel. Tragbare Aufnahmen von Käufern in echten Geschäften, mit denen Aufmerksamkeit, Navigation und Entscheidungsfindung am Regal untersucht werden.

Unterschiedliche Branchen, das gleiche Grundbedürfnis: Daten, die wie Arbeit aussehen, nicht wie das Labor.

Was macht einen egozentrischen Datensatz modellreif?

Unabhängig davon, ob Sie intern bauen oder egozentrische Datenanbieter bewerten, fünf Dinge unterscheiden forschungsfähige Daten von Daten, die in der Produktion Bestand haben:

1. Egozentrische Datenannotationstiefe. Nicht nur Begrenzungsrahmen. Handhaltungen, Objektzustände, Handlungsschritte und Absichten – alles auf den richtigen Rahmen ausgerichtet.
2. Sensorkalibrierung. Zeitsynchronisierung von Video, Tiefe, Audio und Bewegung, sodass das Modell einen kohärenten Second sieht und nicht fünf fließende Ströme.
3. Edge-Case-Abdeckung. Schwaches Licht, Verdunkelung, überfüllte Szenen, seltene Ereignisse. Die Fälle, in denen Labordaten stillschweigend Lücken hinterlassen. In Käuferbefragungen aus der Industrie werden die Annotationsqualität und die Randfallabdeckung durchweg als die beiden wichtigsten Kriterien bei der Bewertung von Datenpartnern eingestuft.
4. Einwilligung und Compliance. First-Particular person-Movies sind per Definition sensibel. Für Datensätze ist eine dokumentierte Einwilligung der Teilnehmer, ggf. eine Anonymisierung erforderlich und eine Übereinstimmung mit Rahmenwerken wie DSGVO und HIPAA erforderlich. Anbieterkontrollen wie ISO 27001 und SOC 2 Typ II fügen die verfahrenstechnische Ebene hinzu, die Rechtsteams von Unternehmen erwarten.
5. Sim-to-Actual-Bereitschaft. Reales Filmmaterial, das sauber mit synthetischen Daten kombiniert wird, sodass Groups das Coaching skalieren können, ohne die Grundlagen zu verlieren, die Modelle zuverlässig machen.

Qualität Datenerfassung ist der Teil, der später am schwierigsten zu reparieren ist. Wenn Sie es direkt an der Quelle angehen, wird der Relaxation der Pipeline einfacher.

Wichtige Erkenntnisse

• Ein egozentrischer Datensatz besteht aus First-Particular person-Video- und Sensordaten – aus der Sicht des Schauspielers aufgenommen – wird dazu verwendet, Robotik und verkörperte KI-Modelle so zu trainieren, wie sie die Welt im Einsatz tatsächlich sehen werden.
• First-Particular person-Daten schließen die Wahrnehmungs-Handlungs-Lücke Das führt dazu, dass im Labor trainierte Roboter in realen Schichten versagen.
• Hochwertige egozentrische Daten sind multimodal – Video, Tiefe, Audio, Bewegung und Monitoring – auf die Millisekunde genau synchronisiert.
• Produktionsbereit bedeutet mehr als nur Annotation – es bedeutet Randfallabdeckung, reale Umgebungen, Sim-to-Actual-Bereitschaft und einen dokumentierten Compliance-Path.

Wie Shaip helfen kann

Wenn Ihr Crew die Section „Brauchen wir egozentrische Daten?“ hinter sich gelassen hat und sich mit der Frage „Wie bekommen wir sie eigentlich?“ befasst, ist Shaip genau das Richtige für Sie.

Wir betreiben die gesamte Datenpipeline hinter physischen KI-Programmen – First-Particular person-Erfassung in realen Umgebungen, VLA-Annotation, synthetische Daten, RLHF und Bewertungsbenchmarks im Rahmen eines Auftrags. Ein paar Besonderheiten:

• Aufnahmen aus der realen Welt, keine Laboraufnahmen. Am Kopf montierte Kameras, Datenbrillen und Wearables in Küchen, Lagerhäusern, Fabriken, Gesundheitseinrichtungen und Geschäften.
• Multisensor-Synchronisation. Video, IMU, LiDAR, Audio und Tiefe – auf die Millisekunde genau kalibriert und zeitlich ausgerichtet.
• Für das VLA-Coaching erstellte Anmerkung. Objekte, Aktionen, Hand-Objekt-Interaktionen, Absicht und räumlicher Kontext.
• Sim-to-Actual-Unterstützung. Synthetische Erzeugung und Real2Sim-Pipelines, die die Abdeckung erweitern, ohne die reale Erdung zu verlieren.
• Compliance vom ersten Tag an. ISO 27001, SOC 2 Typ II, HIPAA-bereit und DSGVO – mit Einwilligung-zuerst-Erhebung und revisionssicherer Datenherkunft.

Wenn dies die Richtung Ihres physischen KI-Programms widerspiegelt, würden wir gerne einen Pilotversuch planen.

Abschluss

Ein egozentrischer Datensatz ist nicht nur ein Ego-Video. Dabei handelt es sich um eine strukturierte Methode, Maschinen beizubringen, so zu sehen und zu handeln, wie Menschen es tun. Für Robotik- und verkörperte KI-Groups ist es der Unterschied zwischen einem Modell, das sich intestine demonstrieren lässt, und einem Modell, das ausgeliefert werden kann. Unabhängig davon, ob das Ziel Humanoide, Autonomie oder intelligente Fabriken sind, werden egozentrische Daten für die Robotik- und KI-Entwicklung zu einer Kernschicht jeder ernsthaften verkörperten KI-Datensatzstrategie – und nicht zu einer optionalen. Die Groups, die es richtig machen, sind diejenigen, die Daten – Sammlung, Annotation, Validierung und Compliance – als Kernbestandteil des Techniques und nicht als einen Schritt davor behandeln.

Bild vom Autor

# Einführung

Alle Tutorials zur Datenwissenschaft lassen das Erkennen von Ausreißern recht einfach erscheinen. Entfernen Sie alle Werte, die größer als drei Standardabweichungen sind. das ist alles. Aber sobald Sie mit einem tatsächlichen Datensatz arbeiten, bei dem die Verteilung verzerrt ist und ein Stakeholder fragt: „Warum haben Sie diesen Datenpunkt entfernt?“ Du merkst plötzlich, dass du keine gute Antwort hast.

Additionally führten wir ein Experiment durch. Wir haben fünf der am häufigsten verwendeten Methoden zur Erkennung von Ausreißern an einem realen Datensatz (6.497 portugiesische Weine) getestet, um herauszufinden: Liefern diese Methoden konsistente Ergebnisse?

Das haben sie nicht getan. Was wir aus der Meinungsverschiedenheit gelernt haben, erwies sich als wertvoller als alles, was wir aus einem Lehrbuch hätten lernen können.

Bild vom Autor

Wir haben diese Analyse als interaktives Strata-Notizbuch erstellt, ein Format, das Sie für Ihre eigenen Experimente verwenden können Datenprojekt auf StrataScratch. Sie können es anzeigen und ausführen Den vollständigen Code finden Sie hier.

# Einrichten

Unsere Daten stammen aus der Datensatz zur Weinqualitätöffentlich verfügbar über das Machine Studying Repository der UCI. Es enthält physikalisch-chemische Messungen von 6.497 portugiesischen „Vinho Verde“-Weinen (1.599 Rotweine, 4.898 Weißweine) sowie Qualitätsbewertungen von erfahrenen Verkostern.

Wir haben es aus mehreren Gründen ausgewählt. Es handelt sich um Produktionsdaten, nicht um etwas künstlich Generiertes. Die Verteilungen sind schief (6 von 11 Merkmalen haben eine Schiefe ( > 1 )), sodass die Daten nicht den Lehrbuchannahmen entsprechen. Und anhand der Qualitätsbewertungen können wir prüfen, ob die erkannten „Ausreißer“ häufiger bei Weinen mit ungewöhnlichen Bewertungen auftauchen.

Nachfolgend sind die fünf Methoden aufgeführt, die wir getestet haben:

# Die erste Überraschung entdecken: Überhöhte Ergebnisse aus mehreren Exams

Bevor wir Methoden vergleichen konnten, stießen wir an eine Wand. Bei 11 Merkmalen führte der naive Ansatz (Kennzeichnung einer Stichprobe auf der Grundlage eines Extremwerts in mindestens einem Merkmal) zu extrem überhöhten Ergebnissen.

IQR hat etwa 23 % der Weine als Ausreißer gekennzeichnet. Der Z-Rating ist um etwa 26 % gesunken.

Wenn quick jeder vierte Wein als Ausreißer gekennzeichnet wird, stimmt etwas nicht. Echte Datensätze weisen keine 25 % Ausreißer auf. Das Downside bestand darin, dass wir 11 Funktionen unabhängig voneinander getestet haben, was die Ergebnisse überhöht.

Die Rechnung ist einfach. Wenn jedes Merkmal eine Wahrscheinlichkeit von weniger als 5 % hat, einen „zufälligen“ Extremwert zu haben, dann gilt bei 11 unabhängigen Merkmalen:
( P(textual content{mindestens ein Extrem}) = 1 – (0,95)^{11} ungefähr 43% )

Im Klartext: Selbst wenn jedes Merkmal völlig regular ist, würden Sie erwarten, dass quick die Hälfte Ihrer Stichproben zufällig irgendwo mindestens einen Extremwert aufweist.

Um dies zu beheben, haben wir die Anforderung geändert: Markieren Sie ein Beispiel nur, wenn mindestens zwei Merkmale gleichzeitig extrem sind.

Durch die Änderung von min_features von 1 auf 2 wurde die Definition von „Jedes Merkmal der Stichprobe ist extrem“ in „Die Stichprobe ist über mehr als ein Merkmal extrem“ geändert.

Hier ist der Repair im Code:

# Depend excessive options per pattern
outlier_counts = (np.abs(z_scores) > 3.5).sum(axis=1)
outliers = outlier_counts >= 2

# Vergleich von 5 Methoden anhand eines Datensatzes

Nachdem die Lösung für mehrere Exams installiert battle, haben wir gezählt, wie viele Proben jede Methode gemeldet hat:

So richten wir die ML-Methoden ein:

from sklearn.ensemble import IsolationForest
from sklearn.neighbors import LocalOutlierFactor
 
iforest = IsolationForest(contamination=0.05, random_state=42)
lof = LocalOutlierFactor(n_neighbors=20, contamination=0.05)

Warum zeigen die ML-Methoden alle genau 5 % an? Aufgrund des Kontaminationsparameters. Sie müssen genau diesen Prozentsatz angeben. Es handelt sich um eine Quote, nicht um einen Schwellenwert. Mit anderen Worten: Isolation Forest meldet 5 %, unabhängig davon, ob Ihre Daten 1 % echte Ausreißer oder 20 % enthalten.

# Den wahren Unterschied entdecken: Sie identifizieren verschiedene Dinge

Das hat uns am meisten überrascht. Als wir untersuchten, inwieweit die Methoden übereinstimmten, ergab sich das Jaccard-Ähnlichkeit lag zwischen 0,10 und 0,30. Das ist eine schlechte Übereinstimmung.

Von 6.497 Weinen:

• Nur 32 Proben (0,5 %) wurden von allen vier Primärmethoden markiert
• 143 Proben (2,2 %) wurden durch mehr als 3 Methoden gekennzeichnet
• Die verbleibenden „Ausreißer“ wurden nur durch eine oder zwei Methoden gekennzeichnet

Man könnte meinen, dass es sich um einen Fehler handelt, aber genau darum geht es. Jede Methode hat ihre eigene Definition von „ungewöhnlich“:

Wenn ein Wein einen deutlich über dem Durchschnitt liegenden Restzuckergehalt aufweist, handelt es sich um einen univariaten Ausreißer (Z-Rating/IQR erkennt ihn). Aber wenn er von anderen Weinen mit ähnlichem Zuckergehalt umgeben ist, wird LOF ihn nicht kennzeichnen. Im lokalen Kontext ist das regular.

Die eigentliche Frage lautet additionally nicht: „Welche Methode ist die beste?“ Es ist „Was für ein Ungewöhnliches suche ich?“

# Überprüfung der Vernunft: Korrelieren Ausreißer mit der Weinqualität?

Der Datensatz enthält Expertenbewertungen zur Qualität (3–9). Wir wollten wissen: Treten erkannte Ausreißer häufiger bei Weinen mit extremen Qualitätsbewertungen auf?

Weine von extremer Qualität waren im Konsens doppelt so häufig Ausreißer. Das ist eine gute Überprüfung der geistigen Gesundheit. In einigen Fällen ist der Zusammenhang klar: Ein Wein mit viel zu viel flüchtiger Säure schmeckt nach Essig, wird schlecht bewertet und als Ausreißer abgestempelt. Die Chemie bestimmt beide Ergebnisse. Wir können jedoch nicht davon ausgehen, dass dies jeden Fall erklärt. Möglicherweise gibt es Muster, die wir nicht erkennen, oder verwirrende Faktoren, die wir nicht berücksichtigt haben.

# Drei Entscheidungen treffen, die unsere Ergebnisse geprägt haben

// 1. Verwendung eines robusten Z-Scores anstelle eines Commonplace-Z-Scores

Ein Commonplace-Z-Rating verwendet den Mittelwert und die Standardabweichung der Daten, die beide von den in unserem Datensatz vorhandenen Ausreißern beeinflusst werden. Ein robuster Z-Rating verwendet stattdessen den Median und die mittlere absolute Abweichung (Median Absolute Deviation, MAD), die nicht von Ausreißern beeinflusst werden.

Infolgedessen identifizierte der Commonplace-Z-Rating 0,8 % der Daten als Ausreißer, während der Sturdy-Z-Rating 3,5 % identifizierte.

# Sturdy Z-Rating utilizing median and MAD
median = np.median(information, axis=0)
mad = np.median(np.abs(information - median), axis=0)
robust_z = 0.6745 * (information - median) / mad

// 2. Rot- und Weißweine getrennt skalieren

Rot- und Weißweine haben unterschiedliche Grundwerte an Chemikalien. Wenn beispielsweise Rot- und Weißweine in einem einzigen Datensatz kombiniert werden, kann ein Rotwein, der im Vergleich zu anderen Rotweinen eine völlig durchschnittliche Chemie aufweist, allein aufgrund seines Schwefelgehalts im Vergleich zum kombinierten Mittelwert von Rot- und Weißweinen als Ausreißer identifiziert werden. Daher haben wir jeden Weintyp separat anhand des Medians und des Interquartilbereichs (IQR) jedes Weintyps skaliert und dann beide kombiniert.

# Scale every wine sort individually
from sklearn.preprocessing import RobustScaler
scaled_parts = ()
for wine_type in ('pink', 'white'):
    subset = df(df('sort') == wine_type)(options)
    scaled_parts.append(RobustScaler().fit_transform(subset))

// 3. Wissen, wann eine Methode ausgeschlossen werden sollte

Bei Elliptic Envelope wird davon ausgegangen, dass Ihre Daten einer multivariaten Normalverteilung folgen. Bei uns battle das nicht der Fall. Sechs von elf Options hatten eine Schiefe über 1 und ein Characteristic erreichte 5,4. Der Vollständigkeit halber haben wir den Elliptischen Umschlag im Vergleich beibehalten, ihn jedoch bei der Konsensabstimmung nicht berücksichtigt.

# Bestimmen, welche Methode für diesen Weindatensatz am besten geeignet ist

Bild vom Autor

Können wir angesichts der Merkmale unserer Daten (starke Schiefe, gemischte Grundgesamtheit, keine bekannte Grundwahrheit) einen „Gewinner“ auswählen?

Robuster Z-Rating, IQR, Isolation Forest und LOF verarbeiten alle verzerrte Daten einigermaßen intestine. Wenn wir gezwungen wären, uns für eines zu entscheiden, würden wir uns für Isolation Forest entscheiden: keine Verteilungsannahmen, berücksichtigt alle Merkmale auf einmal und geht elegant mit gemischten Populationen um.

Aber keine einzelne Methode kann alles:

• Isolation Forest kann Ausreißer übersehen, die nur bei einem Merkmal extrem sind (Z-Rating/IQR fängt diese ab)
• Z-Rating/IQR kann Ausreißer übersehen, die bei mehreren Merkmalen ungewöhnlich sind (mehrdimensionale Ausreißer).

Der bessere Ansatz: mehrere Methoden nutzen und dem Konsens vertrauen. Die 143 Weine, die durch drei oder mehr Methoden gekennzeichnet wurden, sind weitaus zuverlässiger als alle Weine, die nur durch eine einzelne Methode gekennzeichnet wurden.

So haben wir den Konsens berechnet:

# Depend what number of strategies flagged every pattern
consensus = zscore_out + iqr_out + iforest_out + lof_out
high_confidence = df(consensus >= 3)  # Recognized by 3+ strategies

Ohne Grundwahrheit (wie in den meisten realen Projekten) ist die Methodenübereinstimmung das beste Maß für die Zuverlässigkeit.

# Verstehen Sie, was das alles für Ihre eigenen Projekte bedeutet

Definieren Sie Ihr Downside, bevor Sie Ihre Methode auswählen. Was für ein „Ungewöhnliches“ suchen Sie eigentlich? Dateneingabefehler sehen anders aus als Messanomalien, und beide sehen anders aus als wirklich seltene Fälle. Die Artwork des Issues weist auf unterschiedliche Methoden hin.

Überprüfen Sie Ihre Annahmen. Wenn Ihre Daten stark verzerrt sind, führen Sie der Commonplace-Z-Rating und der Elliptische Umschlag in die Irre. Schauen Sie sich Ihre Verteilungen an, bevor Sie sich auf eine Methode festlegen.

Verwenden Sie mehrere Methoden. Proben, die von drei oder mehr Methoden mit unterschiedlichen Definitionen von „Ausreißer“ gekennzeichnet wurden, sind vertrauenswürdiger als Proben, die nur von einer Methode gekennzeichnet wurden.

Gehen Sie nicht davon aus, dass alle Ausreißer entfernt werden sollten. Ein Ausreißer könnte ein Fehler sein. Es könnte auch Ihr interessantester Datenpunkt sein. Den Ausschlag gibt Domänenwissen, nicht Algorithmen.

# Abschließende Bemerkungen

Der Punkt hier ist nicht, dass die Ausreißererkennung fehlerhaft ist. Es ist so, dass „Ausreißer“ unterschiedliche Bedeutungen hat, je nachdem, wer fragt. Z-Rating und IQR fangen Werte ab, die in einer einzelnen Dimension extrem sind. Isolation Forest und LOF finden Proben, die in ihrem Gesamtmuster hervorstechen. Elliptischer Umschlag funktioniert intestine, wenn Ihre Daten tatsächlich Gaußsche Daten sind (unsere waren das nicht).

Finden Sie heraus, wonach Sie wirklich suchen, bevor Sie sich für eine Methode entscheiden. Und wenn Sie sich nicht sicher sind? Führen Sie mehrere Methoden aus und folgen Sie dem Konsens.

# FAQs

// 1. Bestimmen, mit welcher Technik ich beginnen sollte

Ein guter Ausgangspunkt ist die Isolation Forest-Technik. Es geht nicht davon aus, wie Ihre Daten verteilt sind, und nutzt alle Ihre Funktionen gleichzeitig. Wenn Sie jedoch Extremwerte für eine bestimmte Messung identifizieren möchten (z. B. sehr hohe Blutdruckwerte), sind Z-Rating oder IQR möglicherweise besser dafür geeignet.

// 2. Auswahl einer Kontaminationsrate für Scikit-Be taught-Methoden

Es hängt von dem Downside ab, das Sie lösen möchten. Ein häufig verwendeter Wert ist 5 % (oder 0,05). Bedenken Sie jedoch, dass es sich bei der Kontamination um eine Quote handelt. Das bedeutet, dass 5 % Ihrer Stichproben als Ausreißer klassifiziert werden, unabhängig davon, ob Ihre Daten tatsächlich 1 % oder 20 % echte Ausreißer enthalten. Verwenden Sie eine Kontaminationsrate, die auf Ihrem Wissen über den Anteil der Ausreißer in Ihren Daten basiert.

// 3. Entfernen von Ausreißern vor der Aufteilung von Trainings-/Testdaten

Nein. Sie sollten ein Ausreißererkennungsmodell an Ihren Trainingsdatensatz anpassen und das trainierte Modell dann auf Ihren Testdatensatz anwenden. Andernfalls beeinflussen Ihre Testdaten Ihre Vorverarbeitung, was zu Lecks führt.

// 4. Umgang mit kategorialen Merkmalen

Die hier behandelten Techniken arbeiten mit numerischen Daten. Es gibt drei mögliche Alternativen für kategoriale Merkmale:

• kodieren Sie Ihre kategorialen Variablen und fahren Sie fort;
• Verwenden Sie eine Technik, die für gemischte Datentypen entwickelt wurde (z. B. HBOS).
• Führen Sie die Ausreißererkennung für numerische Spalten separat durch und verwenden Sie häufigkeitsbasierte Methoden für kategoriale Spalten.

// 5. Wissen, ob ein markierter Ausreißer ein Fehler oder einfach nur ungewöhnlich ist

Sie können anhand des Algorithmus allein nicht bestimmen, wann ein identifizierter Ausreißer einen Fehler darstellt und wann er einfach ungewöhnlich ist. Es markiert, was ungewöhnlich ist, nicht, was falsch ist. Beispielsweise könnte ein Wein mit einem extrem hohen Restzuckergehalt ein Dateneingabefehler sein, oder es könnte sich um einen Dessertwein handeln, der so süß sein soll. Letztlich kann nur Ihre Fachkompetenz eine Antwort liefern. Wenn Sie sich nicht sicher sind, markieren Sie es zur Überprüfung, anstatt es automatisch zu entfernen.

Nate Rosidi ist Datenwissenschaftler und in der Produktstrategie tätig. Er ist außerdem außerordentlicher Professor für Analytik und Gründer von StrataScratch, einer Plattform, die Datenwissenschaftlern hilft, sich mit echten Interviewfragen von Prime-Unternehmen auf ihre Interviews vorzubereiten. Nate schreibt über die neuesten Traits auf dem Karrieremarkt, gibt Ratschläge zu Vorstellungsgesprächen, stellt Information-Science-Projekte vor und behandelt alles rund um SQL.

Bild vom Autor

# Einführung in das Experiment

Die Optimierung von Hyperparametern wird oft als Wundermittel für maschinelles Lernen angepriesen. Das Versprechen ist einfach: Passen Sie ein paar Stunden lang einige Parameter an, führen Sie eine Rastersuche durch und beobachten Sie, wie die Leistung Ihres Modells steigt.

Aber funktioniert es tatsächlich in der Praxis?

Bild vom Autor

Wir haben diese Prämisse anhand von Leistungsdaten portugiesischer Schüler mithilfe von vier verschiedenen Klassifikatoren und einer strengen statistischen Validierung getestet. Unser Ansatz nutzte verschachtelte Kreuzvalidierung (CV), robuste Vorverarbeitungs-Pipelines und statistische Signifikanztests – und das alles.

Das Ergebnis? Die Leistung sank um 0,0005. Das ist richtig – durch das Tuning wurden die Ergebnisse tatsächlich etwas schlechter, obwohl der Unterschied statistisch nicht signifikant conflict.

Dies ist jedoch keine Misserfolgsgeschichte. Es ist etwas Wertvolleres: ein Beweis dafür, dass Standardeinstellungen in vielen Fällen bemerkenswert intestine funktionieren. Manchmal ist es am besten zu wissen, wann man mit dem Tuning aufhört und sich auf andere Dinge konzentriert.

Möchten Sie das vollständige Experiment sehen? Schauen Sie sich das an Komplettes Jupyter-Pocket book mit sämtlichem Code und Analysen.

# Einrichten des Datensatzes

Bild vom Autor

Wir haben den Datensatz von verwendet StrataScratch’s Projekt „Studierende Leistungsanalyse“. Es enthält Aufzeichnungen für 649 Schüler mit 30 Merkmalen zu Demografie, familiärem Hintergrund, sozialen Faktoren und schulbezogenen Informationen. Das Ziel bestand darin, vorherzusagen, ob die Schüler ihre Abschlussnote in Portugiesisch bestehen (eine Punktzahl von ≥ 10).

Eine entscheidende Entscheidung bei diesem Aufbau conflict der Ausschluss der Klassen G1 und G2. Dabei handelt es sich um Noten der ersten und zweiten Unterrichtsstunde, die 0,83–0,92 mit der Abschlussnote G3 korrelieren. Ihre Einbeziehung macht die Vorhersage trivial einfach und macht den Zweck des Experiments zunichte. Wir wollten herausfinden, was den Erfolg über die vorherige Leistung im selben Kurs hinaus vorhersagt.

Wir haben das genutzt Pandas Bibliothek zum Laden und Vorbereiten der Daten:

# Load and put together knowledge
df = pd.read_csv('student-por.csv', sep=';')

# Create go/fail goal (grade >= 10)
PASS_THRESHOLD = 10
y = (df('G3') >= PASS_THRESHOLD).astype(int)

# Exclude G1, G2, G3 to stop knowledge leakage
features_to_exclude = ('G1', 'G2', 'G3')
X = df.drop(columns=features_to_exclude)

Die Klassenverteilung ergab, dass 100 Schüler durchfielen (15,4 %), während 549 bestanden (84,6 %). Da die Daten unausgeglichen sind, haben wir die Optimierung eher auf den F1-Rating als auf einfache Genauigkeit ausgerichtet.

# Bewertung der Klassifikatoren

Wir haben vier Klassifikatoren ausgewählt, die unterschiedliche Lernansätze repräsentieren:

Bild vom Autor

Jedes Modell wurde zunächst mit Standardparametern betrieben, gefolgt von einer Optimierung per Rastersuche mit 5-fachem CV.

# Etablierung einer robusten Methodik

Viele Tutorials zum maschinellen Lernen zeigen beeindruckende Optimierungsergebnisse, da sie wichtige Validierungsschritte überspringen. Wir haben einen hohen Commonplace eingehalten, um sicherzustellen, dass unsere Ergebnisse zuverlässig sind.

Unsere Methodik umfasste:

• Kein Datenverlust: Die gesamte Vorverarbeitung wurde innerhalb von Pipelines durchgeführt und passte nur auf Trainingsdaten
• Verschachtelte Kreuzvalidierung: Wir haben eine innere Schleife zur Optimierung der Hyperparameter und eine äußere Schleife zur endgültigen Auswertung verwendet
• Angemessene Zug-/Testaufteilung: Wir haben eine 80/20-Aufteilung mit Schichtung verwendet und den Testsatz bis zum Ende getrennt gehalten (d. h. kein „Peeking“).
• Statistische Validierung: Wir haben uns beworben McNemars Check um zu überprüfen, ob die Leistungsunterschiede statistisch signifikant waren
• Metrikauswahl: Wir haben dem F1-Rating für unausgeglichene Klassen Vorrang vor der Genauigkeit gegeben

Bild vom Autor

Die Pipelinestruktur conflict wie folgt:

# Preprocessing pipeline - match solely on coaching folds
numeric_transformer = Pipeline((
    ('imputer', SimpleImputer(technique='median')),
    ('scaler', StandardScaler())
))

categorical_transformer = Pipeline((
    ('imputer', SimpleImputer(technique='most_frequent')),
    ('onehot', OneHotEncoder(handle_unknown='ignore'))
))

# Mix transformers
from sklearn.compose import ColumnTransformer
preprocessor = ColumnTransformer(transformers=(
    ('num', numeric_transformer, X.select_dtypes(embrace=('int64', 'float64')).columns),
    ('cat', categorical_transformer, X.select_dtypes(embrace=('object')).columns)
))

# Full pipeline with mannequin
pipeline = Pipeline((
    ('preprocessor', preprocessor),
    ('classifier', mannequin)
))

# Analyse der Ergebnisse

Nach Abschluss des Tuning-Prozesses waren die Ergebnisse überraschend:

Die durchschnittliche Verbesserung über alle Modelle hinweg betrug -0,0005.

Drei Modelle schnitten nach dem Tuning tatsächlich etwas schlechter ab. XGBoost zeigte eine Verbesserung von etwa 1 %, was vielversprechend erschien, bis wir statistische Checks anwendeten. Bei der Auswertung mit dem Maintain-out-Testsatz zeigte keines der Modelle statistisch signifikante Unterschiede.

Wir sind gerannt McNemars Check Vergleich der beiden leistungsstärksten Modelle (Random Forest versus XGBoost). Der p-Wert betrug 1,0, was keinen signifikanten Unterschied zwischen der Standardversion und der optimierten Model bedeutet.

# Erklären, warum die Optimierung fehlgeschlagen ist

Bild vom Autor

Mehrere Faktoren erklären diese Ergebnisse:

• Starke Ausfälle. scikit-lernen und XGBoost werden mit hochoptimierten Standardparametern ausgeliefert. Bibliotheksverwalter haben diese Werte im Laufe der Jahre verfeinert, um sicherzustellen, dass sie in einer Vielzahl von Datensätzen effektiv funktionieren.
• Begrenztes Sign. Nach dem Entfernen der G1- und G2-Bewertungen (die zu Datenlecks geführt hätten) hatten die verbleibenden Funktionen eine geringere Vorhersagekraft. Es conflict einfach nicht mehr genug Sign vorhanden, um die Hyperparameteroptimierung auszunutzen.
• Kleine Datensatzgröße. Da nur 649 Proben in Trainingsfalten aufgeteilt waren, lagen für die Rastersuche nicht genügend Daten vor, um wirklich aussagekräftige Muster zu identifizieren. Die Rastersuche erfordert umfangreiche Daten, um zuverlässig zwischen verschiedenen Parametersätzen unterscheiden zu können.
• Leistungsobergrenze. Die meisten Basismodelle erzielten bereits Werte zwischen 92 und 93 % F1. Der Spielraum für Verbesserungen ist natürlich begrenzt, ohne bessere Funktionen oder mehr Daten einzuführen.
• Strenge Methodik. Wenn Sie Datenlecks beseitigen und verschachtelte CVs verwenden, verschwinden die überhöhten Verbesserungen, die häufig bei unsachgemäßer Validierung auftreten.

# Aus den Ergebnissen lernen

Bild vom Autor

Dieses Experiment bietet jedem Praktiker mehrere wertvolle Lektionen:

• Methodik ist wichtiger als Metriken. Das Beheben von Datenlecks und die Verwendung einer ordnungsgemäßen Validierung verändern das Ergebnis eines Experiments. Die beeindruckenden Ergebnisse, die durch eine unsachgemäße Validierung erzielt werden, verschwinden, wenn der Prozess korrekt gehandhabt wird.
• Eine statistische Validierung ist unerlässlich. Ohne den Check von McNemar hätten wir XGBoost möglicherweise fälschlicherweise basierend auf einer nominellen Verbesserung von 1 % eingesetzt. Der Check ergab, dass es sich lediglich um Lärm handelte.
• Adverse Ergebnisse haben einen immensen Wert. Nicht jedes Experiment muss eine huge Verbesserung zeigen. Zu wissen, wann eine Optimierung nicht hilft, spart Zeit bei zukünftigen Projekten und ist ein Zeichen für einen ausgereiften Arbeitsablauf.
• Commonplace-Hyperparameter werden unterschätzt. Für Standarddatensätze sind häufig Standardwerte ausreichend. Gehen Sie nicht davon aus, dass Sie jeden Parameter von Anfang an anpassen müssen.

# Zusammenfassung der Ergebnisse

Wir haben versucht, die Modellleistung durch umfassende Optimierung der Hyperparameter zu steigern, indem wir die Greatest Practices der Branche befolgten und statistische Validierung auf vier verschiedene Modelle anwendeten.

Das Ergebnis: keine statistisch signifikante Verbesserung.

Bild vom Autor

Das ist *kein* Fehler. Stattdessen stellt es ehrliche Ergebnisse dar, die es Ihnen ermöglichen, in der realen Projektarbeit bessere Entscheidungen zu treffen. Es sagt Ihnen, wann Sie mit der Optimierung der Hyperparameter aufhören und wann Sie sich auf andere kritische Aspekte wie Datenqualität, Function-Engineering oder das Sammeln zusätzlicher Stichproben konzentrieren müssen.

Beim maschinellen Lernen geht es nicht darum, auf irgendeine Weise die höchstmögliche Zahl zu erreichen; Es geht darum, Modelle zu bauen, denen Sie vertrauen können. Dieses Vertrauen beruht auf dem methodischen Prozess, der zur Erstellung des Modells verwendet wurde, und nicht auf der Jagd nach geringfügigen Gewinnen. Die schwierigste Fähigkeit beim maschinellen Lernen besteht darin, zu wissen, wann man aufhören muss.

Bild vom Autor

Nate Rosidi ist Datenwissenschaftler und in der Produktstrategie tätig. Er ist außerdem außerordentlicher Professor für Analytik und Gründer von StrataScratch, einer Plattform, die Datenwissenschaftlern hilft, sich mit echten Interviewfragen von Prime-Unternehmen auf ihre Interviews vorzubereiten. Nate schreibt über die neuesten Traits auf dem Karrieremarkt, gibt Ratschläge zu Vorstellungsgesprächen, stellt Information-Science-Projekte vor und behandelt alles rund um SQL.

Bild vom Herausgeber

# Einführung

Ich freue mich darauf, Ihr erstes, überschaubares maschinelles Lernprojekt mit den beliebten Python-Bibliotheken zu starten Pandas Und Scikit-lernenaber Sie wissen nicht, wo Sie anfangen sollen? Suchen Sie nicht weiter.

In diesem Artikel werde ich Sie durch ein sanftes, einsteigerfreundliches Projekt zum maschinellen Lernen führen, in dem wir gemeinsam ein Regressionsmodell erstellen, das das Mitarbeitereinkommen auf der Grundlage sozioökonomischer Merkmale vorhersagt. Unterwegs lernen wir einige wichtige Konzepte und wichtige Methods des maschinellen Lernens kennen.

# Vom Rohdatensatz zum sauberen DataFrame

Zunächst empfiehlt es sich, wie bei jedem Python-basierten Projekt, zunächst die erforderlichen Bibliotheken, Module und Komponenten zu importieren, die wir während des gesamten Prozesses verwenden werden:

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_absolute_error
import joblib

Mit den folgenden Anweisungen wird ein öffentlich verfügbarer Datensatz geladen dieses Repository in einen Panda DataFrame Objekt: eine übersichtliche Datenstruktur zum Laden, Analysieren und Verwalten vollständig strukturierter Daten, d. h. Daten im Tabellenformat. Nach dem Laden betrachten wir seine grundlegenden Eigenschaften und Datentypen in seinen Attributen.

url = "https://uncooked.githubusercontent.com/gakudo-ai/open-datasets/important/employees_dataset_with_missing.csv"
df = pd.read_csv(url)
print(df.head())
print(df.data())

Sie werden feststellen, dass der Datensatz 1.000 Einträge oder Instanzen enthält – additionally Daten, die 1.000 Mitarbeiter beschreiben –, aber für die meisten Attribute wie Alter, Einkommen usw. gibt es weniger als 1.000 tatsächliche Werte. Warum? Weil In diesem Datensatz fehlen Werteein häufiges Drawback bei realen Daten, das behoben werden muss.

In unserem Projekt setzen wir uns zum Ziel, das Einkommen eines Mitarbeiters anhand der übrigen Merkmale vorherzusagen. Daher werden wir den Ansatz verfolgen, Zeilen (Mitarbeiter) zu verwerfen, deren Wert für dieses Attribut fehlt. Während es bei Prädiktorattributen manchmal in Ordnung ist, mit fehlenden Werten umzugehen und sie zu schätzen oder zu imputieren, benötigen wir für die Zielvariable vollständig bekannte Bezeichnungen zum Trainieren unseres maschinellen Lernmodells: Der Haken daran ist, dass unser maschinelles Lernmodell lernt, indem es Beispielen mit bekannten Vorhersageausgaben ausgesetzt wird.

Es gibt auch eine spezielle Anweisung, nur nach fehlenden Werten zu suchen:

Additionally, lasst uns unsere reinigen DataFrame um von fehlenden Werten für die Zielvariable Einkommen ausgenommen zu sein. Dieser Code entfernt Einträge mit fehlenden Werten, insbesondere für dieses Attribut.

goal = "earnings"
train_df = df.dropna(subset=(goal))

X = train_df.drop(columns=(goal))
y = train_df(goal)

Wie wäre es additionally mit den fehlenden Werten in den restlichen Attributen? Wir werden uns in Kürze darum kümmern, aber zuerst müssen wir unseren Datensatz in zwei große Teilmengen aufteilen: einen Trainingssatz zum Trainieren des Modells und einen Testsatz zur Bewertung der Leistung unseres Modells nach dem Coaching, bestehend aus Beispielen, die sich von denen unterscheiden, die das Modell während des Trainings gesehen hat. Scikit-learn bietet eine einzelne Anweisung, um diese Aufteilung nach dem Zufallsprinzip durchzuführen:

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

Der nächste Schritt geht noch einen Schritt weiter, um die Daten in eine großartige Kind für das Coaching eines Modells für maschinelles Lernen umzuwandeln: den Aufbau einer Vorverarbeitungspipeline. Normalerweise sollte diese Vorverarbeitung zwischen numerischen und kategorialen Merkmalen unterscheiden, sodass jeder Merkmalstyp unterschiedlichen Vorverarbeitungsaufgaben entlang der Pipeline unterliegt. Beispielsweise sollen numerische Merkmale typischerweise skaliert werden, während kategoriale Merkmale in numerische Merkmale abgebildet oder kodiert werden können, damit das Modell des maschinellen Lernens sie verarbeiten kann. Zur Veranschaulichung zeigt der folgende Code den gesamten Prozess des Aufbaus einer Vorverarbeitungspipeline. Es umfasst die automatische Identifizierung numerischer und kategorialer Merkmale, sodass jeder Typ korrekt verarbeitet werden kann.

numeric_features = X.select_dtypes(embody=("int64", "float64")).columns
categorical_features = X.select_dtypes(exclude=("int64", "float64")).columns

numeric_transformer = Pipeline((
    ("imputer", SimpleImputer(technique="median"))
))

categorical_transformer = Pipeline((
    ("imputer", SimpleImputer(technique="most_frequent")),
    ("onehot", OneHotEncoder(handle_unknown="ignore"))
))

preprocessor = ColumnTransformer((
    ("num", numeric_transformer, numeric_features),
    ("cat", categorical_transformer, categorical_features)
))

Weitere Informationen zu Datenvorverarbeitungspipelines finden Sie unter dieser Artikel.

Diese Pipeline wurde einmal auf die angewendet DataFrameführt zu einer sauberen, gebrauchsfertigen Model für maschinelles Lernen. Wir werden es jedoch im nächsten Schritt anwenden, indem wir sowohl die Datenvorverarbeitung als auch das Modelltraining für maschinelles Lernen in einer einzigen übergreifenden Pipeline zusammenfassen.

# Vom sauberen DataFrame zum einsatzbereiten Modell

Jetzt definieren wir eine übergreifende Pipeline, die:

1. Wendet den zuvor definierten Vorverarbeitungsprozess an – gespeichert im preprocessor Variable – sowohl für numerische als auch für kategoriale Attribute.
2. Trainiert ein Regressionsmodell, nämlich eine zufällige Waldregression, um das Einkommen anhand vorverarbeiteter Trainingsdaten vorherzusagen.

mannequin = Pipeline((
    ("preprocessor", preprocessor),
    ("regressor", RandomForestRegressor(random_state=42))
))

mannequin.match(X_train, y_train)

Wichtig ist, dass die Trainingsphase nur die Trainingsteilmenge erhält, die wir zuvor bei der Aufteilung erstellt haben, nicht den gesamten Datensatz.

Jetzt nehmen wir die andere Teilmenge der Daten, den Testsatz, und bewerten damit die Leistung des Modells an diesen Beispielmitarbeitern. Wir verwenden den mittleren absoluten Fehler (MAE) als unsere Bewertungsmetrik:

preds = mannequin.predict(X_test)
mae = mean_absolute_error(y_test, preds)
print(f"nModel MAE: {mae:.2f}")

Möglicherweise erhalten Sie einen MAE-Wert von etwa 13.000, was akzeptabel, aber nicht brillant ist, wenn man bedenkt, dass die meisten Einkommen im Bereich von 60.000 bis 90.000 liegen. Auf jeden Fall nicht schlecht für ein erstes Modell für maschinelles Lernen!

Abschließend möchte ich Ihnen zeigen, wie Sie Ihr trainiertes Modell für die zukünftige Bereitstellung in einer Datei speichern.

joblib.dump(mannequin, "employee_income_model.joblib")
print("Mannequin saved as employee_income_model.joblib")

Speichern Sie Ihr trainiertes Modell in einem .joblib Die Datei ist für zukünftige Bereitstellungen nützlich, da Sie sie sofort neu laden und wiederverwenden können, ohne sie erneut von Grund auf trainieren zu müssen. Stellen Sie sich das so vor, als würden Sie Ihre gesamte Vorverarbeitungspipeline und das trainierte Modell in einem tragbaren Objekt „einfrieren“. Zu den schnellen Optionen für die zukünftige Verwendung und Bereitstellung gehören das Einbinden in ein einfaches Python-Skript oder -Pocket book oder die Erstellung einer schlanken Net-App, die mit Instruments wie erstellt wurde Streamlit, Gradiooder Flasche.

# Zusammenfassung

In diesem Artikel haben wir ein einführendes Modell für maschinelles Lernen für die Regression zusammengestellt, insbesondere zur Vorhersage des Mitarbeitereinkommens, und die notwendigen Schritte vom Rohdatensatz bis zum sauberen, vorverarbeiteten Datensatz skizziert DataFrameund von DataFrame zum einsatzbereiten Modell.

Iván Palomares Carrascosa ist ein führender Autor, Redner und Berater in den Bereichen KI, maschinelles Lernen, Deep Studying und LLMs. Er schult und leitet andere darin, KI in der realen Welt zu nutzen.