Device, das auf Codierungsagenten wie Claude Code basiert. Es ermöglicht Ihnen, einen Codierungsagenten rund um die Uhr laufen zu lassen, der proaktiv und reaktiv an der Lösung von Aufgaben arbeitet. Ich habe bereits mehrere OpenClaw-Instanzen eingerichtet und durch die aktive Nutzung einiges gelernt. Ich habe es auch viel mit Kollegen besprochen, die täglich mit OpenClaw-Agenten arbeiten, und in diesem Artikel werde ich einige der Tipps und Tips teilen, die ich gelernt habe, wie ich OpenClaw optimum nutzen kann, und einige Fehler, die ich gemacht habe, und Ihnen sagen, wie Sie sie vermeiden können.

Warum OpenClaw einrichten?

Der Hauptgrund, warum Sie OpenClaw einrichten sollten, besteht darin, dass Sie dadurch als Ingenieur effektiver arbeiten können. Während Sie bisher alles in Claude Code ausführen und jederzeit auf Ihrem Pc arbeiten mussten, kann OpenClaude von einem separaten Pc aus ausgeführt und von überall über Anwendungen wie Telegram oder Slack aufgerufen werden. Dies macht die Interaktion mit einem Codierungsagenten wie Claude Code unglaublich einfach und Sie können von überall aus damit interagieren.

Darüber hinaus können Sie ganz einfach Cron-Jobs und -Abilities einrichten, die den Agenten dazu veranlassen, in bestimmten Abständen Code auszuführen und dies immer zu tun. Und es kann über Fähigkeiten verfügen, die es bei Bedarf auflädt, um bestimmte Aufgaben besser ausführen zu können.

Alles in allem macht OpenClaw Ihre Programmieragenten einfach zu einem besseren Assistenten. Es macht es verfügbarer und besser in der Lage, Aufgaben auszuführen.

Fehler 1: Läuft nicht in Docker

Der erste Fehler, den ich gemacht habe, conflict, OpenClaw nicht in Docker-Containern auszuführen. Es gibt viele Gründe, warum Sie OpenClaw-Agenten in Docker-Containern ausführen sollten, und ich werde hier einige davon auflisten.

• Es ist sicherer. Ihr Agent kann nicht auf alles auf Ihrem Pc zugreifen. Es kann nur auf das zugreifen, was im Docker-Picture verfügbar ist.
• Es ist ganz einfach, Sicherheitskopien Ihres Agenten zu erstellen und diese überall hin zu verschieben, da Sie einfach ein Docker-Picture herunterladen und es woanders verwenden können. Dies funktioniert, weil ein Docker-Picture ein völlig separater Container ist, der völlig eigenständig ausgeführt werden kann.
• Wenn Sie mehrere Agenten auf demselben Pc ausführen, werden diese besser voneinander getrennt, sodass es keine Überschneidungen zwischen Ihren Agenten gibt.

Insgesamt gibt es keinen wirklichen Grund, Docker nicht zu verwenden. Es ist auch tremendous einfach, die Ausführung von OpenClaw in Docker einzurichten, da Sie einfach Ihren Programmieragenten bitten können, alles für Sie einzurichten. In Wirklichkeit müssen Sie nichts selbst tun und die Codierungsagenten sind äußerst kompetent darin, das Docker-System für Sie einzurichten. Als ich das selbst gemacht habe, musste ich im Grunde nichts tun, außer das Modell aufzufordern, OpenClaw in Docker einzurichten, und es hat es ohne Probleme implementiert.

Fehler 2: Agenten nicht richtig schulen

Fehler Nummer zwei besteht darin, Ihrem Agenten nicht die richtige Schulung und Einrichtungshilfe zu geben, die er für eine gute Leistung benötigt. Als ich meinen ersten Agenten eingerichtet habe, habe ich maximal zehn Minuten damit verbracht, ihm zu erklären, was er tun soll, ihm die nötigen Berechtigungen erteilt und gehofft, dass das ausreichen würde.

Es stellte sich heraus, dass Sie das überhaupt nicht so machen. Am Ende conflict mein Agent nicht wirklich in der Lage, die Aufgaben zu erledigen, die er eigentlich erledigen sollte, weil er keine spezielle Schulung für die Ausführung dieser Aufgaben erhalten hatte. Ich habe beispielsweise meinem Agenten Zugriff auf AWS gewährt, ohne ihm zu sagen, wie er auf AWS zugreifen, wie er es verwenden, wie er mit Menschen über Slack interagieren soll usw.

Was speziell für mich passierte, conflict, dass der Agent anfing, mit Leuten auf Slack in Nachrichten zu interagieren, auf die er nicht hätte antworten sollen. Und als es speziell markiert wurde, wusste es nicht genau, was in solchen Situationen zu tun conflict.

Um dieses Downside zu lösen, müssen Sie Ihrem Agenten eine hochspezifische Schulung geben und ihm sagen, was er tun soll, was er nicht tun soll und wie er die Aufgaben erledigen soll, die Sie von ihm verlangen.

Wenn Sie ihm beispielsweise AWS-Zugriff gewähren und ihn über Slack mit Menschen interagieren lassen, sollten Sie Folgendes tun:

• Erklären Sie ihm die AWS-Dokumente, damit er genau weiß, wie er sie verwendet, und keine falschen API- oder SDK-Aufrufe durchführt.
• Erklären Sie dem Agenten, auf welche Nachrichten er antworten soll und auf welche nicht, welche im Grunde related sind.
• Erklären Sie ihm die verschiedenen Fragen, die die Leute stellen könnten, und wie es bei der Beantwortung dieser Fragen vorgehen sollte. Wenn jemand beispielsweise nach einem bestimmten Kunden fragt, sollte es diesen Kunden in der Kundentabelle nachschlagen, sich die verschiedenen Instanzen ansehen, die für diesen Kunden related sind, und dem Benutzer klärende Fragen stellen.

Fehler 3: Erteilen Sie Ihrem Agenten nicht genügend Berechtigungen

Fehler Nummer drei besteht darin, dass Sie Ihren Agenten richtig eingerichtet haben, ihm aber nicht genügend Berechtigungen erteilt haben, um das zu tun, was er tun soll. Wenn Sie beispielsweise Ihren Agenten gebeten haben, eine Reihe von AWS-Aufgaben auszuführen, ihm aber nicht genügend Zugriff gewährt haben, sodass er beispielsweise nur auf DynamoDB, aber nicht vollständig auf S3 zugreifen kann, ist es für den Agenten sehr schwierig, eine Aufgabe auszuführen.

Wenn Sie einen Agenten einrichten, sollten Sie ihn wie einen Menschen betrachten. Wenn Sie einem Praktikanten eine Reihe von Aufgaben zur Ausführung geben, ihm aber nicht die AWS-Berechtigungen erteilen, die er zum Ausführen der Aufgabe benötigt, wäre es für den Praktikanten sehr schwierig zu wissen, was er tun soll.

Der Praktikant weiß beispielsweise nicht, ob er um Erlaubnis bitten soll, oder weiß es möglicherweise nicht, weil er sich noch nie zuvor mit dieser State of affairs befasst hat. Oder es denkt vielleicht, dass es diese Dinge selbst herausfinden soll, während man ihm in Wirklichkeit die erforderlichen Berechtigungen erteilen muss.

Daher sollten Sie beim Einrichten eines Agenten Folgendes tun:

• Denken Sie gründlich über alles nach, was der Agent tun soll, und stellen Sie sicher, dass er Zugriff auf alle relevanten Ressourcen hat. Und wenn Sie ihm keinen Zugriff auf bestimmte Ressourcen gewähren, informieren Sie den Agenten unbedingt darüber, dass er darauf keinen Zugriff hat und wie er Personen antworten soll, wenn diese Fragen stellen, die einen solchen Zugriff erfordern.
• Gewähren Sie dem Agenten Zugriff auf alles, was er möglicherweise benötigt, natürlich im Rahmen von Sicherheitsbedenken. Dazu gehört wahrscheinlich der Lesezugriff auf quick alles, was Sie haben, einfach weil der Lesezugriff zerstörungsfrei ist.
• Überwachen Sie die Leistung des Agenten, insbesondere zu Beginn seiner Einrichtung. Wenn Sie bemerken, dass der Agent mit bestimmten Aufgaben zu kämpfen hat, sollten Sie ihm helfen, indem Sie ihm sagen, wie er diese Aufgaben lösen kann. Und Sie sollten den Zugriff, den der Agent benötigt oder nicht benötigt, entweder gewähren oder widerrufen.

Insgesamt kommt es darauf an, Ihren Agenten zu überwachen und sicherzustellen, dass er wie erwartet funktioniert.

Abschluss

In diesem Artikel habe ich drei häufige Fehler besprochen, die bei der Einrichtung von OpenClaw gemacht werden und die ich speziell selbst gemacht habe, als ich OpenClaw-Agenten eingerichtet habe. Diese Fehler schränken die Wirksamkeit von OpenClaw erheblich ein, daher empfehle ich dringend, alle Tipps, die ich in diesem Artikel gegeben habe, zu befolgen und die drei aufgeführten Fehler zu vermeiden. Im Großen und Ganzen kommt es jedoch darauf an, Ihren OpenFlow-Agenten zu überwachen und ihm dort zu helfen, wo Sie bemerken, dass der Agent Probleme hat. Wenn der Agent mit bestimmten Aufgaben zu kämpfen hat, handelt es sich höchstwahrscheinlich nicht um ein Agentenproblem, sondern eher um ein Einrichtungsproblem oder einen Benutzerfehler. Daher sollten Sie Ihren Agenten überwachen und sicherstellen, dass er die Aufgaben, die Sie ihm übertragen, effektiv erledigt.

Mein kostenloses E-E-book und Webinar:

Verzehnfachen Sie Ihr Engineering mit LLMs (kostenloser 3-tägiger E-Mail-Kurs)

Holen Sie sich mein kostenloses E-E-book „Imaginative and prescient Language Fashions“.

Mein Webinar zu Imaginative and prescient Language Fashions

Finden Sie mich in den sozialen Netzwerken:

Unterstapel

LinkedIn

X / Twitter

Genaue Kundendaten sind die Grundlage für erfolgreiche B2B-Geschäfte. Das Anhängen von Daten ist nicht nur ein weiterer technischer Prozess für Unternehmensleiter. Es handelt sich um einen strategischen Vorteil, der sich direkt auf die Geschäftsergebnisse auswirkt.

Die Pflege vollständiger und aktueller Daten verbessert die Entscheidungsfähigkeit in allen Abteilungen. B2B-Führungskräfte, die geeignete Datenanhängedienste implementieren, erhalten Zugriff auf aktuelle, relevante Informationen über ihre Interessenten und Kunden. Dank dieser aktualisierten Informationen können ihre Vertriebsteams die richtigen Entscheidungsträger erreichen, ohne Ressourcen für veraltete Kontakte zu verschwenden.

Hochwertige Daten erzeugen weitreichende Auswirkungen auf das gesamte Unternehmen. Marketingteams können mit angereicherten Datensätzen gezieltere Kampagnen entwickeln. Sie können Kommunikation gestalten, die direkt auf die spezifischen Schwachstellen und Bedürfnisse ihrer Zielgruppe eingeht, anstatt breite, generische Botschaften zu verwenden.

Die Vertriebseffizienz verbessert sich erheblich, wenn die Daten richtig angehängt werden. Vertreter verbringen weniger Zeit mit der Recherche einfacher Unternehmensinformationen und haben mehr Zeit mit dem Aufbau sinnvoller Beziehungen. Vertriebsteams können sich auf hochwertige Aktivitäten statt auf Verwaltungsarbeit konzentrieren, wenn sie ihre Kontaktinformationen über ein professionelles Datenanhängeunternehmen auf dem neuesten Stand halten.

Komplexität der internen Datenanhänge für Unternehmensleiter

B2B-Organisationen versuchen oft, intern angehängte Daten zu verarbeiten, unterschätzen jedoch deren Komplexität. Dieser Ansatz führt zu kritischen Fehlern, die die Datenqualität und die Geschäftsergebnisse beeinträchtigen.

Intern arbeitende Groups können nicht effektiv auf detaillierte Datenquellen zugreifen. Interne Datenbanken enthalten wertvolle Informationen, zeigen jedoch nur einen kleinen Teil der verfügbaren Marktinformationen. Unternehmen ohne Anbindung an spezialisierte Branchendatenbanken und proprietäre Informationsnetzwerke verfügen am Ende über unvollständige Datensätze. Dies gibt ihnen einen eingeschränkten Blick auf ihre Zielmärkte.

Die wichtigsten Aspekte, die das Anhängen interner Daten für B2B-Führungskräfte zu einer Herausforderung machen, sind:

Technische Experience: Das Anhängen von Daten erfordert ausgefeilte Matching-Algorithmen und Validierungsprozesse, die über die einfache Tabellenkalkulationsverwaltung hinausgehen. Organisationen, denen dedizierte Datenwissenschaftler oder spezielle Instruments fehlen, greifen auf manuelle Prozesse zurück. Ihre easy Automatisierung ist nicht in der Lage, komplexe Geschäftsbeziehungen zu erfassen.

Ressourcenzuteilung: Das Anhängen von Daten erfordert ständige Aufmerksamkeit und Wartung, nicht nur gelegentliche Aufräumarbeiten. Interne Groups erledigen mehrere Aufgaben und können nicht genug Zeit für die vollständige Datenüberprüfung und -anreicherung aufwenden.

Datenökosystem: Geschäftsinformationen ändern sich schneller als je zuvor. Unternehmensstrukturen verändern sich, Führungskräfte wechseln die Organisation und Kontaktdaten veralten schnell. Ohne systematische Prozesse zur Nachverfolgung dieser Veränderungen sinkt die interne Datenqualität.

Budgetentscheidungen: Professionelle Datenanhängedienste erfordern Investitionen, aber der Aufbau ähnlicher Funktionen im eigenen Haus kostet mit der Zeit mehr. Dies ist auf Ineffizienzen, Schulungsbedarf und verpasste Wachstumschancen zurückzuführen.

Das größte Risiko entsteht durch Compliance-Probleme bei unternehmensinternen Ansätzen. Datenschutzbestimmungen ändern sich weltweit ständig und schaffen komplexe Anforderungen, die selbst spezialisierte Rechtsteams vor Herausforderungen stellen. Unternehmen riskieren hohe Strafen ohne fachkundige Beratung durch Anbieter von demografischen Datenanhängen.

Was als Möglichkeit zum Geldsparen beginnt, führt letztendlich zu schlechter Datenqualität, verschwendeten Ressourcen und verpassten Chancen. Dies sind genau die Probleme, die ein Datenanhängeunternehmen vermeiden hilft.

Bedeutung der Partnerschaft mit Anbietern von Datenanhängediensten für B2B-Führungskräfte

B2B-Führungskräfte erlangen strategische Vorteile, die weit über die Reichweite und den Einfluss der grundlegenden Datenbankpflege hinausgehen, wenn sie mit spezialisierten Datenanhängeunternehmen zusammenarbeiten. Diese professionellen Dienstleister bringen Fachwissen mit, mit dem interne Groups nicht mithalten können, insbesondere wenn Sie branchenspezifische Datennuancen und Qualitätsstandards haben.

Datenanhängedienste von externen Anbietern verfügen über umfangreiche Netzwerke an Informationsquellen. Für einzelne Unternehmen wäre es übertrieben, diese Netzwerke selbst aufzubauen. Diese Anbieter investieren kontinuierlich in ihre Datenökosysteme, um ihren Kunden Zugriff auf die umfassendsten verfügbaren Informationen zu ermöglichen. Ihre umfassenden Quellen sind besonders wertvoll für Unternehmen, die auf neue Märkte abzielen, in denen die internen Daten möglicherweise begrenzt sind.

Professionelle Datenanhangsdienstleistungspartnerschaften erleichtern den Aufbau und die Wartung einer komplexen Dateninfrastruktur. Führungsteams können ihre technischen Ressourcen auf Kerngeschäftsinnovationen konzentrieren, die das Umsatzwachstum beschleunigen, indem sie diese Spezialfunktion auslagern. Das Kernteam kann schneller auf Marktveränderungen reagieren und Vertriebs- und Marketinginitiativen beschleunigen.

Wie Anbieter von Datenanhängediensten B2B-Führungskräften dabei helfen, häufige Fehler beim Anhängen zu vermeiden

Professionelle Datenanhänge-Dienstleister schützen B2B-Führungskräfte vor häufigen Fallstricken bei der Datenanreicherung. Mit ihren systematischen Methoden gehen sie Fehler an, die in unternehmensinternen Projekten häufig auftauchen.

1. Nutzung veralteter oder irrelevanter Datenquellen

Unternehmen, die Daten anhängen, unterhalten Hyperlinks zu erstklassigen, aktuellen Datenrepositorys, auf die Unternehmen alleine nicht zugreifen können. Sie halten ihre Quellnetzwerke auf dem neuesten Stand, was B2B-Führungskräften dabei hilft, nützliche Informationen zu erhalten, die den aktuellen Marktrealitäten entsprechen. Dieser regelmäßige Aktualisierungszyklus verhindert Entscheidungen, die auf alten Kontakten oder Organisationsstrukturen basieren.

2. Übermäßiges Vertrauen in interne Daten ohne externe Validierung

Externe Datenanhängedienste bieten wichtige Validierungsmethoden, die interne Annahmen testen. Anbieter erkennen versteckte Schwachstellen, indem sie Kundendatenbanken mit mehreren unabhängigen Quellen vergleichen. Diese Validierung hilft B2B-Groups, neue Möglichkeiten zu finden und die Richtigkeit ihrer vorhandenen Informationen zu bestätigen.

3. Nichteinhaltung der Datenschutzbestimmungen

Vertrauenswürdige Dienste zum Anhängen demografischer Daten verfügen über Compliance-Spezialisten, die sich ändernde Datenschutzbestimmungen überwachen. Diese Experten richten Governance-Frameworks ein, die B2B-Führungskräfte vor versehentlichen Verstößen schützen und gleichzeitig die legitime Datennutzung im Rahmen der Vorschriften optimum nutzen.

4. Unzureichende Matching- und Deduplizierungspraktiken

Professionelle Anbieter von Datenanhängediensten verwenden fortschrittliche Matching-Algorithmen, die weit außerhalb der Reichweite und des Einflusses typischer interner Fähigkeiten liegen. Ihre Technologien erkennen Datensatzbeziehungen anhand komplexer Variablen, die über den einfachen Namensabgleich hinausgehen, und erstellen saubere, einheitliche Kundenprofile ohne ressourcenverschwendende Redundanzen.

5. Ignorieren von Kontextrelevanz und Qualitätsmetriken

Experten eines Datenanhängeunternehmens legen klare Leistungsstandards fest, die sowohl technische Genauigkeit als auch geschäftlichen Wert messen. Mithilfe einer systematischen Qualitätsbewertung beurteilen sie, wie intestine angehängte Daten bestimmte strategische Ziele erfüllen und nicht nur ihre technische Vollständigkeit.

Fortschrittliche Methoden, die von professionellen Datenanhängeunternehmen verwendet werden

Das Anhängen von Daten entwickelt sich mit innovativen Methoden, die B2B-Organisationen helfen, den maximalen Nutzen zu erzielen, immer schneller weiter. Professionelle Unternehmen, die Daten anhängen, nutzen ausgefeilte Techniken, die über herkömmliche Matching-Prozesse hinausgehen.

I. Verwendung fortgeschrittener probabilistischer Verknüpfungsmodelle

Anbieter von Datenanhangsdiensten verwenden jetzt probabilistische Modelle, um Verbindungen zwischen scheinbar unterschiedlichen Datenpunkten zu identifizieren, und entfernen sich vom starren deterministischen Matching. Diese Systeme können Muster und Zusammenhänge auch bei unvollständigen Informationen oder Abweichungen erkennen. Fuzzy-Matching-Algorithmen bewerten mehrere Attribute gleichzeitig und weisen Konfidenzwerte zu, anstatt einfache Ja/Nein-Entscheidungen zu treffen.

II. Dynamische und kontextbezogene Attributanreicherung

Dienste zum Anhängen demografischer Daten passen die Anreicherung jetzt basierend auf spezifischen Branchenkontexten an. Sie haben sich von standardisierten Ansätzen entfernt, um die Auswahl von Attributen an bestimmte Geschäftsumgebungen anzupassen. Dieses Kontextbewusstsein trägt dazu bei, dass die angehängten Informationen für bestimmte Geschäftsziele related bleiben und liefert nützlichere Erkenntnisse.

III. Integration mit Unternehmensworkflows und Toolchains

Moderne Datenanhängeunternehmen bieten über ausgefeilte APIs reibungslose Verbindungen zu bestehenden Geschäftssystemen. Groups können Daten dwell in ihren nativen Anwendungen verbessern. Dieser Ansatz eliminiert störende Datenübertragungen zwischen Systemen und sorgt gleichzeitig dafür, dass die Informationen im gesamten Unternehmen konsistent bleiben.

IV. Prädiktive und präskriptive Verbesserung angehängter Daten

Modern Anbieter integrieren jetzt neben anderen grundlegenden Anhängefunktionen auch eine prädiktive Modellierung, die zukünftige Datenanforderungen antizipiert. Diese Systeme können aufkommende Muster selbst erkennen und zusätzliche Attribute vorschlagen, die bestimmten Geschäftsinitiativen zugute kommen könnten.

Letzte Worte

Das Anhängen von Daten bedeutet für B2B-Unternehmen weit mehr als nur einen technischen Prozess. Es ist ein strategisches Muss, das sich in vielerlei Hinsicht direkt auf den Geschäftserfolg auswirkt. Unternehmen sind sich oft nicht darüber im Klaren, wie komplex es ist, und der Versuch, diese wichtige Aufgabe intern zu erledigen, kann kostspielig sein und Chancen verschwenden.

Professionelle Datenanhängedienste sind eine großartige Möglichkeit, sich einen Wettbewerbsvorteil zu verschaffen. Diese spezialisierten Associate bringen Fachwissen, vollständige Datenquellen und Matching-Algorithmen mit, die interne Groups nicht kopieren können. Sie gehen über den einfachen Datensatzabgleich hinaus und decken die Einhaltung gesetzlicher Vorschriften, die Kontextrelevanz und die reibungslose Integration in bestehende Systeme ab.

Bild von Autor | Leinwand

# Einführung

Wenn Sie neu in Python sind, verwenden Sie normalerweise „für“ Schleifen, wenn Sie eine Datenerfassung verarbeiten müssen. Müssen Sie eine Liste von Zahlen quadratieren? Durch sie durchlaufen. Müssen sie filtern oder zusammenfassen? Schleife noch einmal. Dies ist für uns als Menschen intuitiver, weil unser Gehirn nacheinander denkt und funktioniert (eine Sache nach dem anderen).

Das heißt aber nicht, dass Pc. Sie können etwas nutzen, das genannt wird vektorisiertes Denken. Grundsätzlich geben Sie anstatt jedes Ingredient, um eine Operation durchzuführen, die gesamte Liste an Python wie zu geben. „Hey, hier ist die Liste. Führen Sie alle Operationen gleichzeitig aus.“

In diesem Tutorial geben ich Ihnen eine sanfte Einführung in die Funktionsweise, warum es wichtig ist, und wir werden auch einige Beispiele abdecken, um zu sehen, wie vorteilhaft es sein kann. Additionally fangen wir an.

# Was ist vektorisiertes Denken und warum ist es wichtig?

Wie bereits erwähnt, bedeutet vectorized Considering, dass wir sie gemeinsam ausführen möchten, anstatt nacheinander Operationen zu handeln. Diese Idee ist tatsächlich von Matrix- und Vektoroperationen in Mathematik inspiriert und macht Ihren Code viel schneller und lesbarer. Bibliotheken wie Numpy ermöglichen es Ihnen, vektorisiertes Denken in Python zu implementieren.

Wenn Sie beispielsweise eine Liste von Zahlen mit 2 multiplizieren müssen, dann multiplizieren Sie die gesamte Liste gleichzeitig, anstatt auf jedes Ingredient zu greifen und den Betrieb einzeln durchzuführen. Dies hat erhebliche Vorteile, beispielsweise die Reduzierung eines Großteils von Pythons Overhead. Jedes Mal, wenn Sie eine Python -Schleife durchführen, muss der Dolmetscher viel Arbeit leisten, wie das Überprüfen der Typen, das Verwalten von Objekten und die Handhabung der Schleifenmechanik. Mit einem vektorisierten Ansatz reduzieren Sie dies durch Verarbeitung in großen Mengen. Es ist auch viel schneller. Wir werden das später mit einem Beispiel für die Auswirkung der Leistung sehen. Ich habe visualisiert, was ich gerade in Type eines Bildes gesagt habe, damit Sie eine Vorstellung davon bekommen, worauf ich mich beziehe.

Nachdem Sie die Vorstellung davon haben, was es ist, lassen Sie uns sehen, wie Sie es implementieren können und wie es nützlich sein kann.

# Ein einfaches Beispiel: Temperaturumwandlung

In verschiedenen Ländern werden unterschiedliche Temperaturkonventionen verwendet. Wenn Sie beispielsweise mit der Fahrenheitskala vertraut sind und die Daten in Celsius angegeben sind, können Sie sie mit beiden Ansätzen konvertieren.

// Der Schleifenansatz

celsius_temps = (0, 10, 20, 30, 40, 50)
fahrenheit_temps = ()

for temp in celsius_temps:
    fahrenheit = (temp * 9/5) + 32
    fahrenheit_temps.append(fahrenheit)

print(fahrenheit_temps)

Ausgabe:

(32.0, 50.0, 68.0, 86.0, 104.0, 122.0)

// Der vektorisierte Ansatz

import numpy as np

celsius_temps = np.array((0, 10, 20, 30, 40, 50))
fahrenheit_temps = (celsius_temps * 9/5) + 32

print(fahrenheit_temps)  # (32. 50. 68. 86. 104. 122.)

Ausgabe:

( 32.  50.  68.  86. 104. 122.)

Anstatt jeweils mit jedem Punkt zu tun zu haben, verwandeln wir die Liste in ein Numpy -Array und wenden die Formel auf alle Elemente gleichzeitig an. Beide verarbeiten die Daten und geben dasselbe Ergebnis. Abgesehen davon, dass der Numpy -Code prägnanter ist, bemerken Sie den Zeitunterschied derzeit nicht. Aber das werden wir in Kürze abdecken.

# Erweitertes Beispiel: Mathematische Operationen auf mehreren Arrays

Nehmen wir ein weiteres Beispiel, in dem wir mehrere Arrays haben, und wir müssen den Gewinn berechnen. So können Sie es mit beiden Ansätzen tun.

// Der Schleifenansatz

revenues = (1000, 1500, 800, 2000, 1200)
prices = (600, 900, 500, 1100, 700)
tax_rates = (0.15, 0.18, 0.12, 0.20, 0.16)

income = ()
for i in vary(len(revenues)):
    gross_profit = revenues(i) - prices(i)
    net_profit = gross_profit * (1 - tax_rates(i))
    income.append(net_profit)

print(income)

Ausgabe:

(340.0, 492.00000000000006, 264.0, 720.0, 420.0)

Hier berechnen wir den Gewinn für jeden Eintrag manuell:

1. Die Kosten vom Umsatz (Bruttogewinn) subtrahieren
2. Steuer anwenden
3. Das Ergebnis einer neuen Liste anhängen

Funktioniert intestine, aber es ist eine Menge manueller Indexierung.

// Der vektorisierte Ansatz

import numpy as np

revenues = np.array((1000, 1500, 800, 2000, 1200))
prices = np.array((600, 900, 500, 1100, 700))
tax_rates = np.array((0.15, 0.18, 0.12, 0.20, 0.16))

gross_profits = revenues - prices
net_profits = gross_profits * (1 - tax_rates)

print(net_profits)

Ausgabe:

(340. 492. 264. 720. 420.)

Die vektorisierte Model ist ebenfalls lesbar und führt gleichzeitig in allen drei Arrays elementzielle Operationen in allen drei Arrays durch. Jetzt möchte ich nicht nur wieder „Es ist schneller“ ohne feste Beweise wiederholt. Und Sie denken vielleicht: „Worüber redet Kanwal überhaupt?“ Aber jetzt, da Sie gesehen haben, wie Sie es implementieren können, schauen wir uns den Leistungsunterschied zwischen beiden an.

# Leistung: Die Zahlen lügen nicht

Der Unterschied, von dem ich spreche, ist nicht nur einen Hype oder eine theoretische Sache. Es ist messbar und bewährt. Schauen wir uns einen praktischen Benchmark an, um zu verstehen, wie viel Verbesserung Sie erwarten können. Wir erstellen einen sehr großen Datensatz von 1.000.000 Instanzen und führen die Operation (x^2 + 3x + 1 ) für jedes Ingredient mit beiden Ansätzen aus und vergleichen die Zeit.

import numpy as np
import time

# Create a big dataset
measurement = 1000000
information = checklist(vary(measurement))
np_data = np.array(information)

# Take a look at loop-based strategy
start_time = time.time()
result_loop = ()
for x in information:
    result_loop.append(x ** 2 + 3 * x + 1)
loop_time = time.time() - start_time

# Take a look at vectorized strategy
start_time = time.time()
result_vector = np_data ** 2 + 3 * np_data + 1
vector_time = time.time() - start_time

print(f"Loop time: {loop_time:.4f} seconds")
print(f"Vector time: {vector_time:.4f} seconds")
print(f"Speedup: {loop_time / vector_time:.1f}x sooner")

Ausgabe:

Loop time: 0.4615 seconds
Vector time: 0.0086 seconds
Speedup: 53.9x sooner

Das ist mehr als 50 Mal schneller !!!

Dies ist keine kleine Optimierung, sondern Ihre Datenverarbeitungsaufgaben (ich spreche von großen Datensätzen) viel praktikabler. Ich benutze Numpy für dieses Tutorial, aber Pandas ist eine weitere Bibliothek, die auf Numpy gebaut wurde. Sie können das auch verwenden.

# Wenn nicht vektorisieren

Nur weil in den meisten Fällen etwas funktioniert, heißt das nicht, dass es der Ansatz ist. Bei der Programmierung hängt Ihr „bester“ Ansatz immer vom vorliegenden Downside ab. Die Vektorisierung ist großartig, wenn Sie denselben Betrieb auf allen Elementen eines Datensatzes ausführen. Wenn Ihre Logik jedoch komplexe Bedingungen, frühe Beendigung oder Operationen umfasst, die von früheren Ergebnissen abhängen, halten Sie sich an den Schleifenbasis.

In ähnlicher Weise könnte bei der Arbeit mit sehr kleinen Datensätzen der Overhead für die Einrichtung vektorisierter Vorgänge die Vorteile überwiegen. Verwenden Sie es additionally einfach dort, wo es Sinn macht, und zwingen Sie es nicht dort, wo es nicht tut.

# Einpacken

Wenn Sie weiter mit Python zusammenarbeiten, fordern Sie sich heraus, Chancen für die Vektorisierung zu erkennen. Wenn Sie nach einem „for` -Schleifen“ greifen, pausieren Sie innehalten und fragen Sie, ob es eine Möglichkeit gibt, den gleichen Operation mit Numph oder Pandas auszudrücken. Meistens gibt es, und das Ergebnis wird Code sein, der nicht nur schneller, sondern auch eleganter und einfacher zu verstehen ist.

Denken Sie daran, das Ziel ist nicht, alle Schleifen aus Ihrem Code zu beseitigen. Es ist, die zu verwenden Richtiges Instrument für den Job.

Kanwal Mehreen Kanwal ist ein Ingenieur für maschinelles Lernen und technischer Schriftsteller mit einer tiefgreifenden Leidenschaft für die Datenwissenschaft und die Schnittstelle von KI mit Medizin. Sie hat das eBook „Produktivität mit Chatgpt maximieren“. Als Google -Era -Gelehrte 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie wird auch als Teradata -Vielfalt in Tech Scholar, MITACS Globalink Analysis Scholar und Harvard Wecode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter der Veränderung, nachdem er Femcodes gegründet hat, um Frauen in STEM -Bereichen zu stärken.

Ein Haus, egal ob Sie ein täglicher Käufer sind, der Ihr Traumhaus oder ein erfahrener Immobilieninvestor sucht, es besteht eine gute Probability, dass Sie automatisierte Bewertungsmodelle oder AVMs gestoßen sind. Diese cleveren Instruments verwenden large Datensätze, die mit früheren Eigenschaftstransaktionen gefüllt sind, um den Wert Ihres potenziellen neuen Hauses vorherzusagen. Durch die Betrachtung von Funktionen wie Ort, Anzahl der Schlafzimmer, Badezimmer, Altersalter und mehr verwenden AVMs KI, um Verbände mit Verkaufspreisen zu lernen. Eine schnelle und kostengünstige Einschätzung von Eigenheimen klingt auf dem Papier großartig, und in vielen Fällen ist es großartig. Mit jeder Preisvorhersage kommt jedoch ein Maß an Unsicherheit, und wenn man diese Unsicherheit nicht berücksichtigt, kann es ein kostspieliger Fehler sein. In diesem Beitrag veranschaue ich die Anwendung der AI-Unsicherheitsquantifizierung für AVMs durch die AVMU-Methodik.

Preisvorhersage Unsicherheit?

Fangen wir einfach an. Stellen Sie sich vor, Sie suchen ein zweistöckiges Haus mit vier Schlafzimmern in einem gemütlichen Viertel in Virginia Seaside, VA. Sie haben einige lokale Wohnungsdaten heruntergeladen und sie verwendet, um Ihr eigenes AVM zu trainieren (Sie sind so technisch versiert!).

Fall 1: Zum Glück haben sich im vergangenen Jahr mehrere quick identische Häuser in der Nachbarschaft für rund 500.000 US -Greenback verkauft. Ihr AVM schlägt zuversichtlich vor, dass das Haus, an dem Sie interessiert sind, wahrscheinlich auch den gleichen Preis wert ist. Einfach genug, oder?

Aber hier wird es schwieriger:

Fall 2: Diesmal wurden in letzter Zeit keine ähnlichen zweistöckigen Häuser mit vier Schlafzimmern verkauft. Stattdessen zeigt Ihr Datensatz kleinere einstöckige Häuser, die mit 400.000 US-Greenback verkauft werden, und größere dreistöckige Häuser für 600.000 US-Greenback. Ihr AVM hat die Dinge im Durchschnitt aus und schlägt erneut 500.000 US -Greenback vor. Es ist sinnvoll, Ihr Zielhaus ist größer als die billigeren Häuser und kleiner als die teureren.

Beide Szenarien gaben Ihnen die gleiche Bewertung von 500.000 US -Greenback. Es gibt jedoch einen Haken: Das erste Szenario wird durch solide Daten (ähnliche Häuser verkauft) unterstützt, wodurch die Preisvorhersage ziemlich zuverlässig ist. Im zweiten Szenario dagegen könnte das Vertrauen der Preisvorhersage etwas riskanter sein. Mit weniger vergleichbarer Verkäufe musste die AVM eine „fundierte Vermutung“ machen, was zu einer weniger sicheren Preisvorhersage führte.

Das solide AVM für Fall 1 ist ein sehr hilfreiches Instrument zur Unterstützung des Entscheidungsunterstützung für den Kauf eines Eigenheims, aber der wackelige AVM, falls 2 eine völlig falsche Vorstellung vom Marktwert des Eigenheims geben kann. Hier ist die große Frage:

Wie können Sie feststellen, ob Ihre AVM -Vorhersage solide oder wackelig ist?

AVMU – eine Unsicherheitsquantifizierungstechnik für AVMs

Genau deshalb brauchen wir AVMU oder automatisierte Bewertungsmodellunsicherheit. AVMU ist ein neuer methodischer Rahmen, der uns hilft, genau zu quantifizieren, wie zuverlässig (oder unsicher) diese AVM -Vorhersagen sind. Stellen Sie sich dies als Vertrauensmesser für Ihre Vorhersage Ihrer Hauspreise vor und helfen Ihnen, klügere Entscheidungen zu treffen, anstatt einem Algorithmus blind zu vertrauen.

Kehren wir zu unserem Beispiel in Virginia Seaside zurück. Sie haben die Auflistungen ausgiebig durchsucht und Ihre Auswahl auf zwei fantastische Häuser eingeschränkt: Nennen wir sie nach Hause A und Dwelling B.

Natürlich möchten Sie als erstes wissen, dass ihre Marktwerte. Wenn Sie den Marktwert wissen, stellt Sie sicher, dass Sie nicht zu viel zu zahlen, Sie möglicherweise vor zukünftigen finanziellen Kopfschmerzen zu sparen und das Haus mit Verlust weiterzuverkaufen. Leider haben Sie in Virginia Seaside nicht viel Wissen über die Immobilienpreise, wie Sie ursprünglich aus (Fügen Sie den Namen des Ortes ein, den Sie aufgewachsen sind). Glücklicherweise erinnern Sie sich an die datenwissenschaftlichen Fähigkeiten, die Sie in der Graduiertenschule aufgegriffen haben, und beschließen zuversichtlich, Ihren eigenen AVM zu bauen, um die Marktwerte Ihrer beiden Kandidatenhäuser zu verstehen.

Um sicherzustellen, dass Ihre AVM -Vorhersagen so genau wie möglich sind, trainieren Sie das Modell mit dem mittleren Quadratfehler (MSE) wie Ihrer Verlustfunktion:

( textual content {mse} = frac {1} {n} sum_ {i = 1}^{n} (y_i – Hat {y} _i)^2 )

Hier ist (n ) die Anzahl der Häuser in Ihrem Trainingsdatensatz, ( Hat {y} _i ) repräsentiert die Preisvorhersage des AVM für Zuhause.

Nach dem Coaching des Modells wenden Sie Ihre AVM auf Häuser A und B. auf Ihre Überraschung (oder vielleicht die Aufregung?) An. Beide Häuser werden vom Algorithmus mit genau 500.000 US -Greenback bewertet. Sehr intestine, aber gerade als Sie ein Angebot für zu Hause B geben, ist ein Gedanke: Diese Vorhersagen sind keine absoluten Gewissheiten. Sie sind „Punktvorhersagen“, im Wesentlichen die beste Vermutung der AVM zum wahrscheinlichsten Marktwert. Tatsächlich ist der wahre Marktwert wahrscheinlich etwas höher oder niedriger, und es ist eher unwahrscheinlich, dass die AVM -Vorhersage den Marktwert auf den genauen Greenback gesetzt hat.

Wie messen wir diese Unsicherheit? Hier kommt die AVMU -Methodik mit einem einfachen, aber kraftvollen Ansatz ins Spiel:

1. Zunächst verwenden Sie Kreuzvalidation (z. B. 5-fach CV), um außerhalb der FALT-Preisvorhersagen, ( Hat {y} _i ), für alle (n ) Häuser in Ihrem Datensatz zu generieren.

2. Als nächstes berechnen Sie für jedes Haus, wie weit die Vorhersage vom tatsächlichen Verkaufspreis entfernt battle. Dieser Unterschied wird als absolute Abweichung bezeichnet, (| Hat {y} _i – y_i | ), zwischen der Preisvorhersage, ( Hat {y} _i ) und dem tatsächlichen Verkaufspreis (y_i ).

3. Anstatt Verkaufspreise vorherzusagen, schulen Sie ein separates „Unsicherheitsmodell“ (f ( Hat {y} _i, x_i) ) unter Verwendung dieser absoluten Abweichungen (| Hat {y} _i – y_i | ) als Ziel. Dieses spezielle Modell lernt Muster, die angeben, wann die AVM -Vorhersagen typischerweise genau oder ungewiss sind.

4. Schließlich wenden Sie dieses Unsicherheitsmodell an, um zu schätzen, wie unsicher die Preisvorhersagen für die Häuser A und B (dh Ihr Testsatz) sind, indem sie ihre absoluten Preisabweichungen vorhersagen. Sie haben jetzt einfache Unsicherheitsschätzungen für beide Häuser.

Jetzt weiß ich genau, was einige von Ihnen vielleicht über den dritten Schritt denken:

„Warten Sie eine Sekunde, Sie können nicht einfach eine Regression auf eine andere Regression legen, um zu erklären, warum der erste ausgeschaltet ist!“

Und du hättest absolut Recht. Nun, irgendwie. Wenn es klare, vorhersehbare Datenmuster gäbe, die zeigten, dass bestimmte Häuser von Ihrem AVM durchweg überteuert oder unterbewertet waren, würde dies bedeuten, dass Ihr AVM überhaupt nicht sehr intestine battle. Im Idealfall sollte ein guter AVM alle bedeutungsvollen Muster in den Daten erfassen. Aber hier ist die clevere Wendung: Anstatt vorherzusagen, ob ein Zuhause spezifisch überteuert oder unterbewertet ist (was wir als signierte Abweichung bezeichnen), konzentrieren wir uns auf absolute Abweichungen. Auf diese Weise können wir die Frage der Erklärung des Erklärungen, ob ein Zuhause zu hoch oder zu niedrig geschätzt wird, umgehen. Stattdessen lassen wir uns das Unsicherheitsmodell darauf konzentrieren, zu identifizieren, welche Arten von Häusern das AVM tendiert, um genau vorherzusagen und mit welchen sie zu kämpfen haben, unabhängig von der Richtung des Fehlers.

Aus der Perspektive eines Käufers sind Sie natürlich mehr Sorgen um eine Überzahlung. Stellen Sie sich vor, Sie kaufen ein Haus für 500.000 US -Greenback, nur um festzustellen, dass es tatsächlich nur 400.000 US -Greenback wert ist! In der Praxis ist es jedoch auch problematischer, den Wert eines Hauses zu unterschätzen, als Sie denken würden. Machen Sie ein Angebot, das zu niedrig ist, und Sie verlieren möglicherweise Ihr Traumhaus an einen anderen Käufer. Aus diesem Grund ist Ihr Ziel als versierter Käufer nicht nur die höchste oder niedrigste Preisvorhersage. Stattdessen sollte Ihre Priorität robuste, zuverlässige Bewertungen sein, die dem wahren Marktwert genau entsprechen. Und dank der AVMU -Unsicherheitsschätzungen können Sie jetzt sicherer genau bestimmen, welche Vorhersagen zu vertrauen sind.

Mathematisch kann der oben beschriebene Prozess so geschrieben werden:

.

Und:

( textual content {avmu} _i = f ( Hat {y} _i, x_i) )

Das Unsicherheitsmodell (f ( Hat {y} _i, x_i) ) kann auf jedem Regressionsalgorithmus basieren (sogar derselben wie Ihr AVM). Der Unterschied besteht darin, dass Sie für Ihr Unsicherheitsmodell nicht unbedingt daran interessiert sind, perfekte Vorhersagen für die absoluten Abweichungen zu erzielen. Stattdessen sind Sie daran interessiert, die Häuser auf der Grundlage der Vorhersageunsicherheit zu bewerten und dadurch zu erfahren, welche Preisvorhersagen von Dwelling A und Dwelling B von Bs B von B Dwelling B am meisten vertrauen können. Die für die AVM verwendete MSE -Verlustfunktion (siehe erste Gleichung) ist daher möglicherweise nicht die ideale Wahl.

Anstatt MSE zu verwenden, passen Sie daher Ihr Unsicherheitsmodell (f ( Hat {y} _i, x_i) ) an, um eine Verlustfunktion zu optimieren, die eher für das Rating geeignet ist. Ein Beispiel für eine solche Verlustfunktion ist die Maximierung der Rangkorrelation (dh Spearman’s ( rho )), gegeben durch:

( rho = 1 – frac {6 sum_ {i = 1}^{n} d_i^2} {n (n^2 – 1)} )

Hier bedeutet ein höheres ( rho ) Ihr Modell in Bezug auf die Vorhersageunsicherheit besser zu Hause. .

Jetzt haben Sie für beide Kandidatenhäuser eine AVM -Preisvorhersage und eine entsprechende AVMU -Unsicherheitsschätzung. Durch die Kombination dieser beiden Maßnahmen bemerken Sie schnell etwas Interessantes: Auch wenn mehrere Häuser den gleichen „höchstwahrscheinlichem Marktwert“ haben, kann die Zuverlässigkeit dieser Vorhersagen stark variieren. In Ihrem Fall sehen Sie, dass Dwelling B mit einer deutlich höheren AVMU -Unsicherheitsschätzung ausgestattet ist und signalisiert, dass sein tatsächlicher Marktwert weit entfernt von der Bewertung von 500.000 US -Greenback entfernt sein könnte.

Um sich vor dem unnötigen Risiko zu schützen, entscheiden Sie sich mit Bedacht für den Kauf von Dwelling A, dessen AVM -Bewertung von 500.000 USD durch stärkere Gewissheit unterstützt wird. Mit dem Vertrauen, das dank der AVMU wiederhergestellt wurde, haben Sie Ihren Kauf glücklich abgeschlossen, da Sie wissen, dass Sie eine intelligente, daten informierte Wahl getroffen haben, und Ihr neues Zuhause mit einem entspannten Getränk in Ihrem neuen Vorgarten feiern.

Ethik und andere Anwendungen von AVMU

Diese einfache Einführung in die AVM -Preisunsicherheit und wie AVMU Sie beim Kauf eines Hauses führen kann, ist nur eine der vielen potenziellen Anwendungen. Häuser sind nicht die einzigen Vermögenswerte, die von schnellen, kostengünstigen Bewertungswerkzeugen profitieren könnten. Während AVMs aufgrund zahlreicher Daten und leicht identifizierbaren Merkmalen häufig mit dem Wohnungsbau verbunden sind, können diese Modelle und ihre Unsicherheitsquantifizierung über AVMU für praktisch alles gelten, mit einem Marktpreis. Denken Sie an gebrauchte Autos, Sammlerstücke oder sogar Profi -Fußballspieler. Solange es Unsicherheit bei der Vorhersage ihrer Preise gibt, kann AVMU verwendet werden, um sie zu verstehen.

Wenn Sie sich an Wohnungen halten, können Kaufentscheidungen nicht der einzige Bereich sind, in dem AVMU verwendet werden kann. Hypothekengeber verwenden AVMs häufig, um den Sicherheitswert von Eigenschaften abzuschätzen, und übersehen jedoch häufig, wie ungleichmäßig die Genauigkeit dieser Preisvorhersagen sein kann. In ähnlicher Weise können Steuerbehörden AVMs verwenden, um Ihre Grundsteuern zu bestimmen, können jedoch versehentlich unfaire Bewertungen aufgrund unbestätigter Unsicherheiten festlegen. Das Erkennen der Unsicherheit durch AVMU kann dazu beitragen, diese Bewertungen auf der ganzen Linie fairer und genauer zu machen.

Trotz seiner Vielseitigkeit ist es jedoch wichtig, sich daran zu erinnern, dass kein Avmu perfekt ist. Es ist immer noch ein statistisches Modell, das sich auf Datenqualität und -quantität stützt. Kein Modell kann die Unsicherheit vollständig beseitigen, insbesondere die zufälligen Aspekte, die den meisten Märkten innewohnt, manchmal als aleatorische oder nicht reduzierbare Unsicherheit bezeichnet. Stellen Sie sich ein frisches Ehepaar vor, das die Head-Over-Heels für eine bestimmte Küche fällt und sie auffordert, weit über dem typischen Marktwert zu bitten. Oder vielleicht ein schlechtes Wetter, das die Wahrnehmung eines Hauses eines Hauses während eines Betrachtens negativ beeinflusst. Solche unvorhersehbaren Szenarien werden immer existieren, und AVMU kann nicht jeden Ausreißer erklären.

Denken Sie daran, Avmu gibt Ihnen Wahrscheinlichkeiten, keine festen Wahrheiten. Ein Zuhause mit einer höheren AVMU -Unsicherheit ist eher Um Preisabweichungen zu erleben, ist dies nicht garantiert. Und wenn Sie denken, „denken Sie“Sollte ich ein drittes Modell machen, um die Unsicherheit meines Unsicherheitsmodells vorherzusagen?„Es ist wahrscheinlich an der Zeit zu akzeptieren, dass eine gewisse Unsicherheit einfach unvermeidlich ist. Additionally, bewaffnet mit Ihren AVMU-informierten Erkenntnissen, entspannen Sie sich, umarmen Sie die Unsicherheit und genießen Sie Ihr neues Zuhause!

Referenzen

• AJ Pollestad, Ab Næss und A. verdrängen zu einer besseren Unsicherheitsquantifizierung in automatisierten Bewertungsmodellen (2024), The Journal of Immobilie Finanzen und Wirtschaft.
• AJ Pollestad und A. verdrängen, Unsicherheit nutzen: Ein neuer Ansatz für die Entscheidungsunterstützung für Immobilieninvestitionen (2025), quantitative Finanzen.

Die Metriksammlung ist ein wesentlicher Bestandteil jedes maschinellen Lernprojekts, mit dem wir die Modellleistung verfolgen und den Trainingschritt überwachen können. Ideally suited, Metriken sollte gesammelt und berechnet werden, ohne zusätzlichen Aufwand in den Schulungsprozess einzuführen. Genau wie andere Komponenten der Trainingsschleife kann ineffiziente metrische Berechnung unnötige Gemeinkosten einführen, die Trainingsstufe erhöhen und die Schulungskosten aufblasen.

Dieser Beitrag ist der siebte in unserer Serie auf Leistungsprofilierung und Optimierung in Pytorch. Die Serie zielte darauf ab, die kritische Rolle der Leistungsanalyse zu betonen und Optimierung in der Entwicklung des maschinellen Lernens. Jeder Beitrag hat sich auf verschiedene Phasen der Trainingspipeline konzentriert und praktische Instruments und Techniken zur Analyse und Steigerung der Ressourcenauslastung und zur Laufzeiteffizienz demonstriert.

In dieser Charge konzentrieren wir uns auf die metrische Sammlung. Wir werden zeigen, wie sich eine naive Implementierung der metrischen Sammlung negativ auf die Laufzeitleistung auswirken und Instruments und Techniken für ihre Analyse und Optimierung untersuchen kann.

Um unsere metrische Sammlung zu implementieren, werden wir verwenden Torchmetrics Eine beliebte Bibliothek, die zur Vereinfachung und Standardisierung der metrischen Berechnung in der Berechnung in der Berechnung von Pytorch. Unsere Ziele werden sein,:

1. Demonstrieren Sie den Laufzeitaufwand verursacht durch eine naive Implementierung der metrischen Sammlung.
2. Verwenden Sie den Pytorch -Profiler Um Leistungs Engpässe zu bestimmen, die durch metrische Berechnung eingeführt wurden.
3. Demonstrieren Sie Optimierungstechniken Um die metrische Sammlung zu reduzieren.

Um unsere Diskussion zu erleichtern, werden wir ein Spielzeug -Pytorch -Modell definieren und beurteilen, wie sich die metrische Sammlung auf die Laufzeitleistung auswirken kann. Wir werden unsere Experimente auf einer Nvidia A40 -GPU mit a durchführen Pytorch 2.5.1 Docker Bild und TorchMetrics 1.6.1.

Es ist wichtig zu beachten, dass das metrische Sammlungsverhalten je nach {Hardware}, Laufzeitumgebung und Modellarchitektur stark variieren kann. Die in diesem Beitrag bereitgestellten Codeausschnitte dienen nur für Demonstrationszwecke. Bitte interpretieren Sie unsere Erwähnung eines Werkzeugs oder einer Technik nicht als Bestätigung für die Verwendung.

Toy Resnet -Modell

Im folgenden Codeblock definieren wir ein einfaches Bildklassifizierungsmodell mit a Resnet-18 Rückgrat.

import time
import torch
import torchvision

machine = "cuda"

mannequin = torchvision.fashions.resnet18().to(machine)
criterion = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(mannequin.parameters())

Wir definieren einen synthetischen Datensatz, mit dem wir unser Spielzeugmodell trainieren werden.

from torch.utils.information import Dataset, DataLoader

# A dataset with random pictures and labels
class FakeDataset(Dataset):
    def __len__(self):
        return 100000000

    def __getitem__(self, index):
        rand_image = torch.randn((3, 224, 224), dtype=torch.float32)
        label = torch.tensor(information=index % 1000, dtype=torch.int64)
        return rand_image, label

train_set = FakeDataset()

batch_size = 128
num_workers = 12

train_loader = DataLoader(
    dataset=train_set,
    batch_size=batch_size,
    num_workers=num_workers,
    pin_memory=True
)

Wir definieren eine Sammlung von Standardmetriken aus TorchMetrics sowie ein Kontrollflag, um die metrische Berechnung zu aktivieren oder zu deaktivieren.

from torchmetrics import (
    MeanMetric,
    Accuracy,
    Precision,
    Recall,
    F1Score,
)

# toggle to allow/disable metric assortment
capture_metrics = False

if capture_metrics:
        metrics = {
        "avg_loss": MeanMetric(),
        "accuracy": Accuracy(job="multiclass", num_classes=1000),
        "precision": Precision(job="multiclass", num_classes=1000),
        "recall": Recall(job="multiclass", num_classes=1000),
        "f1_score": F1Score(job="multiclass", num_classes=1000),
    }

    # Transfer all metrics to the machine
    metrics = {title: metric.to(machine) for title, metric in metrics.objects()}

Als nächstes definieren wir a Pytorch -Profiler Instanz, zusammen mit einem Kontrollflag, das es uns ermöglicht, das Profiling zu aktivieren oder zu deaktivieren. Ein detailliertes Tutorial zur Verwendung von Pytorch -Profiler finden Sie in der Erster Beitrag In dieser Serie.

from torch import profiler

# toggle to allow/disable profiling
enable_profiler = True

if enable_profiler:
    prof = profiler.profile(
        schedule=profiler.schedule(wait=10, warmup=2, lively=3, repeat=1),
        on_trace_ready=profiler.tensorboard_trace_handler("./logs/"),
        profile_memory=True,
        with_stack=True
    )
    prof.begin()

Zuletzt definieren wir einen Commonplace -Trainingsschritt:

mannequin.practice()

t0 = time.perf_counter()
total_time = 0
depend = 0

for idx, (information, goal) in enumerate(train_loader):
    information = information.to(machine, non_blocking=True)
    goal = goal.to(machine, non_blocking=True)
    optimizer.zero_grad()
    output = mannequin(information)
    loss = criterion(output, goal)
    loss.backward()
    optimizer.step()

    if capture_metrics:
        # replace metrics
        metrics("avg_loss").replace(loss)
        for title, metric in metrics.objects():
            if title != "avg_loss":
                metric.replace(output, goal)

        if (idx + 1) % 100 == 0:
            # compute metrics
            metric_results = {
                title: metric.compute().merchandise() 
                    for title, metric in metrics.objects()
            }
            # print metrics
            print(f"Step {idx + 1}: {metric_results}")
            # reset metrics
            for metric in metrics.values():
                metric.reset()

    elif (idx + 1) % 100 == 0:
        # print final loss worth
        print(f"Step {idx + 1}: Loss = {loss.merchandise():.4f}")

    batch_time = time.perf_counter() - t0
    t0 = time.perf_counter()
    if idx > 10:  # skip first steps
        total_time += batch_time
        depend += 1

    if enable_profiler:
        prof.step()

    if idx > 200:
        break

if enable_profiler:
    prof.cease()

avg_time = total_time/depend
print(f'Common step time: {avg_time}')
print(f'Throughput: {batch_size/avg_time:.2f} pictures/sec')

Metrische Sammlung Overhead

Um die Auswirkungen der metrischen Sammlung auf die Trainingsschrittzeit zu messen, haben wir unser Trainingsskript sowohl mit als auch ohne metrische Berechnung durchgeführt. Die Ergebnisse sind in der folgenden Tabelle zusammengefasst.

Unsere naive metrische Sammlung führte zu einem Rückgang der Laufzeitleistung von quick 10% !! Während die metrische Sammlung für die Entwicklung des maschinellen Lernens unerlässlich ist, beinhaltet sie normalerweise relativ einfache mathematische Operationen und rechtfertigt kaum einen so erheblichen Aufwand. Was ist los?!!

Identifizierung von Leistungsproblemen mit Pytorch -Profiler

Um die Quelle der Leistungsverschlechterung besser zu verstehen, können wir das Trainingsskript mit dem aktivierten Pytorch -Profiler umgeben. Die resultierende Spur ist unten dargestellt:

Die Spur zeigt wiederkehrende „Cudastreamsynchronize“ -Operationen, die mit merklichen Tropfen der GPU -Nutzung übereinstimmen. Diese Arten von „CPU-GPU-Synchronisationsereignis Teil zwei unserer Serie. In einem typischen Trainingsschritt arbeitet die CPU und die GPU parallel: Die CPU verwaltet Aufgaben wie Datenübertragungen in die GPU- und Kernelbelastung, und die GPU führt das Modell für die Eingabedaten aus und aktualisiert ihre Gewichte. Im Idealfall möchten wir die Synchronisationspunkte zwischen CPU und GPU minimieren, um die Leistung zu maximieren. Hier können wir jedoch sehen, dass die metrische Sammlung ein Synchronisierungsereignis ausgelöst hat, indem eine CPU an die GPU -Datenkopie durchgeführt wird. Dies erfordert, dass die CPU ihre Verarbeitung aushält, bis die GPU auffasst, was wiederum dazu führt, dass die GPU darauf wartet, dass die CPU die nachfolgenden Kernelvorgänge aufnimmt. Das Fazit ist, dass diese Synchronisationspunkte zu einer ineffizienten Nutzung sowohl der CPU als auch der GPU führen. Unsere Implementation für die metrische Sammlung fügt jedem Trainingsschritt acht solcher Synchronisationsereignisse hinzu.

Eine genauere Untersuchung der Spur zeigt, dass die SYNC -Ereignisse von der stammen aktualisieren Ruf der Gemein Torchmetrik. Für den erfahrenen Profilerstellungsexperten kann dies ausreichen, um die Grundursache zu identifizieren, aber wir werden einen Schritt weiter gehen und die verwenden fackel.profiler.record_function Dienstprogramm zur Identifizierung der genauen beleidigenden Codezeile.

Profilerstellung mit record_function

Um die genaue Quelle des Synchronisationsereignisses zu bestimmen, haben wir die erweitert Gemein Klasse und überschreiben die aktualisieren Methode verwendet record_function Kontextblöcke. Dieser Ansatz ermöglicht es uns, individuelle Vorgänge innerhalb der Methode zu profilieren und Leistungsgpässe zu identifizieren.

class ProfileMeanMetric(MeanMetric):
    def replace(self, worth, weight = 1.0):
        # broadcast weight to worth form
        with profiler.record_function("course of worth"):
            if not isinstance(worth, torch.Tensor):
                worth = torch.as_tensor(worth, dtype=self.dtype,
                                        machine=self.machine)
        with profiler.record_function("course of weight"):
            if weight shouldn't be None and never isinstance(weight, torch.Tensor):
                weight = torch.as_tensor(weight, dtype=self.dtype,
                                         machine=self.machine)
        with profiler.record_function("broadcast weight"):
            weight = torch.broadcast_to(weight, worth.form)
        with profiler.record_function("cast_and_nan_check"):
            worth, weight = self._cast_and_nan_check_input(worth, weight)

        if worth.numel() == 0:
            return

        with profiler.record_function("replace worth"):
            self.mean_value += (worth * weight).sum()
        with profiler.record_function("replace weight"):
            self.weight += weight.sum()

Anschließend haben wir unsere AVG_Loss -Metrik aktualisiert, um das neu erstellte ProfileMeanMetric und das Trainingskript erneut zu verwenden.

Die aktualisierte Hint zeigt, dass das Sync -Ereignis aus der folgenden Zeile stammt:

weight = torch.as_tensor(weight, dtype=self.dtype, machine=self.machine)

Dieser Vorgang wandelt den Commonplace -Skalarwert um weight=1.0 in einen Pytorch -Tensor und legt ihn auf die GPU. Das Synchronisierungsereignis tritt auf, da diese Aktion eine CPU-to-GPU-Datenkopie auslöst, wodurch die CPU darauf wartet, dass die GPU den kopierten Wert verarbeitet.

Optimierung 1: Gewichtswert angeben

Nachdem wir die Quelle des Issues gefunden haben, können wir sie leicht überwinden, indem wir a angeben Gewicht Wert in unserem aktualisieren Anruf. Dies verhindert, dass die Laufzeit den Commonplace -Skalar konvertieren weight=1.0 in einen Tensor auf der GPU und vermeiden Sie das Synchronisierungsereignis:

# replace metrics
 if capture_metric:
     metrics("avg_loss").replace(loss, weight=torch.ones_like(loss))

Nach dem Drehbuch nach der Anwendung dieser Änderung ergibt _cast_and_nan_check_input Funktion:

Profilerstellung mit record_function – Teil 2

Um unser neues Synchronisationsereignis zu untersuchen, haben wir unsere benutzerdefinierte Metrik mit zusätzlichen Profile -Sonden erweitert und unser Skript erneut übertragen.

class ProfileMeanMetric(MeanMetric):
    def replace(self, worth, weight = 1.0):
        # broadcast weight to worth form
        with profiler.record_function("course of worth"):
            if not isinstance(worth, torch.Tensor):
                worth = torch.as_tensor(worth, dtype=self.dtype,
                                        machine=self.machine)
        with profiler.record_function("course of weight"):
            if weight shouldn't be None and never isinstance(weight, torch.Tensor):
                weight = torch.as_tensor(weight, dtype=self.dtype,
                                         machine=self.machine)
        with profiler.record_function("broadcast weight"):
            weight = torch.broadcast_to(weight, worth.form)
        with profiler.record_function("cast_and_nan_check"):
            worth, weight = self._cast_and_nan_check_input(worth, weight)

        if worth.numel() == 0:
            return

        with profiler.record_function("replace worth"):
            self.mean_value += (worth * weight).sum()
        with profiler.record_function("replace weight"):
            self.weight += weight.sum()

    def _cast_and_nan_check_input(self, x, weight = None):
        """Convert enter ``x`` to a tensor and test for Nans."""
        with profiler.record_function("course of x"):
            if not isinstance(x, torch.Tensor):
                x = torch.as_tensor(x, dtype=self.dtype,
                                    machine=self.machine)
        with profiler.record_function("course of weight"):
            if weight shouldn't be None and never isinstance(weight, torch.Tensor):
                weight = torch.as_tensor(weight, dtype=self.dtype,
                                         machine=self.machine)
            nans = torch.isnan(x)
            if weight shouldn't be None:
                nans_weight = torch.isnan(weight)
            else:
                nans_weight = torch.zeros_like(nans).bool()
                weight = torch.ones_like(x)

        with profiler.record_function("any nans"):
            anynans = nans.any() or nans_weight.any()

        with profiler.record_function("course of nans"):
            if anynans:
                if self.nan_strategy == "error":
                    elevate RuntimeError("Encountered `nan` values in tensor")
                if self.nan_strategy in ("ignore", "warn"):
                    if self.nan_strategy == "warn":
                        print("Encountered `nan` values in tensor."
                              " Might be eliminated.")
                    x = x(~(nans | nans_weight))
                    weight = weight(~(nans | nans_weight))
                else:
                    if not isinstance(self.nan_strategy, float):
                        elevate ValueError(f"`nan_strategy` shall be float"
                                         f" however you move {self.nan_strategy}")
                    x(nans | nans_weight) = self.nan_strategy
                    weight(nans | nans_weight) = self.nan_strategy

        with profiler.record_function("return worth"):
            retval = x.to(self.dtype), weight.to(self.dtype)
        return retval

Die resultierende Spur wird unten erfasst:

Die Ablaufverfolgung zeigt direkt in die beleidigende Linie:

anynans = nans.any() or nans_weight.any()

Dieser Betrieb überprüft nach NaN Werte in den Eingangstensoren, jedoch ein kostspieliges CPU-GPU-Synchronisationsereignis einführt, da der Betrieb Daten von der GPU an die CPU kopiert.

Bei einer genaueren Prüfung des Torchmetric Baseaggregator Klasse finden wir mehrere Optionen für die Bearbeitung von NAN -Wert -Updates, die alle durch die beleidigende Codezeile geleitet werden. Für unseren Anwendungsfall – die Berechnung der durchschnittlichen Verlustmetrik – ist dieser Scheck jedoch unnötig und rechtfertigt die Laufzeitleistung nicht.

Optimierung 2: Deaktivieren Sie NAN -Wertprüfungen

Um den Overhead zu beseitigen, schlagen wir vor, die zu deaktivieren NaN Wertprüfungen durch Überschreiben der _cast_and_nan_check_input Funktion. Anstelle einer statischen Übersteuerung haben wir eine dynamische Lösung implementiert, die flexibel auf alle Nachkommen der angewendet werden kann BaseaggregatorKlasse.

from torchmetrics.aggregation import BaseAggregator

def suppress_nan_check(MetricClass):
    assert issubclass(MetricClass, BaseAggregator), MetricClass
    class DisableNanCheck(MetricClass):
        def _cast_and_nan_check_input(self, x, weight=None):
            if not isinstance(x, torch.Tensor):
                x = torch.as_tensor(x, dtype=self.dtype, 
                                    machine=self.machine)
            if weight shouldn't be None and never isinstance(weight, torch.Tensor):
                weight = torch.as_tensor(weight, dtype=self.dtype,
                                         machine=self.machine)
            if weight is None:
                weight = torch.ones_like(x)
            return x.to(self.dtype), weight.to(self.dtype)
    return DisableNanCheck

NoNanMeanMetric = suppress_nan_check(MeanMetric)

metrics("avg_loss") = NoNanMeanMetric().to(machine)

Nachoptimierungsergebnisse: Erfolg

Nach der Implementierung der beiden Optimierungen – Angabe des Gewichtswerts und Deaktivieren der NaN Überprüfungen – Wir finden die Schrittzeitleistung und die GPU -Auslastung, die denen unseres Baseline -Experiments entspricht. Darüber hinaus zeigt die resultierende Pytorch -Profiler -Hint, dass alle zusätzlichen Ereignisse „Cudastreamsynchronize“, die mit der metrischen Sammlung verbunden waren, eliminiert wurden. Mit ein paar kleinen Änderungen haben wir die Schulungskosten um ~ 10% gesenkt, ohne dass sich das Verhalten der Metriksammlung ändert.

Im nächsten Abschnitt werden wir eine zusätzliche Optimierung der metrischen Sammlung untersuchen.

Beispiel 2: Optimierung der Metrik -Geräteplatzierung

Im vorherigen Abschnitt befanden sich die Metrikwerte auf der GPU, sodass sie logisch die Metriken auf der GPU speichern und berechnen können. In Szenarien, in denen sich die Werte, die wir aggregieren möchten, auf der CPU liegen, kann es jedoch vorzuziehen sein, die Metriken auf der CPU zu speichern, um unnötige Geräteübertragungen zu vermeiden.

Im folgenden Codeblock ändern wir unser Skript, um die durchschnittliche Schrittzeit mit a zu berechnen Gemein auf der CPU. Diese Änderung hat keinen Einfluss auf die Laufzeitleistung unseres Trainingsschritts:

avg_time = NoNanMeanMetric()
t0 = time.perf_counter()

for idx, (information, goal) in enumerate(train_loader):
    # transfer information to machine
    information = information.to(machine, non_blocking=True)
    goal = goal.to(machine, non_blocking=True)

    optimizer.zero_grad()
    output = mannequin(information)
    loss = criterion(output, goal)
    loss.backward()
    optimizer.step()

    if capture_metrics:
        metrics("avg_loss").replace(loss)
        for title, metric in metrics.objects():
            if title != "avg_loss":
                metric.replace(output, goal)

        if (idx + 1) % 100 == 0:
            # compute metrics
            metric_results = {
                title: metric.compute().merchandise()
                    for title, metric in metrics.objects()
            }
            # print metrics
            print(f"Step {idx + 1}: {metric_results}")
            # reset metrics
            for metric in metrics.values():
                metric.reset()

    elif (idx + 1) % 100 == 0:
        # print final loss worth
        print(f"Step {idx + 1}: Loss = {loss.merchandise():.4f}")

    batch_time = time.perf_counter() - t0
    t0 = time.perf_counter()
    if idx > 10:  # skip first steps
        avg_time.replace(batch_time)

    if enable_profiler:
        prof.step()

    if idx > 200:
        break

if enable_profiler:
    prof.cease()

avg_time = avg_time.compute().merchandise()
print(f'Common step time: {avg_time}')
print(f'Throughput: {batch_size/avg_time:.2f} pictures/sec')

Das Downside tritt auf, wenn wir versuchen, unser Skript zu erweitern, um verteilte Schulungen zu unterstützen. Um das Downside zu demonstrieren, haben wir unsere Modelldefinition geändert, um sie zu verwenden DistributedDataparallel (DDP) :

# toggle to allow/disable ddp
use_ddp = True

if use_ddp:
    import os
    import torch.distributed as dist
    from torch.nn.parallel import DistributedDataParallel as DDP
    os.environ("MASTER_ADDR") = "127.0.0.1"
    os.environ("MASTER_PORT") = "29500"
    dist.init_process_group("nccl", rank=0, world_size=1)
    torch.cuda.set_device(0)
    mannequin = DDP(torchvision.fashions.resnet18().to(machine))
else:
    mannequin = torchvision.fashions.resnet18().to(machine)

# insert coaching loop

# append to finish of the script:
if use_ddp:
    # destroy the method group
    dist.destroy_process_group()

Die DDP -Modifikation führt zum folgenden Fehler:

RuntimeError: No backend sort related to machine sort cpu

Standardmäßig werden Metriken im verteilten Coaching so programmiert, dass alle im verwendeten Geräte über alle Geräte synchronisiert werden. Das von DDP verwendete Synchronisations -Backend unterstützt jedoch keine auf der CPU gespeicherten Metriken.

Eine Möglichkeit, dies zu lösen, besteht darin, die Cross-System-Metriksynchronisation zu deaktivieren:

avg_time = NoNanMeanMetric(sync_on_compute=False)

In unserem Fall ist diese Lösung akzeptabel, wenn wir die durchschnittliche Zeit messen. In einigen Fällen ist die metrische Synchronisation jedoch unerlässlich, und wir haben möglicherweise keine andere Wahl, als die Metrik auf die GPU zu bewegen:

avg_time = NoNanMeanMetric().to(machine)

Leider führt diese Scenario zu einem neuen CPU-GPU-Synchronisationsereignis aus dem aktualisieren Funktion.

Dieses Synchronisierungsereignis sollte kaum überraschen – nach allem aktualisieren wir eine GPU -Metrik mit einem Wert, der sich auf der CPU befindet, was eine Speicherkopie erfordern sollte. Bei einer skalaren Metrik kann diese Datenübertragung jedoch mit einer einfachen Optimierung vollständig vermieden werden.

Optimierung 3: Führen Sie metrische Aktualisierungen mit Tensoren anstelle von Skalaren durch

Die Lösung ist unkompliziert: Anstatt die Metrik mit einem Float -Wert zu aktualisieren replace.

batch_time = torch.as_tensor(batch_time)
avg_time.replace(batch_time, torch.ones_like(batch_time))

Diese geringfügige Änderung umgeht die problematische Codezeile, beseitigt das SYNC -Ereignis und stellt die Schrittzeit für die Basisleistung wieder her.

Auf den ersten Blick magazine dieses Ergebnis überraschend erscheinen: Wir würden erwarten, dass die Aktualisierung einer GPU -Metrik mit einem CPU -Tensor noch eine Speicherkopie erfordern sollte. Pytorch optimiert jedoch den Vorgang auf skalaren Tensoren, indem ein dedizierter Kernel verwendet wird, der die Zugabe ohne explizite Datenübertragung durchführt. Dies vermeidet das teure Synchronisierungsereignis, das sonst auftreten würde.

Zusammenfassung

In diesem Beitrag haben wir untersucht, wie ein naiver Ansatz für TorchMetrics CPU-GPU-Synchronisierungsereignisse einführen und die Pytorch-Trainingsleistung erheblich beeinträchtigen kann. Mit dem Pytorch -Profiler haben wir die Codezeilen identifiziert, die für diese Synchronisierungsereignisse verantwortlich sind, und gezielte Optimierungen angewendet haben, um sie zu beseitigen:

• Geben Sie beim Aufrufen des MeanMetric.replace Funktion anstatt sich auf den Standardwert zu verlassen.
• Deaktivieren Sie NAN -Überprüfungen in der Foundation Aggregator Klasse oder ersetzen Sie sie durch eine effizientere Various.
• Verwalten Sie die Geräteplatzierung jeder Metrik sorgfältig, um unnötige Übertragungen zu minimieren.
• Deaktivieren Sie die metrische Synchronisation mit Cross-System-Synchronisation, wenn nicht erforderlich.
• Wenn die Metrik auf einer GPU liegt replace Funktion, um implizite Synchronisation zu vermeiden.

Wir haben eine engagierte geschaffen Anfrage ziehenauf der Torchmetrics GithubSeiten, die einige der in diesem Beitrag diskutierten Optimierungen abdecken. Bitte zögern Sie nicht, Ihre eigenen Verbesserungen und Optimierungen beizutragen!

Missbrauch von Bezeichnern, falsche Datenaufteilung und Ignorieren seltener Merkmalswerte

Eine große Freude daran, dass ich schon so lange im Bereich des maschinellen Lernens tätig bin, ist die Möglichkeit, immer etwas Neues zu lernen. Dass etwas Neues entweder ein neues Werkzeug oder eine neue Methodik sein kann (angesichts der rasanten Entwicklung in der maschinellen Lernlandschaft gibt es nie einen Mangel daran), aber es kann auch die Entdeckung fehlerhafter Prozesse in unserer Arbeit sein, die uns einfach nie bewusst waren von.

Einige davon können recht undurchsichtig und auf den ersten Blick schwer zu erkennen sein. Wenn sich diese fehlerhaften Prozesse tatsächlich in Ihre Modellentwicklung einschleichen, besteht eine gute Probability, dass dadurch die Vorhersagekraft und damit die Zuverlässigkeit und letztlich auch die Anwendbarkeit beeinträchtigt werden.

In diesem Artikel, der den Beginn einer Reihe darstellt, die sich mit häufigen Fallstricken beim maschinellen Lernen befasst, konzentrieren wir uns auf drei Fehler bei der Datenverarbeitung, die sowohl während der Vorverarbeitungsphase als auch während der Modellierungsphase auftreten können:

1. Numerische Bezeichner als Merkmale verwenden
2. Zufällige Partitionierung statt Gruppenpartitionierung
3. Einbeziehen von Merkmalswerten mit unzureichenden Beobachtungen

Bild vom Autor | Erstellt auf Canva

Ein effektiver und beeindruckender Lebenslauf ist wichtig, wenn Sie eine Stelle im Bereich Datenwissenschaft ergattern möchten. Allerdings machen viele Kandidaten Fehler, die dazu führen, dass ihr Lebenslauf nicht aus der Masse hervorsticht und zu Vorstellungsgesprächen führt.

Dieser Leitfaden führt Sie durch fünf häufige Fehler im Lebenslauf, die angehende Datenwissenschaftler häufig machen. Keine Sorge, wir geben Ihnen auch praktische Tipps, wie Sie sie vermeiden können.

Fangen wir an.

1. Keine praktischen und beeindruckenden Projekte präsentieren

Eine große Gefahr in vielen Lebensläufen im Bereich Information Science ist das Fehlen nützlicher Projekte. Obwohl Zertifizierungen und Abschlüsse wichtig sind, möchten Personalmanager sehen, wie Sie Ihre Fähigkeiten auf reale Probleme anwenden.

Warum das wichtig ist

• Ohne starke Projekte bleiben Personalvermittler oft im Unklaren darüber, ob sich theoretisches Wissen auf reale Probleme anwenden lässt.
• Projekte sind der beste Weg, die Wirkung Ihrer Fähigkeiten zu zeigen, z. B. wie Sie Geschäftsprozesse verbessert oder Geschäftsfragen beantwortet haben.

Wie man es vermeidet

• Nehmen Sie in Ihrem Lebenslauf mindestens 3-5 verschiedene Projekte auf. Arbeiten Sie mit realen Datensätzen. Konzentrieren Sie sich auf die Erstellung und Bereitstellung von Modellen für maschinelles Lernen. Und verlinken Sie auf das Projekt in Ihrem Portfolio.
• Achten Sie darauf, die von Ihnen verwendeten Instruments (Python, R und SQL), die von Ihnen verwendeten Bibliotheken, die Größe des Datensatzes und spezifische Ergebnisse oder geschäftliche Auswirkungen hervorzuheben.
• Verwenden Sie nach Möglichkeit Metriken. Beispiel: „Erstellte ein Vorhersagemodell, das die Kundenabwanderung mithilfe von Random-Forest-Algorithmen auf einem Datensatz von 100.000 Kundendatensätzen um 15 % reduzierte.“

Wenn Sie ein Anfänger ohne vorherige Erfahrung in der Datenwissenschaft sind, beginnen Sie mit der Mitarbeit an Open-Supply-Projekten, der Teilnahme an Kaggle-Wettbewerben und persönlichen Projekten am Wochenende.

2. Zu viele Schlagworte hinzufügen, anstatt Fähigkeiten zu demonstrieren

Ein Lebenslauf voller datenwissenschaftlicher Fachbegriffe wie „maschinelles Lernen“, „Deep Studying“ oder „Huge Information“ magazine beeindruckend erscheinen. Aber wenn es nur eine Liste von Schlagworten ohne Beweise ist, kann es nach hinten losgehen.

Warum das wichtig ist

• Personalvermittler und Personalmanager suchen nach Beweisen für Ihre Fähigkeiten und nicht nur nach deren Erwähnung als Schlüsselwörter.
• Das Laden Ihres Kompetenzbereichs mit allen Instruments und Bibliotheken, mit denen Sie vertraut sind, kann sich negativ auf Sie auswirken, wenn Sie nicht über die nennenswerte Erfahrung oder Projekte verfügen.

Wie man es vermeidet

• Anstatt Begriffe wie „Datenbereinigung“ oder „prädiktive Modellierung“ allgemein aufzulisten, beschreiben Sie sie Wie Sie haben diese Fähigkeiten in einem bestimmten Projekt angewendet.
• Anstatt beispielsweise zu schreiben: „Beherrscht maschinelles Lernen“, können Sie auch sagen: „Ich habe eine Pipeline für maschinelles Lernen entwickelt, die hochwertige Kunden identifizierte, was zu einer 20-prozentigen Steigerung der Umsatzkonvertierung führte.“

Kurz gesagt, Sie sollten sich auf greifbare Ergebnisse und Ergebnisse konzentrieren, die mit Ihren Fähigkeiten zusammenhängen, anstatt nur technische Begriffe aufzulisten.

3. Passen Sie Ihren Lebenslauf nicht ausreichend an

Wenn es um Lebensläufe im Bereich Information Science geht, gibt es keine Einheitslösung. Wenn Sie für jede Stelle, auf die Sie sich bewerben, denselben Lebenslauf senden, können sich Ihre Chancen auf ein Vorstellungsgespräch erheblich verringern.

Warum das wichtig ist

• Information Science ist ein weites Feld und jedes Unternehmen hat je nach Branche unterschiedliche Erwartungen und Anforderungen.
• Wenn Ihr Lebenslauf zu allgemein gehalten ist, können Personalvermittler erkennen, dass Sie sich nicht die Zeit genommen haben, ihre spezifischen Bedürfnisse zu verstehen. Ein Lebenslauf, der für eine Stelle als ML-Ingenieur bei einem Begin-up für medizinische Bildgebung eingereicht wird, sollte nicht mit dem Lebenslauf identisch sein, den Sie für eine Stelle als Datenwissenschaftler bei einem Fintech-Unternehmen einreichen.

Wie man es vermeidet

• Passen Sie Ihren Lebenslauf für jede Stelle an, indem Sie Ihre Projekte, Fähigkeiten und Schlüsselwörter an die Stellenbeschreibung anpassen. Aber seien Sie ehrlich und nennen Sie nur Projekte und Fähigkeiten, an denen Sie gearbeitet haben.
• Stellen Sie sicher, dass Sie Erfahrungen hervorheben, die direkt mit der Branche des Unternehmens übereinstimmen. Legen Sie beispielsweise bei einer finanzorientierten Stelle den Schwerpunkt auf Projekte im Zusammenhang mit Finanzdaten oder Risikoanalysen.

Dies ist nur möglich, wenn Sie diversifizieren und an einer Reihe von Projekten arbeiten, je nachdem, in welcher Branche Sie als Datenwissenschaftler arbeiten möchten.

4. Auswirkungen und Erfolge nicht quantifizieren

Der Job eines Datenwissenschaftlers dreht sich um Zahlen und Daten. Wenn Sie es additionally versäumen, Erfolge in Ihrem Lebenslauf zu quantifizieren, ist das eine verpasste Likelihood . Zahlen verleihen Ihren Behauptungen Glaubwürdigkeit und zeigen die tatsächliche Wirkung Ihrer Arbeit.

Warum das wichtig ist

• Vage Beschreibungen wie „verbesserte Datengenauigkeit“ oder „entwickelte Vorhersagemodelle“ vermitteln dem Personalvermittler kein Gefühl für Größe oder Erfolg.
• Quantifizierbare Kennzahlen sind leicht zu verstehen und tragen dazu bei, dass Ihre Beiträge hervorstechen.

Wie man es vermeidet

• Beziehen Sie Kennzahlen für jedes relevante Projekt oder jede Berufserfahrung ein. Konzentrieren Sie sich auf Dinge wie Genauigkeitsverbesserungen, Kosteneinsparungen, Zeitreduzierungen oder geschäftliche Auswirkungen.
• Wenn Sie keine genauen Zahlen angeben können, verwenden Sie Näherungswerte wie „ca. 10 % Verbesserung“ oder „Verarbeitungszeit um quick die Hälfte reduziert“.

Das ist tremendous wichtig; Denn selbst wenn Sie an komplexen und interessanten Projekten gearbeitet haben, sollten Sie in der Lage sein, über deren Auswirkungen zu sprechen.

5. Mushy Abilities und Geschäftssinn werden vernachlässigt

Während Information Science sehr technisch ist, suchen Unternehmen zunehmend nach Kandidaten, die auch Mushy Abilities wie Kommunikation, Teamarbeit und vor allem ein gutes Verständnis dafür haben, wie Unternehmen funktionieren.

Obwohl Mushy Abilities meist in die Kategorie „Zeigen, nicht erzählen“ fallen. Sich nur auf technisches Fachwissen zu konzentrieren und diese Bereiche zu ignorieren, kann schädlich sein.

Warum das wichtig ist

• Als Datenwissenschaftler sollten Sie in der Lage sein, komplexe Erkenntnisse auch technisch nicht versierten Stakeholdern zu vermitteln.
• Unternehmen wollen Datenwissenschaftler, die datengesteuerte Entscheidungen treffen können, die mit den Geschäftszielen im Einklang stehen und Geschäftsprobleme lösen.

Wie man es vermeidet

• Widmen Sie bei Bedarf einen Abschnitt Ihres Lebenslaufs den Mushy Abilities. Erwähnen Sie alle Fälle, in denen Sie das Projekt dem Crew vorgestellt oder teamübergreifend zusammengearbeitet haben.
• Wenn möglich, verknüpfen Sie Ihre technischen Erfolge mit den Geschäftsergebnissen. Dies zeigt, dass Sie die umfassendere Wirkung Ihrer Arbeit verstehen.

Oh, und keine Sorge. In späteren Phasen des Vorstellungsgesprächs gibt es zahlreiche Möglichkeiten, Mushy Abilities unter Beweis zu stellen.

Abschluss

Beim Erstellen eines aussagekräftigen Lebenslaufs im Bereich Information Science geht es um mehr als nur die Auflistung technischer Fähigkeiten und die Beschreibung von Projekten. Wie bereits erwähnt, ist es erforderlich, die realen Auswirkungen Ihrer Projekte darzustellen, nach Möglichkeit Kennzahlen hinzuzufügen und Ihre Erfahrung an die Jobrollen anzupassen.

Indem Sie diese häufigen Fehler vermeiden und die aufgeführten Tipps befolgen, können Sie einen Lebenslauf erstellen, der auf dem Arbeitsmarkt im Bereich Datenwissenschaft heraussticht.

Als nächstes lesen Sie 7 Schritte zu Ihrem ersten Job im Bereich Information Science.

Bala Priya C ist ein Entwickler und technischer Redakteur aus Indien. Sie arbeitet gerne an der Schnittstelle von Mathematik, Programmierung, Datenwissenschaft und Inhaltserstellung. Zu ihren Interessen- und Fachgebieten gehören DevOps, Datenwissenschaft und Verarbeitung natürlicher Sprache. Sie liebt es zu lesen, zu schreiben, zu programmieren und Kaffee zu trinken! Derzeit arbeitet sie daran, zu lernen und ihr Wissen mit der Entwickler-Group zu teilen, indem sie Tutorials, Anleitungen, Meinungsbeiträge und mehr verfasst. Bala erstellt außerdem ansprechende Ressourcenübersichten und Programmier-Tutorials.

1. Bestes VPN für Ingenieure – 3 Monate kostenlos – Bleiben Sie on-line sicher mit einer kostenlosen Testversion

2. Bestes Projektmanagement-Software für Tech-Groups – Steigern Sie noch heute die Effizienz Ihres Groups

4. Bestes Passwortverwaltungstool für Tech-Groups – Zero-Belief- und Zero-Information-Sicherheit

Sie denken vielleicht, es hat keinen Sinn, darüber zu lesen, was man nicht bauen sollte. Aber die Verbreitung von Daten und analytischen Plattform-Instrumentsdie Tatsache, dass der Trendy Knowledge Stack (MDS) an Bedeutung verliert, und die vielen Artikel zum Thema „Aufbau einer Datenplattform“ haben mich dazu veranlasst, diese Warnung auszusprechen.

Dies ist eine Warnung an IT-Experten, die für größere Unternehmen arbeiten. Da jeder Berater dazu neigt, alle Fragen zu beantworten, hängt es von Ihrer spezifischen State of affairs ab, ob diese Warnung related ist. Entscheiden Sie sich additionally selbst anhand der Hintergrundinformationen, die ich Ihnen hier zur Verfügung stelle.

Vielleicht, weil Zhamak Dehghani es so nannte „Dateninfrastruktur als Plattform“oder weil die Cloud-Anbieter uns „Knowledge Platform as a Service (DPaaS – nicht zu verwechseln mit Knowledge Safety as a Service)“ verkaufen, oder weil der Aufbau einer Plattform einfach in Mode ist, sind wir von dieser Idee besessen.

Aber was ist eine Datenplattform eigentlich?

Um den Wertbeitrag besser zu verstehen, betrachten wir das Cloud-Computing-Modell einer Plattform. Es bietet Entwicklern eine Plattform zum Erstellen, Bereitstellen und Verwalten von Anwendungen, ohne sich mit der zugrunde liegenden Infrastruktur befassen zu müssen. PaaS…

Es gibt eine Reihe von riesigen Vorteile von Massive Knowledge in der Welt des Marketings. Immer mehr Vermarkter nutzen Massive Knowledge, um ihre Kunden besser zu verstehen, die effektivsten Werbemedien zu finden und ihre Kreativität zu optimieren.

Leider gibt es einige Herausforderungen, die Unternehmen, die Massive Knowledge für ihre Marketingstrategien nutzen, muss sich auseinandersetzen mitEiner davon besteht darin, Datenduplizierung zu vermeiden.

Datenduplizierung in datengetriebenes Advertising kann mehrere Probleme verursachen. Zunächst einmal erhöht es die Speicherkosten. Es kann auch zu Ineffizienzen bei der Datenverarbeitung und -analyse führen, da duplizierte Daten die Analyseergebnisse verfälschen können, was zu ungenauen Erkenntnissen und schlechten Entscheidungen führt. Ein weiteres Downside ist, dass es zu einer schlechten Kundenerfahrung führen kann; Kunden könnten beispielsweise doppelte Marketingmitteilungen erhalten, was ärgerlich sein und den Ruf der Marke schädigen kann. Darüber hinaus verbraucht die Verwaltung und Bereinigung duplizierter Daten wertvolle Zeit und Ressourcen, die besser für andere strategische Aktivitäten eingesetzt werden könnten. Letztendlich untergräbt die Datenduplizierung die allgemeine Effektivität und Effizienz datengesteuerter Marketingbemühungen.

Datenduplizierung kann besonders frustrierend sein für datengesteuerte Vermarkter, die Salesforce verwenden. Tausende von Unternehmen verlassen sich auf Salesforce, wenn es um Informationen über ihre Kunden und Interessenten geht. Groups treffen stündlich wichtige Segmentierungs- und Outreach-Entscheidungen auf Grundlage der Daten. Die Entscheidungen sind jedoch nur so intestine wie die Daten, auf denen sie basieren. Wenn die Datenqualität schlecht ist, erzielen die daraus resultierenden Entscheidungen möglicherweise nicht die gewünschten Ergebnisse. Aus diesem Grund werden Salesforce-Instruments zur Duplikatsverwaltung für Marketingfachleute, Vertriebsleiter und Betreiber gleichermaßen immer wichtiger.

Was macht Qualitätsdaten aus?

Was macht Daten schmutzig?

Wie kommt es in Salesforce zur Duplizierung?

So bereinigen Sie Salesforce-Daten

Egal, wie sorgfältig ein Unternehmen vorgeht, Daten müssen immer bereinigt werden. Die Festlegung einer Datenverwaltungsrichtlinie erleichtert die Identifizierung und Bereinigung von verschmutzten Daten. Wenn Ihr Unternehmen beginnt, die Leistungsfähigkeit sauberer Daten zu erkunden und zu nutzen, ist es außerdem ebenso wichtig, die SOC 2-Compliance-Requirements zu erfüllen, um die Datenintegrität zu wahren und Kundendaten zu schützen. Stellen Sie daher bei der Suche nach einer Plattform zum Testen und für eine Partnerschaft sicher, dass Sie deren Compliance-Richtlinien vollständig verstehen, und wählen Sie einen Spezialisten in der Deduplizierungsbranche aus, der diese erfüllt. SOC 2-Konformität für Datensicherheit. Durch die Erstellung eines Datenbereinigungsprozesses wie dem folgenden wird sichergestellt, dass alle Informationen denselben Requirements entsprechen.

1. Daten prüfen. Der erste Schritt besteht darin, die Daten zu prüfen und festzustellen, welche Einträge Duplikate sind. Bei der Suche nach Duplikaten ist Genauigkeit unerlässlich, um zu vermeiden, dass mögliche Duplikate durchkommen.
2. Duplikate entfernen. Entfernen Sie doppelte Datensätze und stellen Sie sicher, dass der endgültige Datensatz so vollständig wie möglich ist.
3. Entfernen Sie irrelevante Daten. Nicht jedes Datenfeld in doppelten Datensätzen ist für Salesforce related. Durch das Entfernen irrelevanter Informationen werden Datensatzgröße und Datenvolumen reduziert, sodass eine schnellere und genauere Verarbeitung möglich ist.
4. Daten standardisieren. Durch das Festlegen von Datenstandards kann Salesforce alle seine Daten nutzen, um Berichte für Entscheidungsträger bereitzustellen und zu übermitteln.
5. Daten validieren. Um sicherzustellen, dass die Salesforce-Informationen korrekt sind, müssen die Daten durch Plausibilitätsprüfungen validiert werden.

Fehlerhafte Daten führen zu fehlerhaften Ergebnissen. Salesforce-Benutzer benötigen ein Bereinigungstool, das doppelte Datensätze und ungenaue Daten entfernt.

Warum sollte man zur Bereinigung von Salesforce-Daten künstliche Intelligenz (KI) verwenden?

KI-Algorithmen können mehr Daten in kürzerer Zeit verarbeiten als herkömmliche Datenverarbeitungsprogramme. Sie reduzieren die Zeit, die Menschen mit der Überprüfung fragwürdiger Daten verbringen, indem sie Vergleichsmodelle anstelle einer regelbasierten Verarbeitung verwenden. KI kann die Ergebnisse kontextualisieren, um Merkmale zu extrahieren, die automatisch angewendet werden, um die Genauigkeit zu verbessern. Große Sprachmodelle (LLMs) helfen dabei, Ähnlichkeiten und Unterschiede auf granularer Ebene zu identifizieren, um eine bessere Übereinstimmung zu erzielen. Ein beeindruckendes Beispiel für robuste Salesforce-Instruments zur Duplikatsverwaltung ist DataGroomr, das KI-Technologie und bewährte Methoden der Datenverwaltung kombiniert, um mehr Duplikate zu erfassen und Datenfelder zu bereinigen, um genauere Informationen zu erhalten.

• Erfasst mehr doppelte Daten
• Bereinigt Datenfelder
• Integriert KI
• Wendet bewährte Methoden an

Wenn Ihre Salesforce-Daten doppelte Informationen enthalten, die die Berichterstellung erschweren und Mitarbeiter frustrieren, starten Sie einen Check mit einer Deduplizierungs- und Datenqualitätslösung, die Duplikate eliminiert und gleichzeitig maschinelle Lerntechniken nutzt, um im weiteren Verlauf weitere Duplikate aus Ihren Daten zu entfernen. Die Investition in die Überprüfung von Datensätzen und die Normalisierung Ihrer Daten ermöglicht es Unternehmen jeder Größe, Vorgänge autonom und effizient zu planen und auszuführen.