Im Jahr 2022 waren die Dinge völlig anders.

Kinder wissen heutzutage nicht, wie es ist.

Früher habe ich Stunden damit verbracht:

• Schreiben Sie Python- und SQL-Code von Grund auf Zeile für Zeile
• Merken, welche Bibliotheken importiert werden sollen und welche Funktionen sie enthalten (aus sklearn.metrics import r2_score)
• Debuggen von Codefehlern
• Dokumentation für meinen Code schreiben
• Erstellen von Dashboards zur Analyse großer Datenmengen

Selbst im letzten Jahr, als die KI-Instruments immer fortschrittlicher wurden, hat sich mein Job als Datenwissenschaftler verändert. Ich bin weniger eine Programmiermaschine als vielmehr ein Stratege. Jemand, der die Daten in meiner Organisation wirklich intestine versteht und weiß, wie man sie am besten präsentiert und daraus Erkenntnisse ableitet.

Claude verändert die Dinge noch schneller

Claude ist eines dieser Werkzeuge, von denen ich glaube, dass sie die Branche und diese Karriere schneller verändern werden, als sich irgendjemand vorstellen kann. Ich werde nicht lügen, es ist irgendwie beängstigend. Gleichzeitig gibt es Möglichkeiten für Datenwissenschaftler, sich dieses Software zu eigen zu machen, es zu beherrschen und weiterhin die Nase vorn zu haben.

Hier sind 3 ENTSCHEIDENDE Fähigkeiten, an deren Beherrschung jeder Datenwissenschaftler jetzt arbeiten sollte:

1. Claude Dashboards

Früher habe ich einen ganzen Tag damit verbracht, für einen Kunden ein Tableau-Dashboard zu erstellen, nur um ein paar Fragen zu einem großen Datensatz zu untersuchen, der in ein paar Monaten vielleicht nie wieder angeschaut werden würde.

Jetzt kann Claude in wenigen Minuten ein voll funktionsfähiges, interaktives Dashboard erstellen, komplett mit:

• KPI-Metrikkarten
• Liniendiagramme
• Balkendiagramme
• Drilldown-Schaltflächen
• Tabs
• … und mehr

Lassen Sie uns ein einfaches Beispiel mit dem zeigen Stündlicher AEP-Energiedatensatz (CC0-Lizenz).

Claude-Eingabeaufforderung:

Ich habe einen Zeitreihendatensatz des stündlichen Energieverbrauchs (AEP_MW) mit einer Datums-/Uhrzeitspalte. Erstellen Sie mir ein interaktives HTML-Dashboard, das Folgendes umfasst:

1. Vier KPI-Karten mit durchschnittlicher Auslastung, Spitzenlast, minimaler Auslastung,
und Sommer-Winter-Vergleich
2. Ein Liniendiagramm, das die durchschnittliche Auslastung professional Stunde des Tages, aufgeteilt nach Wochentag und Wochenende, zeigt
3. Ein Balkendiagramm der durchschnittlichen monatlichen Auslastung, wobei höhere Monate in einer wärmeren Farbe hervorgehoben sind
4. Ein Balkendiagramm der durchschnittlichen Auslastung professional Wochentag mit Wochenenden in einer anderen Farbe. Verwenden Sie einen klaren, minimalistischen Stil.

Das Ergebnis sieht so aus:

Aus dem Dashboard stechen sofort einige Erkenntnisse hervor, die mit einer rohen CSV-Datei nicht möglich wären:

• Der Verbrauch an Wochentagen erreicht gegen 17:00 und 18:00 Uhr seinen Höhepunkt, während er am Wochenende früher (gegen 14:00 Uhr) seinen Höhepunkt erreicht und insgesamt auf einem niedrigeren Niveau liegt
• Der Verbrauch im Juli und August ist deutlich höher als in den Frühlingsmonaten, was eine starke Sommersaisonabhängigkeit aufgrund der Belastung der Klimaanlage bestätigt
• Samstags und sonntags sind die Belastungen durchweg etwa 10 % niedriger als an Wochentagen

Diese Arten von Dashboards eignen sich perfekt für EDA sowie für die Erstellung einmaliger Berichte für Stakeholder, die einfach nur wissen möchten, was zu einem bestimmten Zeitpunkt vor sich geht. Sie können auch ein Dashboard nach einem Zeitplan erstellen, sodass Sie jede Woche einen neuen Bericht erhalten.

2. Claude Cowork für die Priorisierung von Jira-Tickets und -Aufgaben

So sah ein typischer Montagmorgen für mich aus: Öffnen Sie Jira, klicken Sie sich durch 20 offene Tickets, versuchen Sie, sich den Kontext jedes einzelnen zu merken, finden Sie heraus, was was blockiert, und erstellen Sie eine grobe Prioritätenliste für die Woche.

Claude Cowork unterscheidet sich von Claude Chat dadurch, dass es tatsächlich eine Verbindung zu Ihrem Desktop herstellt und Dateien lesen/schreiben kann. Es kann eine Verbindung zu Jira (oder einer anderen Scrum-/Agile-Plattform) herstellen und Ihre Prioritäten für die Woche zusammenfassen. Hier ist ein Beispiel:

Ziehen Sie alle meine offenen Tickets aus dem aktuellen Dash. Geben Sie mir für jedes Ticket Folgendes: die Ticket-ID, eine Zusammenfassung dessen, was in einem Satz passieren muss, den aktuellen Standing und etwaige Blocker. Ordnen Sie sie nach Priorität und sagen Sie mir, was ich heute zuerst in Angriff nehmen soll.

Hier sind einige weitere Eingabeaufforderungen, die Sie mit Cowork verwenden können:

Tickets für Jira schreiben

Hier sind meine Notizen vom heutigen Mannequin-Evaluate-Assembly: (Notizen einfügen – oder Hyperlink zu den Notizen, wenn Ihr Cowork mit Google Drive verbunden ist). Erstellen Sie Jira-Tickets für jedes Aktionselement im DS-Projekt.
Schreiben Sie für jeden einen klaren Titel und eine zweiteilige Beschreibung dessen, was
was passieren muss und warum, legen Sie die Priorität basierend auf der Dringlichkeit fest,
und ordne sie dem aktuellen Dash zu.

Vorbereitung auf ein Stakeholder-Assembly

Lesen Sie die Kommentare der letzten drei Wochen zu Tickets mit dem Tag „Modellbereitstellung“ und schreiben Sie mir eine 5-Punkte-Statuszusammenfassung, die ich mit dem Leiter des Technikteams teilen kann. Halten Sie es untechnisch.

Erstellung einer Dokumentation von Grund auf

Öffnen Sie die Datei preprocessing_pipeline.py in meinem Projektordner und schreiben Sie einen README-Abschnitt, in dem erklärt wird, was die Pipeline tut, welche Eingaben sie erwartet und was sie ausgibt.

Berichterstattung zum Ende des Sprints

Schreiben Sie auf der Grundlage der geschlossenen Tickets dieses Sprints eine Sprintzusammenfassung mit drei Absätzen für meinen Vorgesetzten, in der dargelegt wird, was wir versandt haben, was wir gelernt haben und was auf den nächsten Dash übertragen wird.

Das spart enorm Zeit und sorgt außerdem für eine bessere Organisation.

3. Debuggen mit Claude Code

Claude Code ist ein Befehlszeilentool, das in Ihrem Terminal ausgeführt wird und vollen Zugriff auf Ihre Codebasis bietet. Es kann:

• Lesen Sie Dateien in Ihrem gesamten Projekt
• Befehle ausführen
• Führen Sie Checks durch
• Nehmen Sie Änderungen über mehrere Dateien hinweg vor

Für Datenwissenschaftler ist das Debuggen von Pipelines die unmittelbar nützlichste Anwendung.

Hier ist ein reales Szenario, das mir kürzlich bei der Arbeit mit dbt begegnet ist. Die Namen der Modelle und Dateien wurden geändert, sodass ich keine vertraulichen Unternehmensinformationen weitergebe.

Ich bin gerannt dbt run --select fct_energy_forecast und habe das hier bekommen:
Database Error in mannequin fct_energy_forecast column "meter_reading_mw" doesn't exist LINE 14: AVG(meter_reading_mw) AS avg_load_mw,

Das Drawback bei DBT-Modellen besteht darin, dass ein Spaltenfehler in einem Downstream-Mart-Modell Ihnen nichts sagt Wo Die Säule ist tatsächlich kaputt gegangen. Es hätte in der Rohquelle, im Staging-Modell, in einer Zwischen-Aggregationsschicht oder im Mart selbst umbenannt werden können. Um die Grundursache manuell zu finden, müssten Sie jede Datei in der Abhängigkeitskette einzeln öffnen, den Spaltennamen bei jeder Transformation verfolgen und herausfinden, wo der alte Title nie aktualisiert wurde. Bei einem Projekt mit 24 Modellen und 6 Quellen könnte das mehr als eine Stunde Lesen, erneutes Ausführen und Neuaufbauen von Modellen erfordern.

Ich habe es stattdessen Claude Code gegeben:

Mein DBT-Modell fct_energy_forecast schlägt mit „Spalte meter_reading_mw existiert nicht“ fehl.
Finden Sie heraus, wo diese Spalte stromaufwärts definiert ist, und verfolgen Sie alle abhängigen Elemente
Modelle und Quelldateien, finden Sie heraus, was passiert ist, und beheben Sie das Drawback.

Claude las jede Datei in der Abhängigkeitskette und kam nach etwa 40 Sekunden mit einer Diagnose zurück.

Anschließend wurde der Repair auf alle drei Zeilen angewendet, das Modell erneut ausgeführt und bestätigt, dass es erfolgreich struggle.

Abschluss

Wenn sich die Instruments weiterentwickeln, werden sich auch unsere Rollen weiterentwickeln. Claude verändert die Artwork der Arbeit, die Datenwissenschaftler letztendlich leisten werden. Anstatt 8 Stunden am Tag damit zu verbringen, verschiedene DBT- und Python-Fehler zu debuggen, werden diese Fehler in 2 Minuten behoben, sodass wir mehr Zeit haben, tiefer in unsere Daten einzutauchen und wichtigere Fragen zu stellen. Als Datenwissenschaftler im Jahr 2026 ist es wichtig, dass wir unsere Fähigkeiten kontinuierlich erweitern und auf dem neuesten Stand bleiben.

Es ist auch wichtig zu beachten, dass Claude zwar über viele Fähigkeiten verfügt, es ist immer noch KI und kann (und tut) Fehler machen. Datenwissenschaftler, die Claude beherrschen, werden weiterhin benötigt, um Daten zu validieren, Eingabeaufforderungen und Prozesse zu verbessern und Claude zu korrigieren, wenn er falsch ist.

Danke fürs Lesen

Fühlen Sie sich inspiriert, Ihren ersten TDS-Beitrag zu schreiben? Wir sind immer offen für Beiträge neuer Autoren.

Ganz gleich, ob Sie gerade Ihr Studium oder Ihr Bootcamp abgeschlossen haben oder aus einem anderen Bereich in eine Knowledge-Science-Place wechseln möchten: Die verschiedenen Wege zu Ihrem ersten (oder zweiten oder dritten) Job führen über ein sich ständig veränderndes Terrain. Die erforderlichen Fähigkeiten entwickeln sich ständig weiter, täglich tauchen neue Instruments und Technologien auf und der Arbeitsmarkt selbst ist in den letzten Jahren wettbewerbsintensiver geworden. Was kann ein angehender Datenwissenschaftler tun?

Nun, ein guter erster Schritt wäre es, die Highlights dieser Woche zu lesen, die diese immerwährenden Fragen mit aktuellen Erkenntnissen und umsetzbaren Ratschlägen beantworten. Von der Orientierung als Freiberufler bis hin zur erfolgreichen Vermarktung Ihres vorhandenen Wissens und Ihrer Erfahrung bieten diese Artikel konkrete Roadmaps, die auf den eigenen beruflichen Werdegängen der Autoren basieren. Viel Spaß beim Lesen!

• Die zwei Seiten der Einstellung: Rekrutierung vs. Vorstellungsgespräche für Datenrollen in verschiedenen Märkten
  Nachdem ich mich auf mehr als 150 Stellen beworben und über 500 Bewerbungen in mehreren Ländern geprüft habe, Marina Tosic hat eine einzigartige Sicht auf die Faktoren, die den Erfolg von Datenwissenschaftlern bei der Jobsuche bestimmen. Sie schlüsselt sie in nützliche Tipps auf, die Sie anwenden und an Ihre spezifische Scenario anpassen können.
• Mathematik, nach der ich in Interviews mit Datenwissenschaftlern suche
  Der Umfang an Mathematik, den Sie als Datenprofi benötigen, variiert stark je nach Rolle, Branche und Unternehmen – es ist jedoch alles andere als sicher, dass Sie in einigen Schlüsselbereichen über Grundkenntnisse verfügen müssen. Farzad Nobarder seit mehreren Jahren in der Personalbeschaffung bei Amazon tätig ist, erläutert die Themen und Ansätze, die Sie fließend beherrschen müssen, um zu zeigen, dass Sie über ein solides Fundament verfügen und sich von anderen Kandidaten abheben.

• Meine freiberufliche Erfahrung als Geodatenwissenschaftler bei Upwork nach 10 Monaten
  Was machen Sie, wenn Sie in die Welt der freiberuflichen und beratenden Datenwissenschaft einsteigen möchten, Ihre Fähigkeiten aber „etwas selten und seltsam“ sind, wie es bei Praktikern mit akademischem Hintergrund häufig der Fall ist? Aleksei Rozanov teilt pragmatische Erkenntnisse, die auf der quick einjährigen Arbeit am Aufbau seines Profils und der Erweiterung seines Netzwerks auf der beliebten Freelance-Plattform Upwork basieren.
• Was Sie wissen müssen, bevor Sie im Jahr 2024 zu einer Karriere im Bereich Knowledge Science wechseln
  „Jeder möchte in die KI einsteigen, und doch dreht sich bei Stellenanzeigen alles um Cloud, Entwicklung und Betrieb. Was sollten Sie additionally tun, wenn Sie im Jahr 2024 in die Datenwissenschaft einsteigen möchten?“ Sabrine Bendimerad reflektiert den Wandel des Arbeitsmarktes in den letzten Jahren und bietet einen Schritt-für-Schritt-Plan für angehende Datenwissenschaftler, die gerne in das Feld einsteigen möchten, aber nicht sicher sind, wo sie anfangen sollen.

Bild von DALL-E

So wie die Welt der Daten wächst, wächst auch die Welt der Datenwissenschaft. Mit der Welt der Datenwissenschaft Schritt zu halten, ist an sich schon ein Vollzeitjob. Der Markt wächst ständig, und es werden neue Instruments entwickelt, die auf den Markt kommen und Chaos verursachen. Und dann hat man das Drawback, diese neuen Instruments zu erlernen, ihr volles Potenzial zu verstehen, was sie ersetzen können oder ob es sich nur um ein weiteres Add-on handelt.

Mit all dem Schritt zu halten, kann anstrengend sein. Deshalb ist es wichtig, dass Sie als Datenwissenschaftler die richtigen Werkzeuge in Ihrem Werkzeugkasten haben, um in Ihrer Arbeit erfolgreich zu sein.

Ein gutes Werkzeug verbessert Ihre Arbeitsweise. Ein großartiges Werkzeug verbessert Ihre Denkweise.

Python

Wenn Sie eine Programmiersprache für Information Science wählen, wird es höchstwahrscheinlich Python sein. Es ist ein Goldstandard mit der größten Information-Science-Benutzerbasis. Viele Information-Science-Instruments werden in Python geschrieben und die Group ist die größte, am schnellsten wachsende und aktivste. Es wäre dumm, dies nicht in Ihrem Werkzeugkasten zu haben!

Kurse zum Erlernen von Python:

Mathematik und Statistik

Mathematik und Statistik. Die Elemente der Datenwissenschaft, die dafür sorgen, dass Datenwissenschaft Sinn ergibt! Sie sind die Bausteine ​​von Algorithmen des maschinellen Lernens. Sie helfen Ihnen, ein Drawback zu verstehen und ermöglichen es Ihnen, sie zur Lösungsfindung zu verwenden. Von der Erkennung von Mustern bis zur Ausgabe gewünschter Ergebnisse aus großen, komplexen Datensätzen können Datenwissenschaftler mithilfe von Mathematik und Statistik Erkenntnisse gewinnen und Ergebnisse zuverlässig interpretieren.

Kurse zum Erlernen von Mathematik und Statistik:

Datenvisualisierungstools

Als Datenwissenschaftler sollten Sie stolz auf Ihre Ergebnisse sein und dafür sorgen, dass sie ansprechend aussehen! Denken Sie aber auch daran, dass andere Stakeholder möglicherweise nicht sehr technisch versiert sind und Visualisierungen daher für sie wichtig sind. So verstehen sie die Datenwissenschaft. Wenn Sie Ihre Erkenntnisse auf verschiedene Weise visualisieren können, können Sie sie besser kommunizieren, ohne viel reden zu müssen.

Sie können verschiedene Bibliotheken verwenden, beispielsweise Matplotlib, oder es stehen Visualisierungstools wie Tableau zur Verfügung. Sie müssen nur herausfinden, welches davon für Sie und Ihr Unternehmen am besten geeignet ist.

Kurse zum Erlernen der Datenvisualisierung:

SQL

Structured Question Language, kurz SQL, ist eine Programmiersprache, die für die Verwaltung von Daten in einer relationalen Datenbank entwickelt wurde. Als Datenwissenschaftler werden Sie viele Datenbanken verwalten und SQL ist Ihr Schlüssel zum Durchforsten der Daten. Mit SQL können Sie mit strukturierten Daten arbeiten, die in Datenbanken gespeichert sind, aus denen Sie Daten einfach extrahieren, bearbeiten und analysieren können. Vielleicht möchten Sie hauptsächlich Python oder SQL lernen, oder Sie möchten unerfahren sein und beides lernen!

Kurse zum Erlernen von SQL:

Rahmenbedingungen

Da die Welt der Datenwissenschaft, des maschinellen Lernens und der künstlichen Intelligenz in unserem Alltag immer wichtiger wird, ist es auch wichtig, dass es Instruments und Software program gibt, mit denen Entwickler sicherstellen können, dass die Pipeline von Anfang bis Ende präzise und effektiv ist. Frameworks bieten eine versatile Palette von Softwarekomponenten, mit denen Entwickler die Softwareentwicklung bis zur Produktionsbereitstellung beschleunigen können.

Wenn es um Frameworks geht, gibt es eine Reihe von Frameworks, die in der Datenwissenschaftswelt beliebt sind, zum Beispiel TensorFlow, PyTorch, Pandas, Keras und mehr. Als Datenwissenschaftler müssen Sie alle diese Frameworks lernen, da sie zu verschiedenen Zeiten für Sie von Nutzen sein könnten.

Kurse zum Erlernen verschiedener Frameworks:

Einpacken

Der Lernprozess eines Datenwissenschaftlers ist endlos. Es werden immer neue Instruments und Software program auf den Markt kommen. Wenn Sie jedoch die richtigen Instruments in Ihrem Werkzeugkasten haben, ist das Erlernen neuer Fähigkeiten ein Kinderspiel.

Nisha Arya ist Datenwissenschaftlerin, freiberufliche technische Redakteurin und Redakteurin und Group-Managerin für KDnuggets. Sie ist besonders daran interessiert, Karriereberatung oder Tutorials für die Datenwissenschaft sowie theoriebasiertes Wissen rund um die Datenwissenschaft bereitzustellen. Nisha deckt ein breites Themenspektrum ab und möchte die verschiedenen Möglichkeiten erkunden, wie künstliche Intelligenz die Langlebigkeit des menschlichen Lebens verbessern kann. Als eifrige Lernerin möchte Nisha ihr technisches Wissen und ihre Schreibfähigkeiten erweitern und gleichzeitig anderen helfen, Anleitung zu geben.

Bild vom Autor

Es kommen Unmengen neuer Technologien auf den Markt. Und während neue Instruments und Software program unser Leben einfacher machen oder Unternehmen beim Wachstum helfen, erleben wir gleichzeitig eine Zunahme von Cyberbedrohungen.

Wir sind uns alle einig, dass sich das Leben nach der Pandemie etwas hart anfühlt und wir alle versuchen, zur Normalität zurückzukehren. Trotzdem gehen manche gerne gegen den Strom und finden neue Wege, um in Systeme einzudringen, Dienste zu stören und Daten zu stehlen. Deshalb brauchen wir die richtigen Leute, die diese Bedrohungen identifizieren und eindämmen.

Cyber-Sicherheitsanalysten.

Was machen Cybersicherheitsanalysten?

Die Hauptaufgabe eines Cybersicherheitsanalysten besteht darin, das Netzwerk und die Systeme einer Organisation vor Angriffen zu schützen. Dazu gehört, sich über kommende IT-Tendencies zu informieren, Notfallpläne zu erstellen, verdächtige Aktivitäten aller Artwork zu überprüfen und in der Lage zu sein, Sicherheitsverletzungen richtig zu melden und so schnell wie möglich zu beheben.

Safety Intelligence erklärte, dass die Zahl der Cybersicherheitsmitarbeiter um 12,6 % professional JahrIm Jahr 2023 betrug das Wachstum jedoch nur noch 8,7 %.

Welche Qualifikationen benötigen Sie?

Im Laufe der Jahre wurde von den meisten Cybersicherheitsexperten ein Bachelor-Abschluss in Informationssicherheit, Informatik, Programmierung oder einem ähnlichen Bereich verlangt. Wie oben erwähnt, besteht jedoch eine hohe Nachfrage nach Cybersicherheitsexperten, was dazu führt, dass Organisationen beim Einstellungsprozess etwas nachsichtiger sind.

Immer mehr Unternehmen akzeptieren Bewerber mit einer Zertifizierung als Cybersecurity-Analyst. Dadurch können mehr Menschen in den Markt einsteigen, ohne noch einmal an die Universität gehen zu müssen.

Welche Cybersicherheits-Zertifizierung sollte ich machen?

Das Cybersicherheitszertifikat von Google

Verknüpfung: Googles Cybersicherheits-Zertifizierung

Diese von Google auf der Coursera-Plattform angebotene Zertifizierung richtet sich an Anfänger, die in den Bereich Cybersicherheit einsteigen möchten. Sie benötigen keine Vorkenntnisse und können in Ihrem eigenen Tempo arbeiten. Wenn Sie 7 Stunden professional Woche investieren, können Sie den Kurs in 6 Monaten abschließen.

In dieser Zertifizierung verstehen Sie die Bedeutung von Cybersicherheitspraktiken und deren Auswirkungen auf Organisationen. Sie werden auch in der Lage sein, allgemeine Risiken, Bedrohungen und Schwachstellen sowie Techniken zu deren Eindämmung zu identifizieren.

Aber das ist noch nicht alles: Erfahren Sie, wie Sie Netzwerke, Geräte, Personen und Daten mithilfe von SIEM-Instruments (Safety Info and Occasion Administration) vor unbefugtem Zugriff und Cyberangriffen schützen und sammeln Sie praktische Erfahrungen mit Python, Linux und SQL.

Microsoft Cybersecurity Analyst Skilled-Zertifikat

Verknüpfung: Microsoft Cybersecurity Analyst Skilled-Zertifikat

Diese Zertifizierung wird von Microsoft angeboten und besteht aus einer 9-Kursreihe für Anfänger. Sie können in Ihrem eigenen Tempo und mit einem flexiblen Zeitplan lernen. Wenn Sie 10 Stunden professional Woche investieren, können Sie diese Zertifizierung in 6 Monaten abschließen.

In dieser Zertifizierung lernen Sie die Cybersicherheitslandschaft kennen und lernen grundlegende Konzepte für Sicherheit, Compliance und Identitätslösungen kennen. Außerdem lernen Sie die Schwachstellen eines Unternehmensnetzwerks kennen und können Angriffe auf Netzwerkinfrastrukturen abwehren, um Daten zu schützen.

Gehen Sie noch einen Schritt weiter und entwickeln und implementieren Sie Bedrohungsminderungsstrategien, indem Sie effektive Cybersicherheitsmaßnahmen in einer Azure-Umgebung anwenden. Anschließend können Sie Ihre neuen Fähigkeiten in einem Abschlussprojekt unter Beweis stellen und sich auf die branchenweit anerkannte Microsoft SC-900-Zertifizierungsprüfung vorbereiten.

IBM Cybersecurity Analyst Skilled-Zertifikat

Verknüpfung: IBM Cybersecurity Analyst Skilled-Zertifikat

Diese Zertifizierung wird von IBM angeboten und besteht aus einer 8-Kursreihe. Sie richtet sich auch an Anfänger, für die keine Vorkenntnisse erforderlich sind. Es handelt sich um eine Zertifizierung im eigenen Tempo, daher gibt es keine Frist. Wenn Sie 10 Stunden professional Woche investieren, können Sie die Zertifizierung in 4 Monaten abschließen und auch Studienpunkte erwerben.

In dieser Zertifizierung entwickeln Sie Kenntnisse über Analysetools für Cybersicherheit, einschließlich Datenschutz, Endpunktschutz, SIEM sowie System- und Netzwerkgrundlagen. Sie lernen auch wichtige Compliance- und Bedrohungsinformationen kennen, die in der heutigen Cybersicherheitslandschaft wichtig sind.

Insgesamt erwerben Sie Fähigkeiten zur Reaktion auf Vorfälle und zur Forensik anhand realer Fallstudien zur Cybersicherheit und sammeln praktische Erfahrungen zur Entwicklung von Fähigkeiten mithilfe branchenspezifischer und Open-Supply-Sicherheitstools.

Einpacken

3 großartige Kursanbieter, alle auf einer Plattform. Die nächste Entscheidung, die Sie treffen müssen, ist, welchen Sie wählen. Das liegt ganz bei Ihnen. Sehen Sie sich die Bewertungen an und lesen Sie, was andere sagen. Oder vielleicht ist Ihr Traumjob Cybersicherheitsanalyst bei IBM – dann ist die Wahl nicht so schwer!

Nisha Arya ist Datenwissenschaftlerin, freiberufliche technische Redakteurin und Redakteurin und Neighborhood-Managerin für KDnuggets. Sie ist besonders daran interessiert, Karriereberatung oder Tutorials für die Datenwissenschaft sowie theoriebasiertes Wissen rund um die Datenwissenschaft bereitzustellen. Nisha deckt ein breites Themenspektrum ab und möchte die verschiedenen Möglichkeiten erkunden, wie künstliche Intelligenz die Langlebigkeit des menschlichen Lebens verbessern kann. Als eifrige Lernerin möchte Nisha ihr technisches Wissen und ihre Schreibfähigkeiten erweitern und gleichzeitig anderen helfen, Anleitung zu geben.

Spoiler-Alarm: Die Antwort ist vielleicht! Allerdings verrät die Verwendung des Wortes „eigentlich“ meine Voreingenommenheit.

Vektordatenbanken haben derzeit ihren großen Durchbruch. Drei verschiedene Vektordatenbank-Unternehmen haben Geld mit Bewertungen von bis zu 700 Millionen Greenback eingesammelt (Paywall-Hyperlink). Überraschenderweise liegt ihr Popularitätsanstieg nicht an ihrem „ursprünglichen“ Zweck in Empfehlungssystemen, sondern eher an ihrer Verwendung als Hilfswerkzeug für Massive Language Fashions (LLMs). Viele On-line-Beispiele für die Kombination von Embeddings mit LLMs zeigen Ihnen, wie sie die Embeddings in einer Vektordatenbank speichern.

Während dies für einen Proof of Idea intestine und schnell ist, ist die Einführung einer neuen Infrastruktur immer mit Kosten verbunden, insbesondere wenn es sich bei dieser Infrastruktur um eine Datenbank handelt. Ich werde in diesem Blogbeitrag ein wenig auf diese Kosten eingehen, aber mich interessiert vor allem, ob es überhaupt einen greifbaren Nutzen gibt.

Warum eine Vektordatenbank?

Ich denke, ich werde die obligatorische Erklärung der Einbettungen überspringen. Andere haben Erledigt Das viel besser als ich. Nehmen wir additionally an, Sie wissen, was Einbettungen sind und dass Sie planen, einige davon einzubetten. Dinge (wahrscheinlich Dokumente, Bilder oder „Entitäten“ für ein Empfehlungssystem). Normalerweise verwenden die Leute eine Vektordatenbank, damit sie schnell die Am ähnlichsten Einbettungen zu einer gegebenen Einbettung. Vielleicht haben Sie eine Reihe von Bildern eingebettet und möchten andere Hunde finden, die einem bestimmten Hund ähnlich sehen. Oder Sie betten den Textual content einer Suchanfrage ein und möchten die 10 Dokumente finden, die der Suchanfrage am ähnlichsten sind. Mit Vektordatenbanken können Sie dies sehr schnell erledigen.

Vorsätzliche Berechnung

Vektordatenbanken können Ähnlichkeiten schnell berechnen, weil sie diese bereits vorab berechnet haben. Ähm, um honest zu sein, sie haben etwa vorab berechnet. Für $N$ Entitäten sind $O(N^{2})$ Berechnungen erforderlich, um die Ähnlichkeit zwischen jedem einzelnen Ingredient und jedem anderen Ingredient zu berechnen. Wenn Sie Spotify sind und über 100 Millionen Titel haben, kann dies eine ziemlich große Berechnung sein! (Zum Glück ist es zumindest peinlich parallel). Vektordatenbanken ermöglichen es Ihnen, etwas Genauigkeit gegen Geschwindigkeit einzutauschen, sodass Sie die (ungefähr) ähnlichsten Entitäten zu einer bestimmten Entität problemlos berechnen können.

Musst du Vor-aber die Ähnlichkeit zwischen jeder Entität berechnen? Ich denke dabei an Batch versus Streaming für Knowledge Engineering oder Batch-Vorhersage versus Echtzeit-Inferenz für ML-Modelle. Ein Vorteil von Batch ist, dass es Echtzeit vereinfacht. Ein Nachteil von Batch ist, dass Sie berechnen müssen allesunabhängig davon, ob Sie es wirklich brauchen oder nicht.

Um Ähnlichkeiten zu messen, können Sie diese Berechnung in Echtzeit durchführen. Für insgesamt $N$ Entitäten beträgt die Zeitkomplexität für die Berechnung der okay ähnlichsten Entitäten zu einer bestimmten Entität $O(N)$. Dies ergibt sich aus einigen Annahmen: Wir verwenden Kosinusähnlichkeit als Ähnlichkeitsmetrik und gehen davon aus, dass die Einbettungen bereits normalisiert wurden. Dann beträgt es für eine Einbettungsdimension $d lt lt N$ $O(Nd)$, die Ähnlichkeit zwischen einer bestimmten Einbettung und allen anderen $N$ Einbettungen zu berechnen. Um die okay ähnlichsten Entitäten zu finden, müssen wir ein weiteres $O(N + okay log(okay))$ hinzufügen. Das ergibt insgesamt ungefähr $O(N)$.

In numpyDie „Echtzeit“-Berechnung umfasst 3 Codezeilen:

# vec -> 1D numpy array of form D
# mat -> 2D numpy array of form N x D
# okay -> variety of most comparable entities to search out.
similarities = vec @ mat.T
partitioned_indices = np.argpartition(-similarities, kth=okay)(:okay)
top_k_indices = partitioned_indices(np.argsort(-similarities(partitioned_indices)))

Beweisbasierte Behauptungen

Abhängig von Ihrer Größe von $N$ und Ihren Latenzanforderungen kann $O(N)$ sehr vernünftig sein! Um meinen Standpunkt zu beweisen, habe ich einen kleinen Benchmark zusammengestellt. Den gesamten Code für den Benchmark finden Sie hier nn-gegen-ann GitHub-Repository.

Für meinen Benchmark initialisiere ich zufällig $N$ Einbettungen mit jeweils 256 Dimensionen. Dann messe ich die Zeit, die es braucht, um die 5 „nächsten Nachbarn“ (additionally die ähnlichsten) Einbettungen zu einer bestimmten Einbettung auszuwählen. Ich führe diesen Benchmark für einen Bereich von $N$ Werten mit zwei verschiedenen Ansätzen durch:

• numpy ist die „Echtzeit“-Berechnung, die die nächste Nachbarberechnung mit voller Genauigkeit und ohne Vorkalkulation durchführt.
• hnswlib Verwendet hnswlib um ungefähre nächste Nachbarn vorab zu berechnen.

Die Ergebnisse sind unten dargestellt, wobei beide Achsen logarithmisch sind. Es ist schwer zu erkennen, wenn wir es mit logarithmisch-logischen Skalen zu tun haben, aber numpy skaliert linear mit $N$. Die Latenz beträgt ungefähr 50 Millisekunden professional Million Einbettungen. Je nach Ihren $N$- und Latenzanforderungen können 50 ms für 1 Million Einbettungen vollkommen ausreichend sein! Darüber hinaus sparen Sie sich die Komplikation, eine Vektordatenbank einzurichten und die ~100 Sekunden zu warten, um diese Millionen Einbettungen zu indizieren.

Aber das ist nicht honest

Eyyyyy, du hast mich erwischt! Ich habe viele Faktoren in diesem Argument übersehen und ignoriert. Hier sind ein paar Gegenargumente, die related sein könnten:

1. Der numpy Dieser Ansatz erfordert, dass ich alles im Speicher behalte, was nicht skalierbar ist.
2. Wie kann man das überhaupt in die Produktion umsetzen? numpy Ansatz? Einlegen und array? Das klingt schrecklich, und wie aktualisiert man es dann?
3. Was ist mit all den anderen Vorteilen einer Vektordatenbank, wie beispielsweise der Metadatenfilterung?
4. Was ist, wenn ich wirklich viele Einbettungen habe?
5. Sollten Sie nicht mit dem Hacken aufhören und stattdessen einfach das richtige Werkzeug für die jeweilige Aufgabe verwenden?

Lassen Sie mich nun meine eigenen Gegenargumente vorbringen:

1. Die numpy Dieser Ansatz erfordert, dass ich alles im Speicher behalte, was nicht skalierbar ist.

Ja, obwohl Vektordatenbanken auch erfordern, dass Dinge im Speicher gehalten werden (glaube ich?). Außerdem können Sie heutzutage Maschinen mit sehr viel Speicher erwerben. Außerdem können Sie Ihre Einbettungen im Speicher abbilden, wenn Sie Speicher gegen Zeit tauschen möchten.

2. Wie kann man das überhaupt produzieren? numpy Ansatz? Einlegen und array? Das klingt schrecklich, und wie aktualisiert man es dann?

Ich bin froh, dass du gefragt hast! Ich habe tatsächlich produziert diesen Ansatz bei einem Startup, bei dem ich gearbeitet habe. Jeden Tag habe ich ein kontrastives Lernmodell für Bildähnlichkeiten trainiert, um gute Bilddarstellungen zu lernen. Ich habe die Bildeinbettungen als JSON in S3 geschrieben. Ich hatte eine API, die die ähnlichsten Bilder für ein Eingabebild berechnete, indem ich die numpy Methode im Benchmark. Diese API hatte einen asynchronen Hintergrundjob, der von Zeit zu Zeit nach neuen Einbettungen auf S3 suchte. Wenn neue Einbettungen gefunden wurden, wurden sie einfach in den Speicher geladen.

3. Was ist mit all den anderen Vorteilen einer Vektordatenbank, wie beispielsweise der Metadatenfilterung?

Ja, und deshalb sollten Sie vielleicht einfach Ihre vorhandene Datenbank verwenden (oder sogar Erweitern Sie es!) oder eine bewährte Dokumentendatenbank wie Elasticsearch anstelle einer Vektordatenbank. Wenn Sie nach verschiedenen Metadaten filtern müssen, speichern Sie diese Metadaten bereits in Ihrer „normalen“ Datenbank? Wenn ja, wird es ärgerlich sein, diese Daten mit einem neuen System synchronisieren zu müssen. Ich bin sicherlich kein Fan von diesem.

4. Was ist, wenn ich wirklich viele Einbettungen habe?

Dann müssen Sie vielleicht einfach eine spezialisierte Vektor-Datenbank verwenden (obwohl ich glaube, dass Elasticsearch unterstützt ungefähre nächste Nachbarn). Eine Sache, die ich noch einmal überprüfen würde, ist, dass Sie Ihre Suche nicht auf eine vernünftige Anzahl von Einbettungen reduzieren können, bevor Sie Ihre Ähnlichkeitsberechnungen durchführen. Wenn Sie beispielsweise nach den ähnlichsten Hemden zu einem bestimmten Hemd suchen, müssen Sie keine Ähnlichkeiten für Nicht-Hemden berechnen!

5. Sollten Sie nicht mit dem Hacken aufhören und stattdessen einfach das richtige Werkzeug für die jeweilige Aufgabe verwenden?

Wie bei den meisten Dingen gehe ich davon aus, dass das richtige Instrument für die Aufgabe wahrscheinlich das Instrument ist, das Sie bereits verwenden. Und dieses Instrument ist wahrscheinlich Postgres oder Elasticsearch, wenn Sie es wirklich brauchen.

Schöne neue Welt

Meine Argumente sind vielleicht alle hinfällig, wenn man bedenkt, dass wir uns in eine Welt großer, offener LLMs bewegen, die Zugriff auf beispielsweise die gesamte Wikipedia benötigen, um Fragen beantworten zu können. Für diese Anwendungen sind Vektordatenbanken sicherlich sinnvoll. Mich interessieren jedoch eher nicht offene LLMs, und ich frage mich, inwieweit diese Vektordatenbanken erfordern werden. Mal sehen, was passiert! Bei dem Tempo, in dem die Dinge voranschreiten, kann ich den Nachmittag nicht vorhersagen, additionally werde ich einfach versuchen, mein Mittagessen zu genießen.