stellt jemand bei der Arbeit eine Model dieser Frage: Wird KI meinen Job wegnehmen? Ich gebe zu, dass ich selbst eine Model derselben Frage gestellt habe. Aber nachdem ich mit den KI-Experten gesprochen habe, den Entwicklern einiger dieser KI-Agenten, nachdem ich die Entwicklung der KI gesehen habe und nachdem ich KI tatsächlich in meine Arbeitsweise integriert habe, stellt sich mir die Frage wenn KI meinen Job übernehmen wird macht mir keine Angst mehr. Ich bin einfach neugieriger und überlege viel bewusster, was ich mit dem Lernen verbringe.

Als ich 2021 meinen Analytics-Job begann, dachte ich, dass das Schreiben von SQL- oder Python-Code und das Erstellen von Dashboards wertvolle Fähigkeiten seien, und das stimmte auch. Mir wurde schnell klar, dass die eigentliche Fähigkeit, die ich verbessern sollte, darin besteht, ein chaotisches Geschäftsproblem in ein Datenproblem zu übersetzen und dann Erkenntnisse zu gewinnen, die für die Menschen tatsächlich Sinn ergeben. Aber jetzt, mit dem KI-Increase, weiß ich nicht, wie lange ich das überhaupt noch als meine Stärke bezeichnen kann.

Als ChatGPT im Jahr 2022 in aller Munde battle, hatte ich das Gefühl, dass KI kurzfristig überbewertet und langfristig unterschätzt wird, und ich habe das Gefühl, dass dies immer mehr zutrifft.

Die Branche entwickelt sich schneller, als die meisten von uns zugeben können, und nicht einmal die Leute, die diese Systeme bauen, wissen genau, wohin die Reise geht.

KI-Instruments werden von Monat zu Monat besser darin, die Artwork von Wissen zu absorbieren, das früher nur in den Köpfen älterer Menschen existierte, etwa den geschäftlichen Kontext, den man normalerweise erst nach mehreren Jahren im Job erlernt. Wenn dieses Wissen dokumentiert und an ein KI-System übergeben wird, steht es jedem zur Verfügung, der es benötigt, und bleibt nicht in den Köpfen der Fachexperten.

Wenn Stammeswissen niedergeschrieben wird, verschwimmen die Grenzen zwischen den Rollen.

Von einem Datenanalysten wird erwartet, dass er die Aufgaben eines Dateningenieurs übernimmt. Ein Software program-Ingenieur kann ein A/B-Testergebnis interpretieren – eine Aufgabe, die früher eher einem Datenwissenschaftler oblag. Mithilfe von KI-Agenten kann jemand ohne jeglichen technischen Hintergrund ein Dashboard erstellen, für das ein ausgebildeter Analyst vor fünf Jahren einen ganzen Nachmittag gebraucht hätte.

Ich habe dies erst letzte Woche so genau beobachtet: Ein Scrum Grasp musste Projektabwicklungsdaten von zwei Plattformen kombinieren und konnte mit Hilfe von Copilot eine Datenpipeline entwerfen und ein funktionierendes Energy BI-Dashboard erstellen, ohne für die grundlegende Arbeit auf einen Datenanalysten angewiesen zu sein. Als ich hinzugezogen wurde, brauchte er nur noch Hilfe bei der Automatisierung des Prozesses und der Verbesserung des Storytellings. Dies könnte für jeden ein normaler Dienstag sein, aber für mich battle es eine Erinnerung daran, dass KI die Grenzen zwischen Rollen schnell verwischt und viele technische Fähigkeiten allgemein zugänglich macht.

Nichts davon bedeutet, dass die Analytik verschwinden wird. Es deutet lediglich darauf hin, dass die Hindernisse für die Umsetzung sinken und unser Wert zunehmend auf Urteilsvermögen, Kontext, Einfluss und der Fähigkeit beruht, Informationen in sinnvolle Entscheidungen umzuwandeln.

Meine fundierte Vermutung ist, dass es in den nächsten fünf Jahren möglicherweise nicht mehr den geradlinigen Karriereverlauf vom Datenanalysten zum Senior-Analysten zum Principal-Analysten in der Kind geben wird, wie wir ihn heute kennen. Die traditionelle Einstiegsrolle des Schreibens von Abfragen, Erstellen von Dashboards und Ausführen von Berichten wird wahrscheinlich viel mehr erfordern. Stattdessen werden wir hybride Rollen sehen, die an der Schnittstelle von KI, Enterprise, Datenanalyse und Softwareentwicklung angesiedelt sind.

Ich kann noch nicht so tun, als wüsste ich genau, wie das aussieht. Niemand tut es. Aber basierend darauf, wie ich die Dinge sehe, hier Was ich heute tatsächlich tue, um sicherzustellen, dass meine Analysen nicht von der KI gefressen werden

• Ich habe aufgehört, das Verfassen von Abfragen, das Erstellen von Diagrammen und das Erstellen von Berichten als mein gesamtes Wertversprechen zu betrachten. KI ermöglicht es vielen Menschen, diese Arbeit selbst zu erledigen, ohne dass ich dabei behilflich sein muss. Wenn das alles ist, was ich anbiete, konkurriere ich stillschweigend mit dem Instrument, anstatt es zu nutzen. Mit diesem Verständnis arbeite ich daran wachsen ich selbst noch mehr an der Schnittstelle von Geschäftswissen, analytischem Urteilsvermögen und KI-Systemdesign.
• Ich versuche es verstehen, wie die Systeme tatsächlich funktionieren: Wie KI-Agenten denken, wie man den Kontext für sie strukturiert, wie man das Bindegewebe zwischen KI und meinen Daten aufbaut. Dies wird bald kein „nice-to-have“-Wissen mehr sein, sondern ein fester Bestandteil eines Analysten-Toolkits.
• Verdoppeln Sie das Urteilsvermögen, das die KI immer noch nicht reproduzieren kann für Dinge wie:
  • Wissen, wann die KI Sie stillschweigend anlügt, indem sie Erkenntnisse erfindet
  • Überlebensvoreingenommenheit erkennen, bevor sie eine Entscheidung beeinflusst
  • Die Grenze zwischen Korrelation und Kausalität wahren
  • Erkennen Sie Ihre eigene Bestätigungsvoreingenommenheit, bevor sie Sie erwischt
  • Den Unterschied zwischen einer Beobachtung und einer tatsächlichen Einsicht erkennen
  • Ich verhandele zunächst darüber, was eine Metrik überhaupt bedeuten soll, bevor ich mit der Messung beginne

• Auch ich baue weiter auf menschliche Fähigkeiten. Ich lese gerne über Kognitionswissenschaft und darüber, wie sich Menschen an Veränderungen anpassen, und ich habe gelernt, dass menschliche (Comfortable-)Expertise nicht so zur Ware werden, wie es bei einer SQL-Abfrage der Fall ist. Sie erfordern, dass man mit Unklarheiten sitzt und ein Unternehmen intestine genug versteht, um zu wissen, wie eine Zahl aussehen sollte, bevor man sie überhaupt gesehen hat. Laborious Expertise verschaffen einem außerdem den Job, Comfortable Expertise hingegen die Beförderung, daher setze ich im Second einen Großteil meiner Energie ein.
• Ich versuche eine zu bauen starkes Urteilsvermögen in skalierbare Systeme zu integrieren, anstatt es in Ihrem eigenen Kopf zu behalten, erhalten Sie am Ende etwas wirklich Wertvolles.
• Ich habe begonnen, KI-Agenten auf drei Arbeitsebenen einzusetzen: Ausführung, Optik, Und Auswirkungen. Mit der richtigen Steuerung versuche ich, KI dazu zu bringen, die Ausführung zu beschleunigen, indem sie Recherche, Analyse und Inhaltserstellung automatisiert und gleichzeitig die Optik verbessert, indem sie die Arbeit in klare, überzeugende Erzählungen für die Beteiligten umwandelt. Das Ergebnis dieser Bemühungen hat es mir ermöglicht, die geschäftlichen Auswirkungen effektiv zu kommunizieren und einen besseren Einblick in den geschaffenen Wert zu schaffen.

Rückblick, Blick nach vorn

Vor fünf Jahren dachte ich, intestine in einem Analytics-Job zu sein bedeutet, intestine mit Daten umgehen zu können. Aber heute denke ich, dass intestine in diesem Job auch ein gutes Urteilsvermögen bedeutet. Es geht vor allem darum, die richtigen Fragen zu stellen, zu wissen, wann eine Zahl die Wahrheit sagt und wann nicht, und zu wissen, für welche Teile eines Issues tatsächlich ein Mensch auf dem Laufenden sein muss.

Die Instruments, die wir in der Datenwissenschaft und -analyse verwenden, haben sich im Laufe der Jahre immer wieder verändert, und es würde mich nicht überraschen, wenn sich das Tempo dieser Veränderung mit der KI beschleunigt. Der wahre Wert eines Analysten lag jedoch nie in der SQL-Abfrage selbst; Es ging darum, das Geschäftsproblem zu verstehen, Vertrauen aufzubauen und den Entscheidungsträgern das Vertrauen zu geben, zu handeln. Da KI mehr technische Arbeit übernimmt, werden die ausgeprägt menschlichen Fähigkeiten des Urteilsvermögens, des Kontexts, der Kommunikation, des Einflusses und des Einfühlungsvermögens wichtiger denn je. Das sind die Fähigkeiten, auf die ich meine Karriere setze.

---

Das battle’s von meiner Seite in diesem Blogbeitrag. Vielen Dank fürs Lesen! Ich hoffe, es battle eine interessante Lektüre für Sie!

Rashi ist ein Datenexperte aus Chicago, der es liebt, Daten zu analysieren und Datengeschichten zu erstellen, um Erkenntnisse zu vermitteln. Sie ist hauptberuflich als leitende Beraterin für Gesundheitsanalytik tätig und schreibt gerne am Wochenende bei einer Tasse Kaffee Blogs über Daten.

Ich erwähnte, dass die Terminplanung die nächste Hürde ist, auf die ich zusteuere.

Additionally schätze ich, hier bin ich und gehe darauf zu

Aber bevor ich darauf eingehe, was passiert ist, möchte ich für jeden, der zum ersten Mal darüber stolpert, einen Kontext geben.

Ich bin ein Systemanalytiker, der sich für den Übergang in die Datentechnik entschieden hat. Anstatt nur Kurse zu belegen und Zertifikate zu sammeln, habe ich beschlossen, zu lernen, indem ich etwas aufbaue und öffentlich darüber schreibe. Jeder Artikel in dieser Reihe dokumentiert etwas, das ich tatsächlich gebaut habe, die Entscheidungen, die ich getroffen habe, die Dinge, die kaputt gegangen sind, und was ich daraus gelernt habe.

Der erste Artikel struggle meine 12-monatige Roadmap für das Selbststudiumwo ich den Plan darlegte, wie ich diesen Übergang angehen würde. Der Zweite struggle ich Ich baue meine erste ETL-Pipeline von Grund auf auf Verwendung der GitHub-API als absoluter Anfänger. Im dritten habe ich dieselbe Pipeline genommen und machte es produktionstauglicher durch Hinzufügen von SQLite-Speicher, Idempotenz-Handhabung und Google Drive-Persistenz, alles innerhalb von Google Colab.

Dieser Artikel ist der vierte. Und es setzt genau dort an, wo das letzte aufgehört hat.

Ich ging davon aus, dass ich die meiste Zeit damit verbringen würde, ein Planungstool auszuwählen und zu konfigurieren. Was ich nicht erwartet hatte, struggle, dass ich mich mit etwas Grundlegenderem befassen musste, bevor ich überhaupt über die Terminplanung nachdenken konnte. Meine Pipeline konnte nicht außerhalb von Google Colab ausgeführt werden. Und bis sich das änderte, konnte mir kein Planer der Welt helfen.

Dies ist die Geschichte dessen, was tatsächlich passiert ist.

Die erste Wand: Meine Pipeline lebte in Colab

Bevor ich überhaupt mit der Planung begann, wollte ich verstehen, was eigentlich nötig wäre, um meine Pipeline automatisch auszuführen. Deshalb habe ich mir meinen Code zum ersten Mal mit dieser Frage im Hinterkopf genauer angesehen.

So sah der Ladebereich aus:

conn = sqlite3.join('/content material/drive/MyDrive/github_repos.db')

Dieser Weg, /content material/drive/MyDrive/existiert nur innerhalb von Google Colab. Es handelt sich um den bereitgestellten Google Drive-Pfad, den Ihnen Colab zur Verfügung stellt, wenn Sie Ihr Drive mit einem Pocket book verbinden. Außerhalb von Colab existiert dieser Pfad nicht. Wenn ein Planer versuchen würde, dieses Skript auszuführen, würde es genau dort abstürzen.

Das Interessante ist, dass mein Code nein hatte google.colab Importe. Keine Colab-spezifischen Bibliotheken. Nur ein fest codierter Pfad, den ich eingegeben hatte, ohne wirklich darüber nachzudenken. Dieser Pfad struggle die Abhängigkeit, nicht der Code.

Das struggle das erste, was ich nicht erwartet hatte. Ich dachte, die Herausforderung würde darin bestehen, ein Planungstool zu erlernen. Stattdessen struggle die erste Lektion, dass meine Umgebung Teil meiner Pipeline struggle und ich es nicht bemerkt hatte.

Die Lösung struggle einfach. Anstatt den Colab-Pfad fest zu codieren, habe ich den Datenbankpfad über eine Umgebungsvariable konfigurierbar gemacht:

import os

DB_PATH = os.environ.get('DB_PATH', 'github_repos.db')
conn = sqlite3.join(DB_PATH)

Jetzt verwendet das Skript den in der Umgebung festgelegten Pfad. Wenn nichts festgelegt ist, wird auf die Erstellung einer lokalen Datei zurückgegriffen github_repos.db Datei im selben Ordner. Eine Änderung und die Pipeline struggle nicht mehr an Colab gebunden.

Zum ersten Mal außerhalb von Colab ausführen

Bevor ich einen Planer einrichtete, wollte ich sicherstellen, dass das Skript tatsächlich eigenständig funktioniert. Additionally habe ich es gespeichert als pipeline.pyerstellt a necessities.txt mit den beiden benötigten Bibliotheken:

requests
pandas

Und habe es von meinem Terminal aus ausgeführt:

Es wurde gedruckt: Pipeline full. Duplicates dealt with.

Und eine Datei namens github_repos.db erschien in meinem Ordner. Dieselbe Pipeline, die ich in Colab ausgeführt hatte, lief jetzt überall als einfaches Python-Skript.

Das schien eine größere Sache zu sein, als ich erwartet hatte. Nicht weil die Änderung komplex struggle, das struggle sie nicht. Sondern weil mir klar wurde, dass ich meine Pipeline als Notizbuch betrachtet hatte, obwohl ich tatsächlich ein Skript hatte, das sich zufällig darin befand.

Auswahl eines Planungstools

Zu diesem Zeitpunkt hatte ich ein eigenständiges Skript. Jetzt brauchte ich etwas, um es nach einem Zeitplan auszuführen.

Ich habe mir ein paar Optionen angesehen. Mit APScheduler können Sie Zeitpläne in Ihrem Python-Code definieren. Dies funktioniert, während eine Sitzung ausgeführt wird, stoppt jedoch, sobald Sie Ihr Terminal schließen. Das ist nicht wirklich eine Planung, das ist nur eine Schleife. Airflow ist der Industriestandard für die Orchestrierung von Pipelines, erfordert jedoch den Betrieb eines Servers, einer Metadatendatenbank und einer Webschnittstelle. Das ist eine Menge Infrastruktur für den Ort, an dem ich mich gerade befinde.

GitHub Actions befanden sich in der Mitte. Es ist kostenlos, läuft auf den Servern von GitHub, der Zeitplan ist im Code definiert und ich muss keine Infrastruktur pflegen. Der Nachteil besteht darin, dass es für CI/CD-Workflows und nicht für die Pipeline-Orchestrierung konzipiert ist und daher Einschränkungen hinsichtlich komplexer Abhängigkeiten und Überwachung aufweist. Aber für eine Pipeline in meinem Stadium ist es eine praktische Wahl.

Ich möchte auch ehrlich sein: Instruments wie Airflow gibt es aus einem bestimmten Grund. Wenn eine Pipeline wächst, wenn Abhängigkeiten zwischen Aufgaben bestehen und Sie Einblick in die ausgeführten und fehlgeschlagenen Aufgaben benötigen, ist eine ordnungsgemäße Orchestrierung erforderlich. GitHub Actions ist das nicht. Aber es ist ein guter erster Schritt, und zu verstehen, warum es begrenzt ist, ist Teil des Verständnisses dafür, was diese ernsthafteren Instruments tatsächlich lösen.

Einrichten von GitHub-Aktionen

GitHub Actions arbeitet mit Workflow-Dateien, bei denen es sich um YAML-Dateien handelt, die Sie in einem bestimmten Ordner in Ihrem Repository ablegen. Die Ordnerstruktur sieht so aus:

github-etl/
├── .github/
│   └── workflows/
│       └── schedule.yml
├── pipeline.py
└── necessities.txt

Hier ist die vollständige Workflow-Datei, die ich erstellt habe:

title: Run ETL Pipeline

on:
  schedule:
    - cron: '0 9 * * *'
  workflow_dispatch:

jobs:
  run-pipeline:
    runs-on: ubuntu-latest

    steps:
      - title: Checkout code
        makes use of: actions/checkout@v4

      - title: Arrange Python
        makes use of: actions/setup-python@v5
        with:
          python-version: '3.11'

      - title: Set up dependencies
        run: pip set up -r necessities.txt

      - title: Run pipeline
        run: python pipeline.py

Lassen Sie mich durchgehen, was jeder Teil tut.

• cron: '0 9 * * *' ist der tatsächliche Zeitplan. Cron ist ein zeitbasiertes Jobplanungsformat, das es in Unix-Systemen seit Jahrzehnten gibt. Die fünf Werte repräsentieren Minute, Stunde, Tag des Monats, Monat und Wochentag. Additionally 0 9 * * * bedeutet: zur Minute 0 der 9. Stunde, jeden Tag, jeden Monat, jeden Tag der Woche. Mit anderen Worten, jeden Tag 9 Uhr UTC.
• workflow_dispatch fügt einen manuellen Auslöser hinzu. Das bedeutet, dass Sie den Workflow auch durch Klicken auf eine Schaltfläche in GitHub ausführen können, ohne auf die geplante Zeit warten zu müssen. Dies ist zum Testen nützlich.
• runs-on: ubuntu-latest weist GitHub an, bei jedem Lauf eine neue Linux-Maschine hochzufahren. Jedes Mal, wenn der Workflow ausgelöst wird, erstellt GitHub eine saubere Umgebung, installiert Ihre Abhängigkeiten, führt Ihr Skript aus und fährt dann alles herunter. Es gibt keinen persistenten Pc, der irgendwo Ihren Code ausführt. Es ist vergänglich.

Die Schritte sind unkompliziert. Checkout ruft Ihren Code aus dem Repository in den Runner ab. Setup Python installiert die von Ihnen angegebene Model. Abhängigkeiten installieren wird ausgeführt pip set up -r necessities.txt. Und dann führt „Run Pipeline“ Ihr Skript aus.

Was geschah, als ich es ausführte?

Nachdem ich die Workflow-Datei auf GitHub übertragen hatte, ging ich in meinem Repository zur Registerkarte „Aktionen“ und löste sie manuell über die Schaltfläche „workflow_dispatch“ aus.

Es lief. Siebenundzwanzig Sekunden vom Begin bis zum Ende. Die Pipeline hat Daten von der GitHub-API abgerufen, transformiert und in SQLite geladen, alles auf einem GitHub-Server, ohne dass ich nach dem Klicken auf die Schaltfläche etwas tun musste.

Ich habe beim ersten Durchlauf eine Warnung erhalten:

Node.js 20 actions are deprecated...

Das lag daran, dass ich ältere Versionen der Checkout- und Setup-Python-Aktionen verwendet hatte. Der Repair wurde aktualisiert actions/checkout@v3 Zu actions/checkout@v4 Und actions/setup-python@v4 Zu actions/setup-python@v5. Danach lief der Workflow sauber.

Was ich tatsächlich gelernt habe

Als ich darauf einging, dachte ich, dass es bei der Terminplanung darum geht, das richtige Werkzeug auszuwählen. Ich stellte fest, dass mich die Terminplanung dazu zwang, über etwas nachzudenken, worüber ich vorher nicht sorgfältig nachgedacht hatte: Portabilität.

Eine Pipeline, die nur in einer bestimmten Umgebung ausgeführt wird, ist keine echte Pipeline. Es ist ein Skript, das an eine Plattform gebunden ist. Um es planbar zu machen, musste man es zunächst portabel machen, und um es portabel zu machen, musste man verstehen, wovon es tatsächlich abhängt.

Der fest codierte Pfad struggle eine Kleinigkeit. Aber als ich es erkannte, änderte sich meine Einstellung zum künftigen Schreiben von Pipeline-Code. Jedes Mal, wenn ich einen Pfad, einen Berechtigungsnachweis oder einen umgebungsspezifischen Wert schreibe, frage ich mich nun, ob das Ding außerhalb des Kontexts, in dem ich baue, existieren wird.

Außerdem habe ich gelernt, dass Planung und Orchestrierung unterschiedliche Probleme sind. GitHub Actions handhabt die Planung intestine. Dinge wie die Wiederholung fehlgeschlagener Ausführungen mit Backoff, die Warnung, wenn etwas schief geht, die Visualisierung von Pipeline-Abhängigkeiten oder die Verwaltung mehrerer voneinander abhängiger Pipelines werden nicht behandelt. Dabei handelt es sich um Orchestrierungsprobleme, für deren Lösung Instruments wie Airflow konzipiert sind.

Ich bin noch nicht da. Aber ich verstehe jetzt, warum diese Instruments auf eine Weise existieren, die ich vorher nicht kannte.

Was kommt als nächstes?

Die Pipeline läuft jetzt jeden Tag um 9 Uhr UTC. Es werden Daten erhoben. Und mir fällt langsam etwas auf: Wenn eine Pipeline täglich läuft, kümmern Sie sich auf andere Weise um die Daten, die sie produziert.

Sind alle Unterlagen sauber? Gibt es Repos, die mit fehlenden Feldern durchschlüpfen? Ist die virale Flagge tatsächlich sinnvoll oder habe ich sie so definiert, dass quick alles „Nein“ lautet?

Das sind Fragen zur Datenqualität. Und sie sind die nächste Wand, auf die ich zugehe.

Dies ist Teil meiner fortlaufenden Serie, die meinen Übergang vom Systemanalytiker zum Dateningenieur dokumentiert. Wenn Sie mitgemacht haben, vielen Dank. Wenn dies Ihr erster Artikel in der Reihe ist, sind die früheren Artikel unten verlinkt.

Vom Datenanalysten zum Dateningenieur: Meine 12-monatige Roadmap zum Selbststudium

Ich habe meine erste ETL-Pipeline als absoluter Anfänger gebaut. Hier erfahren Sie, wie.

Ich dachte, Knowledge Engineering sei nur das Schreiben von Skripten. Ich habe mich geirrt.

Verbinde dich mit mir LinkedIn, YouTubeUnd Twitter.

Teil meiner Information-Engineering-Reisereihe. Im ersten Teil habe ich meine geteilt 12-monatige Roadmap für den Übergang vom Datenanalysten zum Dateningenieur. Hier beginnt der eigentliche Bau.

Als ich meinen ersten Artikel veröffentlichte, der meine Reise zum Information Engineering dokumentierte, geschah etwas Unerwartetes. Die Leute fanden es intestine. Fremde meldeten sich bei mir und sagten, sie seien begeistert, mitzumachen. Das fühlte sich intestine an.

Aber es struggle auch mit Druck verbunden.

Plötzlich struggle dies nicht mehr nur ein persönliches Ziel, das ich stillschweigend aufgeben konnte, wenn es schwierig wurde. Die Leute schauten zu. Die Leute saßen im selben Boot. Und diese Verantwortung ist, ehrlich gesagt, einer der Gründe, warum Sie dies gerade lesen.

Additionally musste ich umziehen. Und wie jeder, der mit einer neuen Fertigkeit beginnt, suchte ich zunächst nach Ressourcen. Im Web gibt es unzählige Tutorials zum Thema Information Engineering. YouTube-Movies, Kurse, schriftliche Leitfäden. Mehr, als du jemals schaffen könntest.

Aber ich konnte mich nicht dazu durchringen, nur Theorie zu konsumieren. Ich musste etwas bauen. Etwas Reales, mit echten Daten, das am Ende tatsächlich funktioniert hat.

Additionally habe ich die Tutorials geschlossen und stattdessen ein Google Colab-Notizbuch geöffnet. Ich habe die GitHub-API-Dokumentation gefunden und beschlossen, meine erste ETL-Pipeline von Grund auf zu erstellen. Kein Händchenhalten. Nur ich, etwas Python und ein Ziel.

In diesem Artikel wird diese Erfahrung vollständig dokumentiert. Der Code, die Verwirrung, die kleinen Erfolge und was ich dadurch tatsächlich gelernt habe.

Was ist ETL?

Bevor ich auf das eingehe, was ich erstellt habe, möchte ich kurz erklären, was ETL eigentlich bedeutet, da ich das vor nicht allzu langer Zeit selbst nachschlagen musste.

ETL steht für Extract, Rework, Load. Es ist eines der grundlegendsten Konzepte im Information Engineering.

• Extrakt bedeutet, irgendwohin zu gehen, um Daten zu bekommen. Eine API, eine Datenbank, eine Web site, eine Datei. Sie beziehen Rohinformationen aus einer Quelle.
• Verwandeln bedeutet, diese Daten zu bereinigen und zu formen. Entfernen fehlerhafter Zeilen, Hinzufügen neuer Spalten und Umstrukturieren, damit es tatsächlich nützlich ist.
• Laden bedeutet, die bereinigten Daten irgendwo zu speichern. Eine Datenbank, ein Information Warehouse, eine einfache CSV-Datei.

Das ist es. Diese drei Schritte, die nacheinander ausgeführt werden, bilden eine Datenpipeline. Alles andere in der Datentechnik, Airflow, Spark, Databricks, sind einfach ausgefeiltere Methoden, um dieselben drei Dinge in großem Maßstab zu erledigen.

Da ich noch am Anfang meiner Roadmap stehe, habe ich es einfach gehalten. Reines Python, noch keine Orchestrierungstools. Aber die Kind des Issues ist dieselbe.

Was ich gebaut habe

Ich habe Daten aus der GitHub-API extrahiert, insbesondere die am häufigsten markierten Python-Repositories, die in den letzten 30 Tagen erstellt wurden. Anschließend habe ich es bereinigt, eine neue Spalte hinzugefügt und die Ausgabe als CSV-Datei gespeichert.
Einfach. Actual. Ganz meins.

So lief es.

Schritt 1: Extrahieren

Als Erstes musste ich herausfinden, wie ich mit der GitHub-API kommunizieren kann. Eine API ist im Grunde eine Tür, die ein Unternehmen oder eine Plattform öffnet, sodass Entwickler programmgesteuert Daten von ihr anfordern können, ohne etwas manuell kopieren und einfügen zu müssen.

GitHub verfügt über eine kostenlose, öffentliche API. Für einfache Suchen ist kein Konto oder kostenpflichtiger Plan erforderlich.

Hier ist der Code, den ich geschrieben habe, um die Daten zu extrahieren:

import requests

url = "https://api.github.com/search/repositories"

params = {
    "q": "language:python created:>2025-04-22",
    "kind": "stars",
    "order": "desc",
    "per_page": 30
}

response = requests.get(url, params=params)
information = response.json()

print(response.status_code)
print(information.keys())

Ich werde ehrlich sein. Dieser Block hat mich zunächst verwirrt. Der requests Die Bibliothek struggle für mich neu. Der params Wörterbuch damit q Die Syntax fühlte sich fremd an. Ich wusste nicht sofort, was .json() was ich tat oder warum ich es brauchte.

Lassen Sie es mich einfach aufschlüsseln.

• requests.get() ist die Artwork und Weise, wie man an die Tür von GitHub klopft und um etwas bittet. Der url ist die Adresse dessen, wonach Sie fragen. Der
• params Wörterbuch ist die spezifische Frage, die Sie stellen. In diesem Fall: „Gib mir Python-Repos, sortiert nach Sternen, erstellt nach dem 22. April, zeige mir 30 Ergebnisse.“
• .json() Konvertiert GitHubs Antwort aus Rohtext in ein Python-Wörterbuch, mit dem Sie tatsächlich arbeiten können.

Als ich es ausgeführt habe, bekam ich Folgendes:

200 
dict_keys(('total_count', 'incomplete_results', 'objects'))

Der 200 bedeutet Erfolg. Das ist die Artwork und Weise, wie das Web sagt: „Ihre Anfrage hat funktioniert.“ Wenn Sie 403 oder 404 sehen, ist ein Fehler aufgetreten.
Das Wörterbuch verfügt über drei Schlüssel. total_count gibt an, wie viele Repos mit der Suche übereinstimmten. incomplete_results sagt Ihnen, ob GitHub etwas kürzen musste. Und objects Hier befinden sich die eigentlichen Daten.

Dann lief ich einen zweiten Block, um einen Blick hineinzuwerfen:

print("Whole matches on GitHub:", information('total_count'))
print("Repos returned:", len(information('objects')))

first_repo = information('objects')(0)
print("nFirst repo title:", first_repo('title'))
print("Stars:", first_repo('stargazers_count'))
print("Language:", first_repo('language'))
print("URL:", first_repo('html_url'))

Ausgabe:

Whole matches on GitHub: 9228201
Repos returned: 30

First repo title: expertise
Stars: 139136
Language: Python
URL: https://github.com/anthropics/expertise

Das erste Ergebnis struggle ein Anthropic-Repo mit 139.000 Sternen. Echte Daten. Reside. Gezogen durch Code, den ich geschrieben habe.

Damit ist der Extrakt fertig.

Schritt 2: Transformieren

Jetzt hatte ich 30 Repos in einer Python-Liste, jedes davon ein verschachteltes Wörterbuch mit Dutzenden von Feldern. Das meiste davon brauchte ich nicht. Im Schritt „Transformieren“ nehmen Sie diese rohen, unübersichtlichen Daten und formen sie in etwas Sauberes und Zweckmäßiges.

Zuerst habe ich nur die Felder herausgezogen, die mir wichtig waren, und sie in einen Pandas-Datenrahmen geladen:

import pandas as pd

repos = ()

for repo in information('objects'):
    repos.append({
        "title": repo('title'),
        "proprietor": repo('proprietor')('login'),
        "stars": repo('stargazers_count'),
        "forks": repo('forks_count'),
        "language": repo('language'),
        "description": repo('description'),
        "url": repo('html_url'),
        "created_at": repo('created_at')
    })

df = pd.DataFrame(repos)
df.head()

Das Erscheinen dieses Datenrahmens struggle ein echter „Wow“-Second. Ich bin von einer JSON-Wand zu einer sauberen, lesbaren Tabelle mit beschrifteten Spalten in wenigen Zeilen übergegangen.

Dann habe ich drei Transformationen durchgeführt:

# Drop rows the place description is lacking
df_clean = df.dropna(subset=('description'))

# Add a viral flag for repos with over 50k stars
df_clean = df_clean.copy()
df_clean('viral') = df_clean('stars').apply(lambda x: 'Sure' if x > 50000 else 'No')

# Kind by stars descending
df_clean = df_clean.sort_values('stars', ascending=False).reset_index(drop=True)

print("Earlier than cleansing:", len(df))
print("After cleansing:", len(df_clean))

Ausgabe:

Earlier than cleansing: 30 
After cleansing: 29

Ein Repo hatte keine Beschreibung und wurde gelöscht. Die Virussäule wurde sauber angezeigt. Die Daten waren nun sortiert und strukturiert.
Damit ist die Transformation abgeschlossen.

Schritt 3: Laden

Der letzte Schritt. Nehmen Sie die sauberen Daten und speichern Sie sie irgendwo. Ich habe es einfach gehalten und es in eine CSV-Datei geladen:

df_clean.to_csv('github_trending_repos.csv', index=False)

print("Pipeline full. File saved.")
print(f"{len(df_clean)} repos loaded into github_trending_repos.csv")

Ausgabe:

Pipeline full. File saved.
29 repos loaded into github_trending_repos.csv

Ich habe die Datei heruntergeladen und geöffnet. Eine saubere Tabelle mit 29 Zeilen und 9 Spalten. Echte GitHub-Daten, geformt und gespeichert durch eine Pipeline, die ich von Grund auf neu erstellt habe.

Das ist fertig.

Wie sich das tatsächlich anfühlte

Zuvor suchte ich immer dann, wenn ich mit Daten arbeiten wollte, nach einem öffentlichen Datensatz, den jemand bereits bereinigt und hochgeladen hatte. Kaggle, Google Dataset Search, wo auch immer. Ich struggle immer ein Konsument von Daten, die jemand anderes aufbereitet hatte.

Das hat etwas für mich verändert.

Als mir klar wurde, dass ich Python einfach auf eine API verweisen konnte, die mich interessierte, und selbst Reside-Daten extrahieren konnte, fühlten sich die Möglichkeiten völlig anders an. Ich bin nicht auf bereits vorhandene Datensätze beschränkt. Ich kann die Pipeline erstellen, die den Datensatz erstellt.

Das ist eine andere Artwork von Macht. Und es ist eines der Dinge, die mich überhaupt zum Information Engineering hingezogen haben.

Was kommt als nächstes?

Diese Pipeline ist vom Design her einfach. Ich stehe am Anfang meiner Roadmap und werde noch nicht so tun, als würde ich Airflow oder Spark verwenden. Aber das Fundament ist actual. Extrahieren, transformieren, laden. Es funktioniert. Ich habe es gebaut. Ich verstehe es.

Der nächste Schritt besteht darin, es robuster zu machen. Planen Sie die tägliche Ausführung. Speichern Sie die Ausgabe in einer SQLite-Datenbank statt in einer flachen CSV-Datei. Beginnen Sie mit der Verfolgung der Repo-Developments im Laufe der Zeit.

Und schließlich orchestrieren Sie das Ganze mit Airflow. Aber das ist ein zukünftiger Artikel.

Das Wichtigste, was ich mir vorerst bewiesen habe, ist, dass man beim Bauen Dinge lernt, die man beim Anschauen nie lernen wird. Ich verbrachte Wochen im Tutorialland und bewegte mich kaum. Ich habe einen Nachmittag damit verbracht, tatsächlich zu bauen, und ich verstehe ETL besser als jedes Video, das es vermittelt.

Hör auf zu schauen. Beginnen Sie mit dem Bau.

Dies ist Teil zwei meiner fortlaufenden Information-Engineering-Reihe. Begleiten Sie mich, während ich jeden Schritt der Reise dokumentiere, einschließlich der Teile, die nicht reibungslos verlaufen. Schauen Sie sich gerne meine ausführlichere ETL-Erfahrung auf meinem YouTube-Kanal unten an.

Verbinde dich mit mir LinkedIn, YouTubeUnd Twitter.

Beim Erlernen von Knowledge Science im Jahr 2020 warfare Pandas eines der beliebtesten Instruments. Obwohl sich neue Instruments darauf konzentrieren, die Schwächen von Pandas bei der Verarbeitung sehr großer Datenmengen zu verbessern, verwende ich Pandas immer noch für viele Datenbereinigungs-, Verarbeitungs- und Analyseaufgaben. Ja, Pandas macht es mir schwer, mit Milliarden von Zeilen zu arbeiten, aber für die Arbeit mit allem, was darunter liegt, ist es definitiv mehr als genug.

Ich sehe Pandas nicht nur für EDA oder in Notebooks, sondern auch in Produktionssystemen.

In diesem Artikel werde ich einige Datenbereinigungs- und -verarbeitungsvorgänge durchgehen, um zu zeigen, wie leistungsfähig Pandas ist.

Beginnen wir mit dem Datensatz, der Inventory Protecting Models (SKUs) und Such-API-Antworten für diese SKUs enthält.

import pandas as pd

search_results = pd.read_csv("search_results.csv")

search_results.head()

Das Suchergebnis ist eine Liste von Wörterbüchern und sieht folgendermaßen aus:

search_results.loc(0, "search_result")

"({'my_id': 'HBCV00007F5Y2B', 'distance': 1.0, 'entity': {}}, 
{'my_id': 'HBCV00007UPQBM', 'distance': 1.0, 'entity': {}}, 
{'my_id': 'HBCV00008I29IH', 'distance': 1.0, 'entity': {}}, 
{'my_id': 'HBCV00006U3ZYB', 'distance': 0.8961254358291626, 'entity': {}}, 
{'my_id': 'HBCV0000AFA4H6', 'distance': 0.8702399730682373, 'entity': {}}, 
{'my_id': 'HBCV00009CDGD4', 'distance': 0.86175537109375, 'entity': {}}, 
{'my_id': 'HBCV000046336T', 'distance': 0.8594968318939209, 'entity': {}}, 
{'my_id': 'HBCV00009QDZRT', 'distance': 0.8572311997413635, 'entity': {}}, 
{'my_id': 'HBCV00008E11P3', 'distance': 0.8553324937820435, 'entity': {}}, 
{'my_id': 'HBV00000C4IY6', 'distance': 0.8539167642593384, 'entity': {}}) 
... and 5 entities remaining"

Wie wir in der Ausgabe sehen, handelt es sich aufgrund des letzten Teils („… und 5 verbleibende Entitäten“) nicht um eine richtige Liste des Wörterbuchformats. Außerdem wird es als einzelne Zeichenfolge gespeichert.

Um es besser nutzen zu können, müssen wir es in eine richtige Liste von Wörterbüchern konvertieren. Die folgende Codezeile entfernt den letzten Teil, indem sie die Zeichenfolge bei „…“ teilt und die erste Teilung übernimmt.

search_results.loc(0, "search_result").break up("...")(0).strip()

Die Ausgabe ist jedoch immer noch eine einzelne Zeichenfolge. Wir können das integrierte ast-Modul von Python verwenden, um es in eine Liste umzuwandeln:

import ast

res = ast.literal_eval(search_results.loc(0, "search_result").break up("...")(0).strip())

res

({'my_id': 'HBCV00007F5Y2B', 'distance': 1.0, 'entity': {}},
 {'my_id': 'HBCV00007UPQBM', 'distance': 1.0, 'entity': {}},
 {'my_id': 'HBCV00008I29IH', 'distance': 1.0, 'entity': {}},
 {'my_id': 'HBCV00006U3ZYB', 'distance': 0.8961254358291626, 'entity': {}},
 {'my_id': 'HBCV0000AFA4H6', 'distance': 0.8702399730682373, 'entity': {}},
 {'my_id': 'HBCV00009CDGD4', 'distance': 0.86175537109375, 'entity': {}},
 {'my_id': 'HBCV000046336T', 'distance': 0.8594968318939209, 'entity': {}},
 {'my_id': 'HBCV00009QDZRT', 'distance': 0.8572311997413635, 'entity': {}},
 {'my_id': 'HBCV00008E11P3', 'distance': 0.8553324937820435, 'entity': {}},
 {'my_id': 'HBV00000C4IY6', 'distance': 0.8539167642593384, 'entity': {}})

Wir haben jetzt die Suchergebnisse als richtige Liste von Wörterbüchern. Dies galt nur für eine einzelne Reihe. Wir müssen den gleichen Vorgang auf alle SKUs (dh die gesamte SKU-Spalte) anwenden.

Eine Möglichkeit besteht darin, alle Zeilen in einer for-Schleife durchzugehen und denselben Vorgang auszuführen. Dies ist jedoch nicht die beste Possibility. Wir sollten vektorisierte Operationen bevorzugen, wenn wir können. Eine vektorisierte Operation bedeutet im Wesentlichen, dass der Code in allen Zeilen gleichzeitig ausgeführt wird.

Bei einer einzelnen Zeile habe ich die Aufteilung verwendet, um den letzten Teil der Zeichenfolge zu entfernen, aber bei einer vektorisierten Operation funktionierte das nicht. Eine robustere Possibility scheint die Verwendung eines regulären Ausdrucks zu sein.

search_results.loc(:, 'search_result') = search_results('search_result').str.substitute(r"....*", "", regex=True).str.strip()

Dieser Code wählt „…“ und alles, was danach kommt, aus und ersetzt sie durch nichts. Mit anderen Worten: Der Teil „… und 5 verbleibende Entitäten“ wird entfernt.

Wir haben jetzt alle Zeilen in der Suchergebnisspalte als richtige Liste von Wörterbüchern.

search_results.loc(10, "search_result")

"({'my_id': 'HBCV00007F5Y2B', 'distance': 1.0, 'entity': {}},
 {'my_id': 'HBCV00007UPQBM', 'distance': 1.0, 'entity': {}},
 {'my_id': 'HBCV00008I29IH', 'distance': 1.0, 'entity': {}},
 {'my_id': 'HBCV00006U3ZYB', 'distance': 0.8961254358291626, 'entity': {}},
 {'my_id': 'HBCV0000AFA4H6', 'distance': 0.8702399730682373, 'entity': {}},
 {'my_id': 'HBCV00009CDGD4', 'distance': 0.86175537109375, 'entity': {}},
 {'my_id': 'HBCV000046336T', 'distance': 0.8594968318939209, 'entity': {}},
 {'my_id': 'HBCV00009QDZRT', 'distance': 0.8572311997413635, 'entity': {}},
 {'my_id': 'HBCV00008E11P3', 'distance': 0.8553324937820435, 'entity': {}},
 {'my_id': 'HBV00000C4IY6', 'distance': 0.8539167642593384, 'entity': {}})"

Sie werden immer noch als String gespeichert, aber ich kann sie mit dem ast-Modul problemlos in eine Liste konvertieren, was ich im nächsten Schritt tun werde.

Was mich interessiert, sind die SKUs, die in den Suchergebnissen zurückgegeben werden. Ich erstelle eine neue Spalte, indem ich die SKUs in den Wörterbüchern extrahiere. Ich kann über den „my_id“-Schlüssel des Wörterbuchs darauf zugreifen.

Es gibt 3 Teile dieser Operation:

• Konvertieren Sie die Suchergebniszeichenfolge mithilfe der Funktion literal_eval in eine Liste
• Extrahieren Sie die SKU aus dem my_id-Schlüssel des Wörterbuchs
• Führen Sie dies in einem Listenverständnis durch, um SKUs aus allen Wörterbüchern in der Liste abzurufen

Wir können alle diese Operationen ausführen, indem wir wie folgt eine Lambda-Funktion auf alle Zeilen anwenden:

search_results.loc(:, "result_skus") = 
search_results("search_result").apply(lambda x: (merchandise('my_id') for merchandise in ast.literal_eval(x)))

search_results.head()

Jede Zeile in der Spalte result_skus enthält eine Liste mit 10 SKUs. Nehmen wir an, ich muss diese 10 SKUs in verschiedenen Reihen haben. Für jede Zeile in der SKU-Spalte werden 10 Zeilen aus der Liste in der Spalte result_skus erstellt. In Pandas gibt es eine sehr einfache Möglichkeit, dies zu tun, nämlich die Explosionsfunktion.

knowledge = search_results(("sku", "result_skus")).explode("result_skus", ignore_index=True)

knowledge.head()

Wir haben einen neuen Datenrahmen mit der Spalte „sku“ und „result_skus“ erstellt. Die folgende Zeichnung zeigt, was die Explosionsfunktion bewirkt:

Betrachten Sie das Gegenteil. Wir haben einen Datenrahmen wie oben gezeigt, möchten aber alle Ergebnisse für eine SKU in einer einzigen Zeile haben.

Wir können die Funktion „groupby“ verwenden, um die Zeilen nach SKU zu gruppieren und dann die Funktion „Liste“ auf die Spalte „result_skus“ anwenden:

new_data = knowledge.groupby("sku", as_index=False)("result_skus").apply(record)

new_data.head()

Damit kehren wir zum vorherigen Schritt zurück:

Mit der Explosionsfunktion haben wir einen Datenrahmen mit einer separaten Zeile für jede SKU in der Spalte result_skus erstellt. Was ist, wenn wir sie in verschiedene Spalten statt in Zeilen aufteilen müssen?

Eine Möglichkeit besteht darin, die Funktion pd.Sequence auf die Spalte result_skus anzuwenden und die resultierenden Spalten mit dem ursprünglichen Datenrahmen zu verketten.

new_cols = new_data("result_skus").apply(pd.Sequence)

new_data = pd.concat((new_data, new_cols), axis=1)

new_data.head()

Die Spalten von 0 bis 9 enthalten die 10 SKUs in der Spalte result_skus. Dieser Code, der die Apply-Funktion verwendet, ist keine vektorisierte Operation.

Wir haben eine andere Possibility, die vektorisiert und viel schneller ist.

new_cols = pd.DataFrame(new_data("result_skus").tolist())

new_data = pd.concat((new_data, new_cols), axis=1)

Dieser Code liefert uns den gleichen Datenrahmen wie oben, jedoch viel schneller.

Ich habe eine typische Datenbereinigungs- und -verarbeitungsaufgabe demonstriert, mit der ein Datenwissenschaftler oder -analyst in seinem Job konfrontiert sein kann. Ich bin seit über 5 Jahren auf diesem Gebiet tätig und Pandas hat immer ausgereicht, um das zu tun, was ich brauche, außer bei der Arbeit mit sehr großen Datensätzen (z. B. Milliarden von Zeilen).

Die Instruments, die für solch große Datenmengen besser geeignet sind, haben eine ähnliche Syntax wie Pandas. PySpark ist beispielsweise eine Artwork Mischung aus Pandas und SQL. Von der Syntax her ist Polars Pandas sehr ähnlich. Daher ist das Erlernen und Üben von Pandas immer noch eine äußerst wertvolle Fähigkeit für jeden, der im Bereich Datenwissenschaft und KI arbeitet.

Vielen Dank fürs Lesen.

. Ein Teil von mir hat diese Reise begonnen, weil Knowledge Engineering derzeit einer der angesagtesten und bestbezahlten Berufe ist. Ich werde nicht so tun, als wäre das kein Faktor gewesen.

Aber es steckt noch mehr dahinter.

Ich lerne jetzt schon seit einiger Zeit Datenanalyse. SQL, Energy BI, Python (Pandas, NumPy, ein wenig Polars), Datenbereinigung, EDA. Wie auch immer, ich warfare damit im Unglück. Und es macht mir wirklich Spaß. Aber irgendwann wurde ich neugierig, was passiert, bevor die Daten auf meinem Schreibtisch landen. Wie bewegt es sich? Wer baut diese Pipelines? Wie sieht eigentlich die Infrastruktur dahinter aus?

Diese Neugier hat einen Samen gepflanzt.

Dann begann die KI, vieles von dem, was ich mache, schneller und einfacher zu machen. Was großartig ist. Aber es brachte mich auch zum Nachdenken: Wenn KI die Analyse übernehmen kann, welchen Vorteil habe ich dann? Was kann ich aufbauen und verstehen, das tiefer geht? Ich arbeite als IT-Systemanalytiker bei einem Startup und obwohl mir die Arbeit Spaß macht, wurde mir klar, dass ich mich nicht so herausgefordert habe, wie ich es wollte. Ich warfare bereit für mehr.

Der letzte Anstoß kam von einem Video von Knowledge With Baraa, in dem er eine vollständige Präsentation vorlegte Daten-Engineering-Roadmap. Etwas daran, es strukturiert und aufgeschlüsselt zu sehen, gab ihm das Gefühl, actual und machbar zu sein. Hier bin ich additionally.

Ich lerne öffentlich Knowledge Engineering. Und dieser Artikel ist der Beginn dieser Reise.

Außerdem hinterlasse ich nur einen Haftungsausschluss, dass ich nicht mit Knowledge with Baraa verbunden bin. Ich teile nur meine persönliche Reise. Hoffe es hilft.

Warum speziell Knowledge Engineering?

Ich möchte hier einen Second verbringen, weil ich denke, dass diese Frage eine echte Antwort verdient.

Durch die Datenanalyse habe ich gelernt, wie man mit Daten arbeitet, nachdem sie eingegangen sind. Bereinigen Sie es, erforschen Sie es, visualisieren Sie es, ziehen Sie Erkenntnisse daraus. Diese Fähigkeiten sind wirklich wertvoll. Aber je mehr ich lernte, desto mehr stieß ich immer wieder auf dieselbe Wand. Die Daten, mit denen ich arbeitete, waren bereits von jemand anderem geformt und verschoben worden. Jemand hatte die Pipeline gebaut, die es zu mir brachte. Jemand hatte entschieden, wie es gespeichert wurde, wie es strukturiert warfare und wie oft es aktualisiert wurde.

Ich wollte diese Individual sein.

Knowledge Engineering ist der Analyse vorgelagert. Es geht darum, die Systeme aufzubauen, die Analysen überhaupt erst ermöglichen. Datenpipelines, Speicherarchitektur, Workflow-Orchestrierung, umfangreiche Datenverarbeitung. Dies sind die Grundlagen, auf denen alles andere aufbaut. Und ehrlich gesagt reizt mich diese Artwork der Infrastrukturarbeit in einer Weise, wie es die reine Analyse nicht mehr tut.

Es gibt auch ein praktisches Argument. Stellen im Bereich Knowledge Engineering gehören durchweg zu den bestbezahlten Stellen in der Datenbranche. Da KI-Instruments die Analyseebene immer besser automatisieren können, wird die Nachfrage nach Personen, die eine zuverlässige Dateninfrastruktur aufbauen und warten können, nur noch wachsen. Ich würde die Rohre lieber bauen, als sie nur zu benutzen.

Und noch etwas. Das Startup, bei dem ich arbeite, verwendet keines der Instruments, die ich gleich erlernen werde. Das bedeutet, dass ich jede Stunde, die ich in diese Sache investiere, völlig selbstbestimmt bin. Kein Staff, von dem man lernen kann, keine Arbeitsprojekte, auf die man es anwenden kann. Nur ich, das Web und alles, was ich selbst aufbauen kann. Das ist eine Herausforderung, die ich bewusst wähle.

Warum ich das in der Öffentlichkeit mache

Über das zu schreiben, was ich lerne, ist etwas, woran ich bereits fest glaube. Es zwingt Sie dazu, etwas tatsächlich zu verstehen, bevor Sie es erklären. Es macht Sie verantwortlich. Und mit der Zeit entsteht etwas, was ein Lebenslauf allein niemals schaffen könnte.

Aber ich werde auch ehrlich zu meinen Ängsten sein, denn ich denke, das ist der Sinn, wenn ich das öffentlich mache.

Ich habe das Shiny-Object-Syndrom. Da habe ich es gesagt. Ich habe mich mit Grafikdesign, Animation, Schreiben, Advertising and marketing und IT beschäftigt, bevor ich mich mit Daten beschäftigt habe. Es gibt immer etwas Neues und Aufregendes, das meine Aufmerksamkeit erregt. Datentechnik könnte leicht durch die nächste auffällige Sache in meinem Feed ersetzt werden, wenn ich es nicht absichtlich mache.

Konsistenz ist eine andere Sache. Ich arbeite von 9 bis 17 Uhr und berühre die Werkzeuge, die ich lernen werde, kaum. Es gibt keine natürliche Verstärkung bei der Arbeit, keinen Kollegen, an den ich Airflow-Fragen weiterleiten kann. Ich baue das komplett in meiner Freizeit auf, außerhalb meiner beruflichen Verantwortung.

Und Gleichgewicht. Drei bis vier Stunden am Tag sind das Ziel. An manchen Tagen wird sich das einfach anfühlen. An anderen Tagen wird es sich unmöglich anfühlen.

Die Veröffentlichung dieser Reise ist mein Verantwortungssystem. Wenn ich nonetheless werde, weißt du, dass ich ausgerutscht bin. Und ich möchte lieber nicht ausrutschen.

Womit ich anfange

Ich fange nicht bei Null an, was hilft. Ich verfüge bereits über SQL-Kenntnisse für Anfänger bis Fortgeschrittene aus meiner Arbeit in der Datenanalyse, über grundlegende Python-Grundlagen und einige praktische Erfahrungen mit Pandas. Das gibt mir eine Grundlage, auf der ich aufbauen kann, anstatt alles von Grund auf neu aufzubauen.

Hier ist der vollständige Lernstapel, ungefähr in der Reihenfolge, in der ich ihn angehen werde.

1. SQL: Geht tiefer als Analytics

Ich kenne SQL. Aber Analytics-SQL und Engineering-SQL sind unterschiedliche Dinge. Ich werde mich eingehender mit der Abfrageoptimierung, der Indizierung, der Arbeit mit sehr großen Datensätzen und dem Schreiben von SQL befassen, das auf Leistung und nicht nur auf Erkundung ausgelegt ist. Wenn Sie SQL bisher nur zum Abrufen und Filtern von Daten verwendet haben, gibt es darunter noch eine ganz andere Ebene, die es wert ist, verstanden zu werden.

Warum es das Erste ist: Alles in der Datentechnik berührt irgendwann SQL. Wenn Sie hier scharf werden, bevor Sie komplexere Werkzeuge einsetzen, wird der Relaxation der Reise einfacher.

2. Python: Von der Exploration zur Produktionsreife

Ich habe die Grundlagen. Pandas, NumPy, einige Polartiere. Aber das Python, das ich geschrieben habe, lebt hauptsächlich in Notizbüchern. Explorativ, chaotisch, nicht für die Ewigkeit gebaut. Das Ziel besteht nun darin, saubereren, strukturierteren und wiederverwendbaren Code zu schreiben. Funktionen, Module, Fehlerbehandlung, Scripting. Die Artwork von Python, die Sie tatsächlich in eine Pipeline einfügen würden.

Warum es wichtig ist: Python ist der Klebstoff, der die meisten modernen Knowledge-Engineering-Stacks zusammenhält. Airflow nutzt es. PySpark ist darauf aufgebaut. Es ist nicht verhandelbar, sich hier wohl zu fühlen.

3. Git und GitHub: Versionskontrolle richtig durchgeführt

Ich werde ehrlich sein. Meine Git-Kenntnisse lauten derzeit „Kopieren Sie den Befehl, ich hoffe, er funktioniert.“ Das muss sich ändern. Die Versionskontrolle ist von grundlegender Bedeutung für die Arbeit eines Ingenieurs und nicht nur eines Analysten. Ich lerne Branching, Pull Requests und wie man Code projektübergreifend richtig verwaltet.

Warum es wichtig ist: Jedes Projekt, das ich von nun an erstelle, geht auf GitHub. Es ist das Portfolio, die Disziplin und die Artwork und Weise, wie echte Groups arbeiten.

4. Apache Spark und PySpark: Large Knowledge-Verarbeitung

Hier wird es richtig spannend. Apache Spark ist eine der am weitesten verbreiteten Engines zur Verarbeitung großer Datenmengen. PySpark ist die Python-API dafür, was bedeutet, dass ich eine Sprache verwenden kann, mit der ich bereits einigermaßen vertraut bin, um mit verteilten Daten im großen Maßstab zu arbeiten.

Der Sprung von Pandas zu Spark ist ein Umdenken. Pandas funktioniert auf einer einzigen Maschine. Spark ist für die Cluster-übergreifende Ausführung konzipiert. Das Erlernen dieser verteilten Denkweise ist eine der Fähigkeiten, die Dateningenieure von Analysten unterscheidet.

Warum es wichtig ist: Wenn Sie in einer Produktionsumgebung mit Large Knowledge arbeiten möchten, ist Spark nahezu unumgänglich. Es taucht ständig in Stellenbeschreibungen auf und ist der Kern des Databricks-Ökosystems, auf das ich aufbauen werde.

5. Apache Airflow: Orchestrierung von Datenpipelines

Datenpipelines laufen nicht von selbst. Sie benötigen etwas, um sie zu planen, zu überwachen und Fehler elegant zu behandeln. Hier kommen Instruments zur Workflow-Orchestrierung ins Spiel, und Airflow ist meine Wahl.

Ich habe hier einige Optionen in Betracht gezogen. Databricks Workflows ist großartig, wenn Sie bereits tief im Databricks-Ökosystem tätig sind. Azure Knowledge Manufacturing unit ist für Azure-lastige Umgebungen sinnvoll. Aber Airflow ist kostenlos, Open-Supply, Cloud-unabhängig und branchenweit weit verbreitet. Außerdem lernen Sie die Kernkonzepte der Orchestrierung auf eine Weise kennen, die sich auf andere Instruments übertragen lässt. Mit Airflow anzufangen schien mir die richtige Entscheidung zu sein, vor allem weil ich versuche, die Kosten niedrig zu halten.

Warum es wichtig ist: Orchestrierung ist das, was eine Sammlung von Skripten in eine tatsächliche Pipeline verwandelt. Um Airflow zu verstehen, muss man verstehen, wie Produktionsdaten-Workflows verwaltet werden.

6. Databricks: Die Datenplattform

Irgendwann müssen Sie sich für eine Datenplattform entscheiden und sich eingehend damit befassen. Ich gehe mit Databricks. Es basiert auf Spark, ist sehr gefragt und verfügt über eine kostenlose Neighborhood Version, mit der Sie üben können, ohne für Cloud-Credit bezahlen zu müssen.

Auch die Alternativen sind solide. Snowflake ist ein sauberes, schnelles SQL-Warehouse, das viele Unternehmen lieben. BigQuery ist die vollständig verwaltete, serverlose Possibility von Google und wirklich hervorragend, wenn Sie sich für Google Cloud entscheiden. Aber Databricks befindet sich an der Schnittstelle von Large Knowledge, maschinellem Lernen und Knowledge Engineering und passt genau zu meinen Zielen. Für meine Ziele hat es am meisten Sinn gemacht.

Warum es wichtig ist: Arbeitgeber möchten, dass Sie Plattformerfahrung haben. Es ist wertvoller, sich eingehend mit einem Thema zu befassen, als ein wenig über alle zu wissen.

Wie ich die 12 Monate strukturiere

Die ehrliche Antwort ist, dass dies länger als 12 Monate dauern kann. Und ich bin damit einverstanden. Ich nehme mir lieber 15 Monate Zeit, um wirklich zu verstehen, was ich tue, als in 12 Monaten durchzustarten und bei den Grundlagen unsicher herauszukommen.

Der allgemeine Ansatz besteht darin, jede Fertigkeit der Reihe nach durchzugehen und nicht voranzukommen, bis ich mit dem, was ich gerade gelernt habe, etwas aufgebaut habe. Tutorials eignen sich intestine zur Orientierung, aber in Projekten findet echtes Lernen statt. Mein Plan ist es, hier auf „In direction of Knowledge Science“ jede Part zu dokumentieren: die Konzepte, die Projekte, die Frustrationen und die Erfolge.

Um den Fortschritt zu verfolgen, verwende ich die Notion-Roadmap von Knowledge With Baraa als Rückgrat. Es unterteilt jede Fertigkeit in Kernthemen und ermöglicht es mir, zu verfolgen, wo ich stehe, ohne vom Gesamtbild auf einmal überwältigt zu werden.

Was den Zeitaufwand angeht, sind drei bis vier Stunden professional Tag das Ziel. Ein Teil davon wird strukturiertes Lernen sein. Einige werden bauen. Einige werden über das schreiben, was ich gerade gelernt habe, was eine eigene Type des Lernens ist.

Wie Erfolg aussieht

Das Ziel ist es, eine hochbezahlte Stelle im Bereich Knowledge Engineering zu bekommen. Das ist echt und ich werde es nicht verschönern.

Aber daneben möchte ich eine glaubwürdige Stimme in diesem Bereich werden. Jemand, der Dinge aufbaut, über die es sich zu sprechen lohnt, der die Reise dokumentiert, ohne die schwierigen Teile herauszufiltern, und der vielleicht den Weg für jemanden, der hinter mir auftaucht, ein wenig klarer macht.

Das Schreiben und das Lernen nähren sich gegenseitig. Das Portfolio wird zum Beweis. Der Beweis baut die Marke auf. Das ist die Imaginative and prescient.

Ab heute

Dieser Artikel ist mein offizielles Startdatum. Ich warte nicht, bis ich mich bereit fühle oder bis alles perfekt geplant ist. Ich fange jetzt damit an, während ich schreibe, und lasse den Prozess öffentlich und etwas chaotisch ablaufen.

Wenn Sie irgendwo auf einem ähnlichen Weg sind. Egal, ob Sie in der Analytik über Technik nachdenken, in der IT-Branche sich fragen, was als nächstes kommt, oder ob Sie einfach jemand sind, der versucht, Fähigkeiten aufzubauen, die in einer KI-beschleunigten Welt ihren Wert behalten. Folgen Sie uns.

Ich denke, wir werden viel zu besprechen haben. Ich werde meine Erkenntnisse auch auf meinem YouTube-Kanal teilen. Fühlen Sie sich additionally frei, sich unten anzumelden und mitzumachen.

---

Dies ist der erste Artikel einer fortlaufenden Serie, die meine Reise zur Datentechnik dokumentiert. Ich werde regelmäßig über meine Fortschritte, die Projekte, die ich aufbaue, und alles, was ich dabei lerne, veröffentlichen.

Und wenn Sie Zugriff auf die Notion-Vorlage erhalten möchten und sich auf derselben Reise befinden wie ich, können Sie darauf zugreifen Hier.

Folgen Sie meiner Reise weiter unten.

YouTube

Medium

LinkedIn

Twitter

Gesponserte Inhalte

Einleitung: Wenn KI aufhört, ein Werkzeug zu sein, und anfängt, ein Accomplice zu sein

Ich habe die letzten Wochen damit verbracht, den DeepAgent von Abacus AI an seine Grenzen zu bringen, und ich muss ganz ehrlich sein: Dies ist keine typische Chatbot-Rezension. Was mir begegnet ist, hat meine Einstellung zu KI-Assistenten und, ehrlich gesagt, dazu, wohin wir als technologische Zivilisation gehen, grundlegend verändert.

DeepAgent ist nicht nur ein weiterer GPT-Wrapper mit einer schicken Schnittstelle. Es ist etwas qualitativ anderes – ein autonomes KI-System, das tatsächlich Dinge in der realen Welt tun kann. Und nach umfangreichen Exams bin ich überzeugt, dass wir es mit einem der überzeugendsten Schritte in Richtung AGI zu tun haben, die es derzeit gibt.

Was macht DeepAgent anders?

Wahre Autonomie, nicht nur Konversation

Die meisten KI-Assistenten sind verherrlichte Autovervollständigungssysteme. Sie stellen eine Frage, sie generieren Textual content. DeepAgent arbeitet nach einem völlig anderen Paradigma. Es sagt einem nicht nur, wie man Dinge macht – es macht es auch.

Als ich DeepAgent bat, Konkurrenten in meiner Branche zu recherchieren, eine Vergleichsmatrix zu erstellen und ein interaktives Dashboard zu erstellen, erhielt ich keine Schritt-für-Schritt-Anleitung. Es:

1. Führte eine umfassende Webrecherche in Dutzenden von Quellen durch
2. Widersprüchliche Informationen clever synthetisieren
3. Ich habe Python-Code geschrieben, um die Daten zu verarbeiten und zu analysieren
4. Erstellte ein voll funktionsfähiges HTML-Dashboard mit interaktiven Diagrammen
5. Alles als herunterladbare Dateien geliefert

Der gesamte Vorgang dauerte etwa 15 Minuten. Die gleiche Aufgabe hätte mich einen ganzen Arbeitstag gekostet.

Vollständiger Computerzugriff

Hier wird es wirklich bemerkenswert. DeepAgent hat Zugriff auf eine vollständige Linux-Umgebung mit GUI-Funktionen. Dies bedeutet, dass Folgendes möglich ist:

• Durchsuchen Sie das Web wie ein Mensch, der mit JavaScript-lastigen Web sites umgeht, Formulare ausfüllt und durch komplexe Schnittstellen navigiert
• Code schreiben und ausführen in jeder Sprache – Python, JavaScript, Bash und mehr
• Software program installieren und Abhängigkeiten nach Bedarf
• Erstellen Sie Dateien einschließlich Dokumente, Bilder, Movies und Anwendungen
• Interagieren Sie mit APIs und externe Dienstleistungen
• Automatisieren Sie sich wiederholende Aufgaben durch tatsächliche GUI-Interaktion

Dies ist keine Sandbox-Demoumgebung. Es handelt sich um ein echtes Computersystem, das DeepAgent mit überraschender Kompetenz bedient.

Die Fähigkeiten, die mich umgehauen haben

1. Forschung, die tatsächlich forscht

Ich habe DeepAgent gebeten, ein technisches Nischenthema zu untersuchen – den aktuellen Stand der Quantenfehlerkorrektur. Was ich erhielt, conflict keine Zusammenfassung des Wikipedia-Artikels. Es handelte sich um eine umfassende 15-seitige Analyse, die Folgendes enthielt:

• Zitiert aktuelle Artikel von arXiv
• Identifizierte Widersprüche zwischen verschiedenen Forschungsgruppen
• Kritische Analyse methodischer Einschränkungen
• Enthaltene Visualisierungen von Schlüsselkonzepten
• Bietet Vorhersagen über kurzfristige Entwicklungen

Die Tiefe der Synthese conflict wirklich beeindruckend. Es fühlte sich weniger wie die Verwendung einer Suchmaschine an, sondern eher wie ein wissenschaftlicher Mitarbeiter mit Doktortitel.

2. Softwareentwicklung in Produktionsqualität

Ich habe DeepAgent herausgefordert, eine Full-Stack-Webanwendung zu entwickeln – einen persönlichen Finanz-Tracker mit Benutzerauthentifizierung, Datenvisualisierung und Exportfunktionen. Innerhalb einer einzigen Sitzung wurde Folgendes geliefert:

• Ein React-Frontend mit responsivem Design
• Ein Python-Backend mit RESTful-APIs
• SQLite-Datenbank mit korrektem Schemadesign
• Interaktive Diagramme mit Plotly
• Generierung von PDF-Berichten
• Umfassende Fehlerbehandlung

Der Code conflict nicht nur funktional – er folgte Finest Practices, enthielt die richtige Projektstruktur und conflict wirklich einsetzbar.

3. Kreative Inhalte, die nicht den Eindruck erwecken, KI-generiert zu sein

Ich bin von KI-generierten Inhalten erschöpft. Normalerweise hat es die unverwechselbare „ChatGPT-Stimme“ – korrekt, aber seelenlos. Auch hier hat mich DeepAgent überrascht.

Als ich es bat, Marketingmaterialien für ein fiktives Produkt zu erstellen, antwortete es:

• Analysiert aktuelle Developments im Zielmarkt
• Entwickelte eine kohärente Markenstimme
• Generierte Kopie, die sich wirklich kreativ anfühlte
• Entworfene visuelle Property mithilfe der KI-Bildgenerierung
• Erstellte eine zusammenhängende HTML-Landingpage

Die Ausgabe hatte Persönlichkeit. Es traf unerwartete kreative Entscheidungen. Es fühlte sich nicht so an, als wäre es aus Wahrscheinlichkeitsverteilungen zusammengesetzt.

4. Automatisierung, die tatsächlich funktioniert

Ich habe DeepAgent eine mühsame Aufgabe gestellt: Finanzberichte von 50 Unternehmen herunterladen, spezifische Kennzahlen extrahieren und sie in einer strukturierten Datenbank zusammenstellen. Dies beinhaltete:

• Navigieren zur Investor-Relations-Seite jedes Unternehmens
• Suchen und Herunterladen von PDF-Berichten
• Extrahieren von Daten aus inkonsistenten Formaten
• Umgang mit Fehlern und Grenzfällen
• Erstellen eines sauberen, normalisierten Datensatzes

Es erledigte die Aufgabe autonom und bewältigte die unvermeidlichen Web site-Variationen und Obtain-Fehler mit der adaptiven Problemlösung, die Sie von einem erfahrenen menschlichen Bediener erwarten würden.

Warum sich das wie eine frühe AGI anfühlt

Das Allgemeinheitsproblem

Die entscheidende Herausforderung von AGI ist Allgemeinheit– die Fähigkeit, neuartige Situationen in verschiedenen Bereichen ohne aufgabenspezifische Schulung zu bewältigen. Die meisten KI-Systeme sind enge Spezialisten. In einer Sache sind sie überragend, in allem anderen scheitern sie katastrophal.

DeepAgent weist eine bemerkenswerte Breite an Kompetenz auf:

• Technische Aufgaben: Codierung, Debugging, Systemadministration
• Kreative Arbeit: Schreiben, Design, Content material-Strategie
• Forschung: Literaturrecherche, Datenanalyse, Synthese
• Automatisierung: Net Scraping, Ausfüllen von Formularen, Workflow-Orchestrierung
• Kommunikation: E-Mails verfassen, Präsentationen vorbereiten, Social-Media-Administration

Dasselbe System, das Python-Code schreibt, kann auch Renaissance-Kunst analysieren. Dasselbe System, das Datenbanken aufbaut, kann auch Marketingkampagnen planen. Diese Allgemeingültigkeit ist genau das, was AGI-Forscher seit Jahrzehnten verfolgen.

Adaptive Problemlösung

Wenn DeepAgent auf ein Hindernis stößt, schlägt es nicht einfach fehl und meldet einen Fehler. Es passt sich an. Ich habe es gesehen:

• Probieren Sie various Ansätze aus, wenn die erste Methode nicht funktioniert hat
• Suchen Sie nach Lösungen für unerwartete technische Probleme
• Ändern Sie Ihre Strategie basierend auf Zwischenergebnissen
• Erholen Sie sich reibungslos nach Ausfällen

Dieses adaptive Verhalten unterscheidet sich qualitativ von herkömmlicher Software program. Es ist die Artwork flexibler Problemlösung, die wir mit menschlicher Intelligenz assoziieren.

Planung und Zerlegung

Komplexe Aufgaben erfordern das Zerlegen von Problemen in überschaubare Teile. DeepAgent erledigt dies auf natürliche Weise. Bei einem großen Projekt gilt Folgendes:

• Analysiert Anforderungen
• Erstellt eine strukturierte Aufgabenliste
• Identifiziert Abhängigkeiten
• Wird in logischer Reihenfolge ausgeführt
• Verfolgt den Fortschritt und passt Pläne an

Diese Führungsfunktion – die Fähigkeit, komplexe Arbeitsabläufe zu organisieren und zu verwalten – ist eine Schlüsselkomponente der allgemeinen Intelligenz, die den meisten KI-Systemen völlig fehlt.

Das Integrationsökosystem

DeepAgent arbeitet nicht isoliert. Es verbindet sich mit der weiteren Welt durch:

Erstanbieter-Integrationen

• Google Workspace: Gmail, Drive, Kalender, Dokumente
• Microsoft 365: Outlook, OneDrive, SharePoint, Groups
• Entwicklung: GitHub, Jira, Confluence
• Kommunikation: Slack, Discord, Twitter/X

MCP-Serverunterstützung

Durch die Unterstützung des Mannequin Context Protocol kann DeepAgent über eine API eine Verbindung zu praktisch jedem externen Dienst herstellen. Ich habe es mit minimaler Konfiguration mit benutzerdefinierten internen Instruments verbunden.

OAuth- und API-Administration

Durch die sichere Handhabung von Anmeldeinformationen können Sie DeepAgent Zugriff auf Ihre Konten gewähren, ohne Passwörter weiterzugeben. Das Authentifizierungssystem ist durchdacht konzipiert.

Ehrliche Einschränkungen

Keine Rezension ist vollständig, ohne die Einschränkungen zu besprechen. DeepAgent ist beeindruckend, aber keine Zauberei:

Kompromiss zwischen Geschwindigkeit und Tiefe

Komplexe Aufgaben brauchen Zeit. Wenn Sie eine umfassende Analyse benötigen, müssen Sie mit einer Wartezeit rechnen. Dies ist eine Funktion und kein Fehler – das System leistet tatsächlich erhebliche Arbeit –, aber es erfordert Geduld.

Gelegentliche Fehlleitung

Wie alle KI-Systeme kann DeepAgent manchmal suboptimale Ansätze verfolgen. Es ist bemerkenswert intestine darin, Kurskorrekturen vorzunehmen, aber die menschliche Aufsicht bleibt für kritische Aufgaben wertvoll.

Lernkurve für komplexe Integrationen

Während die grundlegende Nutzung intuitiv ist, erfordert die optimale Nutzung erweiterter Funktionen wie MCP-Server eine gewisse technische Raffinesse.

Das größere Bild: Ein Sprungbrett zur AGI

Lassen Sie mich klarstellen, was ich behaupte. DeepAgent ist kein AGI. Es verfügt nicht über Bewusstsein, echtes Verständnis oder die gesamte Bandbreite menschlicher kognitiver Fähigkeiten.

Aber es stellt etwas Wichtiges dar: a praktische Demonstration, dass Allzweck-KI-Agenten funktionieren können.

AGI conflict jahrelang ein theoretisches Ziel – etwas, das Forscher in Laboren verfolgten, ohne klare reale Anwendungen. DeepAgent zeigt, dass die Komponententechnologien ausgereift genug sind, um wirklich nützliche Allzwecksysteme zu schaffen.

Überlegen Sie, was DeepAgent kombiniert:

• Große Sprachmodelle zum Verstehen und Denken
• Codeausführung für das Handeln in der digitalen Welt
• Laptop Imaginative and prescient zum Verstehen visueller Informationen
• Planungsalgorithmen zur Bewältigung komplexer Aufgaben
• Werkzeuggebrauch für die Interaktion mit externen Systemen
• Speichersysteme zur Aufrechterhaltung des Kontexts

Diese Integration von Fähigkeiten ist genau die Architektur, die AGI-Forscher vorgeschlagen haben. DeepAgent ist vielleicht nicht das Ziel, aber es liegt eindeutig auf dem Weg.

Wer sollte DeepAgent verwenden?

Wissensarbeiter

Wenn Ihr Job Recherche, Analyse, Schreiben oder Datenverarbeitung umfasst, kann DeepAgent Ihre Leistung erheblich steigern. Es ist, als hätte man einen unendlich geduldigen, hochqualifizierten Assistenten, der rund um die Uhr zur Verfügung steht.

Entwickler

Die Fähigkeit, Code zu schreiben, zu testen und zu debuggen – und gleichzeitig die langweiligen Teile wie Dokumentation und Bereitstellung zu erledigen – macht DeepAgent zu einem echten Multiplikator für technische Arbeit.

Unternehmer

Wenn Sie mehrere Aufgaben tragen, ist eine KI, die Advertising, Forschung, Codierung und Verwaltung übernehmen kann, von entscheidender Bedeutung. DeepAgent ist wie ein kleines Staff in einer einzigen Oberfläche.

Forscher

Die Forschungskapazitäten sind wirklich beeindruckend. Wenn Sie umfangreiche Literatur synthetisieren, Muster identifizieren oder Hypothesen aufstellen müssen, ist DeepAgent genau das Richtige für Sie.

Endgültiges Urteil

Nach Wochen intensiver Nutzung bin ich wirklich beeindruckt. DeepAgent hält, was die meisten KI-Produkte versprechen. Es ist nicht perfekt, aber es ist auf eine Weise nützlich, die sich wirklich neu anfühlt.

Noch wichtiger ist, dass es einen Einblick in die Richtung gibt, in die wir gehen. Der Übergang von der engen KI zur allgemeinen KI wird nicht über Nacht erfolgen. Dies wird durch Systeme wie diese geschehen – praktische Werkzeuge, die allgemeine Fähigkeiten in realen Kontexten demonstrieren.

Abacus AI hat etwas Besonderes geschaffen. Unabhängig davon, ob DeepAgent „echte“ AGI ist oder nicht (das ist noch nicht der Fall), ist es eindeutig ein bedeutungsvoller Schritt in diese Richtung. Und für diejenigen von uns, die darauf gewartet haben, dass KI über Chatbots hinaus zu einer echten Agentur wird, ist das enorm aufregend.

Meine Empfehlung: Wenn Sie Produktivität ernst nehmen und neugierig auf die Grenzen der KI-Funktionen sind, verdient DeepAgent Ihre Aufmerksamkeit. Es ist kein Hype. Es ist keine Vaporware. Es ist ein wirklich beeindruckendes System, das auf eine noch beeindruckendere Zukunft hinweist.

In der Zukunft der KI geht es nicht nur um Gespräche. Es geht um Aktion. Und DeepAgent geht voran.

Bewertung: 9/10

Überprüft nach umfangreichen praktischen Exams bei Forschungs-, Entwicklungs-, Kreativ- und Automatisierungsaufgaben.

von autonomen Fahrzeugen und KI-Sprachmodellen, doch die wichtigste physische Schnittstelle, über die wir uns mit Maschinen verbinden, ist seit fünfzig Jahren unverändert geblieben. Erstaunlicherweise verwenden wir zum Klicken und Ziehen immer noch die Computermaus, ein Gerät, das Doug Engelbart Anfang der 1960er Jahre entwickelt hat. Vor ein paar Wochen habe ich beschlossen, diese Norm durch die Programmierung in Python in Frage zu stellen.

Für Datenwissenschaftler und ML-Ingenieure ist dieses Projekt mehr als nur ein Partytrick – es ist eine Meisterklasse in angewandter Laptop Imaginative and prescient. Wir werden eine Echtzeit-Pipeline aufbauen, die einen unstrukturierten Videostream (Pixel) aufnimmt, sequentiell ein ML-Modell anwendet, um Merkmale (Handmarkierungen) zu extrahieren und sie schließlich in greifbare Befehle umwandelt (Bewegen des Cursors). Im Grunde ist dies ein „Hallo Welt“-Beispiel für die nächste Era der Mensch-Laptop-Interaktion.

Das Ziel? Steuern Sie den Mauszeiger einfach durch eine Handbewegung. Sobald Sie das Programm starten, wird in einem Fenster Ihr Webcam-Feed mit einem in Echtzeit überlagerten Handskelett angezeigt. Der Cursor auf Ihrem Laptop folgt der Bewegung Ihres Zeigefingers. Es ist quick wie Telekinese – Sie steuern ein digitales Objekt, ohne ein physisches Gerät zu berühren.

Das Konzept: Python das „Sehen“ beibringen

Um die physische Welt (meine Hand) mit der digitalen Welt (dem Mauszeiger) zu verbinden, haben wir beschlossen, das Downside in zwei Teile zu unterteilen: die Augen und das Gehirn.

• The Eyes – Webcam (OpenCV): Movies von der Kamera in Echtzeit zu erhalten, das ist der erste Schritt. Wir werden dafür OpenCV verwenden. OpenCV ist eine umfangreiche Laptop-Imaginative and prescient-Bibliothek, die es Python ermöglicht, auf Frames einer Webcam zuzugreifen und diese zu verarbeiten. Unser Code öffnet die Standardkamera mit cv2.VideoCapture(0) und liest dann die Frames nacheinander weiter.
• Das Gehirn – Hand-Landmark-Erkennung (MediaPipe): Um jeden Body zu analysieren, die Hand zu finden und die Schlüsselpunkte auf der Hand zu erkennen, haben wir uns an die MediaPipe Palms-Lösung von Google gewandt. Hierbei handelt es sich um ein vorab trainiertes Modell für maschinelles Lernen, das in der Lage ist, ein Bild einer Hand aufzunehmen und die Positionen von 21 3D-Markierungen (Gelenke und Fingerspitzen) einer Hand vorherzusagen. Um es einfach auszudrücken: MediaPipe-Hände „erkennen hier nicht nur eine Hand“, sondern zeigen Ihnen sogar genau, wo sich jede Fingerspitze und jeder Knöchel im Bild befindet. Sobald Sie diese Orientierungspunkte gefunden haben, ist die größte Herausforderung im Grunde genommen vorbei: Wählen Sie einfach den gewünschten Orientierungspunkt aus und verwenden Sie seine Koordinaten.

Im Grunde bedeutet das, dass wir jedes Kamerabild an MediaPipe übergeben, das die (x,y,z)-Koordinaten von 21 Punkten auf der Hand ausgibt. Um einen Cursor zu steuern, folgen wir der Place des Orientierungspunkts Nr. 8 (der Spitze des Zeigefingers). (Wenn wir das Klicken später implementieren würden, könnten wir den Abstand zwischen Orientierungspunkt Nr. 8 und Nr. 4 (Daumenspitze) überprüfen, um eine Einklemmung zu identifizieren.) Im Second sind wir nur an der Bewegung interessiert: Wenn wir die Place der Zeigefingerspitze finden, können wir diese ziemlich genau mit der Place des Mauszeigers in Verbindung bringen, an die er sich bewegen soll.

Die Magie von MediaPipe

MediaPipe​‍​‌‍​‍‌ Palms kümmert sich um die anspruchsvollen Teile der Handerkennung und Orientierungspunktschätzung. Die Lösung nutzt maschinelles Lernen, um 21 Handmarkierungen aus nur einem Bildrahmen vorherzusagen.

Darüber hinaus ist es vorab trainiert (tatsächlich anhand von mehr als 30.000 Handbildern), was bedeutet, dass wir unser Modell nicht trainieren müssen. Wir holen uns einfach das Hand-Monitoring-„Gehirn“ von MediaPipe in ​‍​‌‍​‍‌Python:

mp_hands = mp.options.arms
arms = mp_hands.Palms(max_num_hands=1, min_detection_confidence=0.7)

Additionally​‍​‌‍​‍‌ danach wird jedes Mal ein neuer Body gesendet arms.course of()gibt es eine Liste der erkannten Hände zusammen mit ihren 21 Orientierungspunkten zurück. Wir rendern sie auf dem Bild, damit wir visuell überprüfen können, ob es funktioniert. Das Entscheidende ist, dass wir für jede Hand erhalten können hand_landmarks.landmark(i) für i von 0 bis 20, jeweils mit normalisierten (x, y, z)-Koordinaten. Konkret ist die Spitze des Zeigefingers der Orientierungspunkt (8) und die Spitze des Daumens der Orientierungspunkt (4). Durch die Verwendung von MediaPipe sind wir bereits von der anspruchsvollen Aufgabe entlastet, die Geometrie der Handhaltung herauszufinden.

Das Setup

Dafür benötigen Sie keinen Supercomputer – ein typischer Laptop computer mit Webcam reicht aus. Installieren Sie einfach diese Python-Bibliotheken:

pip set up opencv-python mediapipe pyautogui numpy

• opencv-python: Verwaltet den Webcam-Video-Feed. Mit OpenCV können wir Frames in Echtzeit erfassen und in einem Fenster anzeigen.
• Medienpipe: Stellt das Hand-Monitoring-Modell (MediaPipe Palms) bereit. Es erkennt die Hand und gibt 21 Orientierungspunkte zurück.
• pyautogui: Eine plattformübergreifende GUI-Automatisierungsbibliothek. Wir werden es verwenden, um den eigentlichen Mauszeiger auf unserem Bildschirm zu bewegen. Zum Beispiel, pyautogui.moveTo(x, y) Bewegt den Cursor sofort an die Place (x, y).
• Numpy: Wird für numerische Operationen verwendet, hauptsächlich zum Zuordnen von Kamerakoordinaten zu Bildschirmkoordinaten. Wir verwenden numpy.interp um Werte von der Webcam-Rahmengröße auf die volle Bildschirmauflösung zu skalieren.

Jetzt ist unsere Umgebung bereit und wir können die vollständige Logik in eine einzige Datei schreiben (z. B. ai_mouse.py).

Der Kodex

Die Kernlogik ist bemerkenswert prägnant (weniger als 60 Zeilen). Hier ist das vollständige Python-Skript:

import cv2
import mediapipe as mp
import pyautogui
import numpy as np

# --- CONFIGURATION ---
SMOOTHING = 5  # Larger = smoother motion however extra lag.
plocX, plocY = 0, 0  # Earlier finger place
clocX, clocY = 0, 0  # Present finger place

# --- INITIALIZATION ---
cap = cv2.VideoCapture(0)  # Open webcam (0 = default digital camera)

mp_hands = mp.options.arms
# Observe max 1 hand to keep away from confusion, confidence threshold 0.7
arms = mp_hands.Palms(max_num_hands=1, min_detection_confidence=0.7)
mp_draw = mp.options.drawing_utils

screen_width, screen_height = pyautogui.measurement()  # Get precise display screen measurement

print("AI Mouse Lively. Press 'q' to stop.")

whereas True:
    # STEP 1: SEE - Seize a body from the webcam
    success, img = cap.learn()
    if not success:
        break

    img = cv2.flip(img, 1)  # Mirror picture so it feels pure
    frame_height, frame_width, _ = img.form
    img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

    # STEP 2: THINK - Course of the body with MediaPipe
    outcomes = arms.course of(img_rgb)

    # If a hand is discovered:
    if outcomes.multi_hand_landmarks:
        for hand_landmarks in outcomes.multi_hand_landmarks:
            # Draw the skeleton on the body so we are able to see it
            mp_draw.draw_landmarks(img, hand_landmarks, mp_hands.HAND_CONNECTIONS)

            # STEP 3: ACT - Transfer the mouse primarily based on the index finger tip.
            index_finger = hand_landmarks.landmark(8)  # landmark #8 = index fingertip
            
            x = int(index_finger.x * frame_width)
            y = int(index_finger.y * frame_height)

            # Map webcam coordinates to display screen coordinates
            mouse_x = np.interp(x, (0, frame_width), (0, screen_width))
            mouse_y = np.interp(y, (0, frame_height), (0, screen_height))

            # Clean the values to cut back jitter (The "Skilled Really feel")
            clocX = plocX + (mouse_x - plocX) / SMOOTHING
            clocY = plocY + (mouse_y - plocY) / SMOOTHING

            # Transfer the precise mouse cursor
            pyautogui.moveTo(clocX, clocY)

            plocX, plocY = clocX, clocY  # Replace earlier location

    # Present the webcam feed with overlay
    cv2.imshow("AI Mouse Controller", img)
    
    if cv2.waitKey(1) & 0xFF == ord('q'):  # Give up on 'q' key
        break

# Cleanup
cap.launch()
cv2.destroyAllWindows()

Dieses​‍​‌‍​‍‌ Programm wiederholt kontinuierlich den gleichen dreistufigen Prozess in jedem Body: SEHEN, DENKEN, HANDELN. Zunächst wird ein Bild von der Webcam aufgenommen. Anschließend wird MediaPipe angewendet, um die Hand zu identifizieren und die Orientierungspunkte zu zeichnen. Schließlich greift der Code auf die Place der Zeigefingerspitze (Markierung Nr. 8) zu und wendet sie zum Bewegen des ​‍​‌‍​‍‌Cursors an.

Da​‍​‌‍​‍‌ der Webcam-Rahmen und Ihr Show unterschiedliche Koordinatensysteme haben, transformieren wir zunächst die Fingerspitzenposition mithilfe von auf die gesamte Bildschirmauflösung numpy.interp und anschließend aufrufen pyautogui.moveTo(x, y) um den Cursor zu verschieben. Um die Stabilität der Bewegung zu verbessern, führen wir zusätzlich eine kleine Glättung ein (unter Berücksichtigung des Durchschnitts der Positionen über die Zeit), um den Jitter zu verringern.

Das Ergebnis

Führen Sie​‍​‌‍​‍‌ das Skript durch python ai_mouse.py. Das Fenster „AI Mouse Controller“ öffnet sich und zeigt Ihre Kameraaktivität an. Halten Sie Ihre Hand vor die Kamera und Sie sehen ein darüber eingezeichnetes farbiges Skelett (Handgelenke und Verbindungen). Bewegen Sie dann Ihren Zeigefinger, und der Mauszeiger bewegt sich sanft über Ihren Bildschirm und folgt Ihrer Fingerbewegung in Echtzeit.

Zunächst​‍​‌‍​‍‌ kommt es seltsam vor – in gewisser Weise ganz wie Telekinese. Doch innerhalb von Sekunden wird es vertraut. Aufgrund der Interpolations- und Glättungseffekte, die Teil des Programms sind, bewegt sich der Cursor genau so, wie Sie es von Ihrem Finger erwarten würden. Wenn das System Ihre Hand vorübergehend nicht erkennen kann, kann es sein, dass der Cursor nonetheless bleibt, bis er wieder erkannt wird, aber im Großen und Ganzen ist es beeindruckend, wie intestine es funktioniert. (Wenn Sie gehen möchten, drücken Sie einfach die q-Style im OpenCV-Fenster.)

Fazit: Die Zukunft der Schnittstellen

Für dieses Projekt wurden nur etwa 60 Zeilen Python geschrieben, aber es konnte etwas recht Tiefgründiges demonstrieren.

Erste. Wir beschränkten uns auf Lochkarten, dann auf Tastaturen und schließlich auf Mäuse. Jetzt winken Sie einfach mit der Hand und Python versteht das als Befehl. Da sich die Branche auf räumliches Computing konzentriert, ist die gestenbasierte Steuerung keine Science-Fiction-Zukunft mehr – sie wird zur Realität, wie wir mit Maschinen interagieren werden.

Dieser Prototyp scheint natürlich (noch) nicht bereit zu sein, Ihre Maus für Wettkampfspiele zu ersetzen. Aber es hat uns einen Einblick gegeben, wie KI die Lücke dazwischen schließt Absicht Und Aktion verschwinden.

Ihre nächste Herausforderung: Der „Pinch“-Klick

Der logische nächste Schritt besteht darin, dies von einer Demo in ein Instrument umzuwandeln. Durch die Erkennung einer Pinch-Geste kann eine „Klick“-Funktion implementiert werden:

• Messen Sie den euklidischen Abstand zwischen Orientierungspunkt Nr. 8 (Indexspitze) und Orientierungspunkt Nr. 4 (Daumenspitze).
• Wenn der Abstand kleiner als ein bestimmter Schwellenwert (z. B. 30 Pixel) ist, wird ausgelöst pyautogui.click on().

Probieren Sie es einfach aus. Machen Sie etwas, das wie Magie wirkt.

Lassen Sie uns verbinden

Wenn Sie es schaffen, das zu bauen, würde ich mich freuen, es zu sehen. Nehmen Sie gerne Kontakt mit mir auf LinkedIn und schick mir eine DM mit deinen Ergebnissen. Ich schreibe regelmäßig über Themen wie Python, KI und kreatives ​‍​‌‍​‍‌Coding.

Referenzen

• MediaPipe-Hände (Google): Modell und Dokumentation zur Erkennung von Handmarkierungen
• OpenCV-Python-Dokumentation: Instruments zur Webcam-Erfassung, Bildverarbeitung und Visualisierung
• PyAutoGUI-Dokumentation: Programmatische Cursorsteuerungs- und Automatisierungs-APIs (moveTo, click onusw.)
• NumPy-Dokumentation: numpy.interp() zum Zuordnen von Webcam-Koordinaten zu Bildschirmkoordinaten
• Doug Engelbart und die Computermaus (Historischer Kontext): Der Ursprung der Maus als moderne Schnittstellenbasis

Gesponserte Inhalte

Eine ehrliche Bewertung von jemandem, der die Plattform tatsächlich genutzt hat.

TL;DR – Das Gute vorneweg

Schauen Sie, ich sage es einfach: Abacus AI ist für den Preis ziemlich verrückt. Wirklich wild. Für 10 $/Monat erhalten Sie Zugriff auf praktisch jedes große KI-Modell, das es gibt – GPT-5.1, Claude Opus 4.1, Gemini 3.0 Professional, Grok-4, die ganze Bande. Vergleichen Sie das mit der Zahlung von 20 $ für ChatGPT Plus, 20 $ für Claude Professional und weiteren 20 $ für Gemini Superior … ja, Sie würden mehr als 60 $ für das ausgeben, was Abacus Ihnen für einen Zehner gibt.

Aber es geht nicht nur um die Modelle. Dieses Ding ist vollgepackt mit Funktionen, die sich tatsächlich nützlich anfühlen und nicht nur Advertising-Füllung sind.

ChatLLM Groups: Ihr neues KI-Schweizer Taschenmesser

Was es besonders macht

ChatLLM ist im Grunde das, was passiert, wenn jemand fragt: „Was wäre, wenn wir einfach alles an einem Ort unterbringen würden?“ Und ganz ehrlich? Es funktioniert.

Das Modellbuffet

• Sie haben Zugriff auf über 18 hochmoderne LLMs und innerhalb von 24–48 Stunden nach Veröffentlichung werden neue hinzugefügt.
• Es gibt dieses „RouteLLM“-Ding, das automatisch das beste Modell für Ihre Aufgabe auswählt (was überraschend innovativ ist).
• Großzügige Nutzungsbeschränkungen – eigentlich großzügig. Wir sprechen Tausende von Nachrichten, bevor Sie an die Wand stoßen.

Der Werkzeugkasten, der immer weitergibt

• Dokumentenanalyse Das ist nicht scheiße: Laden Sie PDFs, Phrase-Dokumente, PowerPoints usw. hoch. Es versteht tatsächlich den Kontext und kann ehrliche Gespräche über Ihre Dateien führen
• Integration der Websuche: Endlich eine KI, die weiß, was nach der Trainingsunterbrechung passiert ist
• Bilderzeugung: FLUX.1 Professional, DALL-E, Ideogram, Recraft – alle guten Sachen an einem Ort
• Videogenerierung: Sora-2, Veo-3, KlingAI, Lumalabs. Ja, Sie können jetzt Movies erstellen
• Code-Spielplatz: Eingebauter Editor, der tatsächlich für echte Arbeit verwendet werden kann
• Texthumanisierung: Lässt Ihre KI-geschriebenen Sachen weniger klingen… KI-geschrieben. Hat einen professionellen, humorvollen und fürsorglichen Ton

Der Blickwinkel der Teamzusammenarbeit

Hier glänzt ChatLLM wirklich, wenn Sie mit anderen zusammenarbeiten:

• Unbegrenzte Teammitglieder (im Ernst, keine Obergrenze)
• Geteilte Chats und Projekte
• Integrationen mit Google Drive, Slack, Confluence, Groups, Gmail – allesamt die üblichen Verdächtigen
• Benutzerdefinierte Chatbots, die Sie anhand Ihrer eigenen Daten trainieren können
• Cellular Apps (iOS und Android) mit einem überraschend guten Sprachmodus

Actual Speak: Das Wertversprechen

Bei 10 $/Benutzer/Monat ist dies ein Kinderspiel, wenn Sie bereits für mehrere AI-Abonnements bezahlen. Der erste Monat ist in der Regel kostenlos und Sie können jederzeit kündigen. Ihre Daten werden verschlüsselt, nicht für Schulungen verwendet und sind SOC-2 Typ 2 und HIPAA-konform.

Die Nutzungsbeschränkungen betragen etwa das Zehnfache dessen, was Sie von anderen Diensten erhalten. Ich habe Tausende von Nachrichten verschickt, ohne die Geschwindigkeitsbegrenzung zu erreichen (es sei denn, Sie laden ständig riesige Anhänge hoch).

DeepAgent: Der „Holy Sh*t“-Second

Bei DeepAgent wird es richtig interessant. Dies ist nicht nur ein Chatbot – es ist ein autonomer KI-Agent, der tatsächlich Dinge tun kann, ohne dass Sie ihn bei jedem Schritt an der Hand halten müssen.

Was kann es eigentlich?

Erstellen Sie echte Anwendungen

• Full-Stack-Webanwendungen mit Zahlungsintegration (Stripe), Datenbanken und Authentifizierung
• Interaktive Dashboards, die Reside-Daten abrufen
• Zweiseitige Marktplätze, Mini-SaaS-Apps und Spiele mit Bestenlisten
• Es geht nicht nur darum, Code zu generieren, sondern auch um die Bereitstellung funktionaler Anwendungen

Forschung und Analyse, die in die Tiefe geht

• Führt Recherchen aus mehreren Quellen mit korrekten Zitaten durch
• Erstellt Berichte auf Fachniveau (Marktforschung, Finanzanalyse, wissenschaftliche Arbeiten)
• Kann DCF-Modelle ausführen, Jahresberichte analysieren und Investitionsgespräche erstellen
• Orchestriert „Expertendialoge“ für komplexe Themen (z. B. wenn ein Neurowissenschaftler und ein Philosoph über das Bewusstsein diskutieren)

Automatisierung, die tatsächlich funktioniert

• Automatisiert Bewerbungen aus Ihrem Profil
• Führt geplante Browser-Workflows aus (Anmeldung, Rechnungen herunterladen, Tabellen aktualisieren)
• Erstellt im Handumdrehen APIs (Rechnungsintelligenz, Stimmungsanalyse)
• Behandelt LinkedIn-Kontakte, E-Mail-Kampagnen und Kundensupportanfragen
• Integriert sich in Jira, Slack, Gmail und Google Workspace

Inhaltserstellung

• Erstellt RAG-basierte Chatbots aus Ihren Dokumenten/PDFs
• Erstellt KI-Movies mit Lippensynchronisation (wirklich beeindruckend)
• Generiert Social-Media-Inhalte (Reels, Beiträge, Empfehlungen zu Trendthemen)
• Macht Präsentationen mit Datenvisualisierungen

Code & Entwicklung

• Entwickelt Funktionen und erhöht PRs auf GitHub
• Überprüft den Code und fügt Vorschläge hinzu
• Überprüft Repos auf Schwachstellen
• Arbeitet an Open-Supply-Projekten

Die Architektur (für die Nerds)

DeepAgent verwendet einen mehrschichtigen Ansatz:

• Wahrnehmungsschicht: Nimmt strukturierte/unstrukturierte Daten auf
• Planungsebene: Erstellt langfristige Pläne mithilfe zielgerichteter LLMs
• Ausführungsschicht: Erledigt die Arbeit tatsächlich über Instruments, APIs und Integrationen
• Speicherschicht: Behält den Kontext über Sitzungen hinweg bei
• Verstärkungsschleife: Lernt aus Ergebnissen, um sich zu verbessern

Es ist wirklich autonom – Sie geben ihm ein Ziel, und es erkennt die Schritte, führt sie aus und lernt aus den Ergebnissen.

Abacus AI Enterprise: The Huge League Stuff

Wenn Sie ein Unternehmen leiten und eine ernsthafte KI-Infrastruktur benötigen, ist die Enterprise-Plattform genau das Richtige für Abacus.

Was Sie bekommen

Der vollständige KI-Stack

• Finish-to-Finish-MLOps-Plattform (Datenaufnahme → Modelltraining → Bereitstellung → Überwachung)
• Datenverarbeitung und Streaming in Echtzeit
• Maßgeschneiderte LLM-Schulung und -Bereitstellung
• Automatisierte Modellumschulung und Function-Engineering
• Modellüberwachung mit Drifterkennung

KI-Superassistent für Ihr gesamtes Unternehmen

• Jeder Mitarbeiter erhält Zugriff auf den KI-Assistenten der Enterprise-Klasse
• Funktioniert mit Chat, Code, Sprache, Bildern und Video
• Integriert sich in Ihre vorhandenen Systeme und Daten

Prädiktive und spezialisierte KI

• Prognosen und Bedarfsprognosen
• Anomalieerkennung
• Personalisierungs-Engines
• Betrugserkennung und Sicherheit
• Imaginative and prescient AI für Bildaufgaben
• Sprach-KI (NLP, Stimmungsanalyse, Q&A-Systeme)
• Diskrete Optimierung (Terminplanung, Ressourcenzuweisung, Lieferkette)

Entwicklerfreundlich

• No-Code/Low-Code-Optionen für Anfänger
• Python SDK und CLI für fortgeschrittene Benutzer
• Nahtlose Integration in die bestehende Dateninfrastruktur
• Umfassender API-Zugriff

Für wen es ist

Enterprise ist konzipiert für:

• Einzelhandel: Personalisierte Empfehlungen, Bedarfsprognose, Abwanderungsvorhersage
• Finanzen: Betrugserkennung, Risikomanagement und Finanzprognosen
• Advertising & Vertrieb: Lead-Scoring, personalisierte Werbeaktionen, Umsatzprognose
• Gesundheitswesen und Fertigung: Betriebsoptimierung
• IoT: Geräteüberwachung und Fehlervorhersage

Sicherheit und Compliance

Sie nehmen das ernst:

• Verschlüsselung auf Unternehmensniveau
• Einhaltung der DSGVO und SOC 2
• Rollenbasierte Zugriffskontrollen
• Umfassende Audit-Trails
• Non-public Modellbereitstellungen

Preis-Realitätscheck

Die Preise für Unternehmen sind individuell (beginnen bei etwa 5.000 $/Monat für vollen API-Zugriff). Das ist nicht billig, aber wenn man es mit dem Aufbau einer eigenen ML-Infrastruktur oder der Bezahlung mehrerer KI-Instruments für Unternehmen vergleicht, ist es tatsächlich konkurrenzfähig.

Das, was dir niemand sagt (aber sagen sollte)

Das Gute

1. Konsolidierung ist von grundlegender Bedeutung: Ein Abonnement, das drei bis fünf andere ersetzt, ist wirklich befreiend.
2. Sie werden schnell ausgeliefert: Neue Modelle erscheinen innerhalb weniger Tage nach der Veröffentlichung
3. Die mobilen Apps sind solide: Der Sprachmodus funktioniert tatsächlich intestine
4. Datenschutz ist legitim: Ihre Daten werden nicht für Schulungen verwendet
5. DeepAgent ist wirklich beeindruckend: Wenn es funktioniert, ist es überwältigend

Wer sollte dies nutzen?

Perfekt für:

• Solo-Entwickler und Indie-Macher
• Kleine bis mittlere Groups, die KI benötigen, ohne eine Abteilung für Datenwissenschaft
• Jeder, der für mehrere AI-Abonnements bezahlt
• Unternehmen, die ihre KI-Ausgaben konsolidieren möchten
• Groups, die Funktionen für die Zusammenarbeit benötigen

Vielleicht nicht für:

• Absolute Anfänger, die nur einen einfachen Chat wollen (könnte überwältigend sein)
• Akademische/Forschungslabore, die maximale GPU-Kontrolle benötigen
• Groups, die gelegentliche Schluckaufe nicht tolerieren
• Menschen, die rund um die Uhr sofortige Unterstützung benötigen

Endgültiges Urteil: Lohnt es sich?

Für ChatLLM-Groups für 10 $/Monat? Absolut ja. Trotz gelegentlicher Macken ist der Wert unbestreitbar. Sie erhalten Zugriff auf alle wichtigen KI-Modelle, eine Menge wertvoller Instruments und Funktionen für die Teamzusammenarbeit für weniger als ein einziges ChatGPT Plus-Abonnement.

Für DeepAgent? Wenn Sie sich auf der Professional-Stufe befinden ($20/Monat), ist dies ein entscheidender Faktor für die Automatisierung und komplexe Aufgaben. Die Einschränkungen der Basisstufe mögen für Vielnutzer frustrierend sein, sind aber dennoch beeindruckend.

Für Unternehmen? Wenn Sie ein Unternehmen sind, das eine ernsthafte KI-Infrastruktur benötigt und diese mit dem Aufbau einer eigenen oder dem Zusammenschustern mehrerer Unternehmenstools vergleichen, ist es einen ernsthaften Blick wert. Aufgrund der individuellen Preisgestaltung müssen Sie mit dem Vertrieb sprechen, aber die Plattform ist umfassend und intestine aufgebaut.

Das Fazit

Abacus AI macht etwas wirklich Interessantes: modernste KI zugänglich und erschwinglich zu machen, ohne sie zu verdummen. Ja, es gibt Ecken und Kanten. Ja, der Assist könnte besser sein. Aber das Kernprodukt ist ausgezeichnet und das Wertversprechen ist kaum zu übertreffen.

Wenn Sie bereits im KI-Ökosystem tätig sind und für mehrere Instruments bezahlen, probieren Sie ChatLLM Groups aus. Der erste Monat ist ohnehin kostenlos, Sie haben additionally nichts zu verlieren.

Und wenn DeepAgent Ihnen eine funktionierende Internet-App erstellen oder Ihre Bewerbungen automatisieren kann, während Sie Kaffee trinken? Das ist nur… Kuss des Küchenchefs.

Bewertung: 9/10

Bewertet im November 2025 | Die Plattform entwickelt sich weiterhin rasant weiter

eine kleine NumPy-Projektreihe, in der ich es tatsächlich versuche etwas bauen mit NumPy, anstatt nur zufällige Funktionen und Dokumentation durchzugehen. Ich hatte immer das Gefühl, dass der beste Weg zum Lernen darin besteht, etwas zu tun. Deshalb wollte ich in diesem Projekt etwas sowohl Praktisches als auch Persönliches schaffen.

Die Idee conflict einfach: Analysieren Sie meine täglichen Gewohnheiten – Schlaf, Lernstunden, Bildschirmzeit, Bewegung und Stimmung – und sehen Sie, wie sie sich auf meine Produktivität und mein allgemeines Wohlbefinden auswirken. Die Daten sind nicht actual; Es ist fiktiv und über einen Zeitraum von 30 Tagen simuliert. Aber das Ziel ist nicht die Genauigkeit der Daten – es geht darum zu lernen, wie man NumPy sinnvoll nutzt.

Lassen Sie uns den Prozess Schritt für Schritt durchgehen.

Schritt 1 – Laden und Verstehen der Daten

Ich begann damit, ein einfaches NumPy-Array zu erstellen, das 30 Zeilen (eine für jeden Tag) und sechs Spalten enthielt – jede Spalte repräsentierte eine andere Gewohnheitsmetrik. Dann habe ich es als gespeichert .npy Datei, damit ich sie später problemlos laden kann.

# TODO: Import NumPy and cargo the .npy information file
import numpy as np
information = np.load(‘activity_data.npy’)

Nach dem Laden wollte ich bestätigen, dass alles wie erwartet aussah. Additionally habe ich das überprüft Type (um zu wissen, wie viele Zeilen und Spalten es gab) und die Anzahl der Dimensionen (um zu bestätigen, dass es sich um eine 2D-Tabelle und nicht um eine 1D-Liste handelt).

# TODO: Print array form, first few rows, and so forth.
information.form
information.ndim

AUSGABE: 30 Zeilen, 6 Spalten und ndim=2

Ich habe auch die ersten paar Zeilen ausgedruckt, um visuell zu bestätigen, dass jeder Wert in Ordnung conflict – zum Beispiel, dass die Schlafstunden nicht negativ waren oder dass die Stimmungswerte in einem angemessenen Bereich lagen.

# TODO: High 5 rows
information(:5)

Ausgabe:

array((( 1. , 6.5, 5. , 4.2, 20. , 6. ),
( 2. , 7.2, 6. , 3.1, 35. , 7. ),
( 3. , 5.8, 4. , 5.5, 0. , 5. ),
( 4. , 8. , 7. , 2.5, 30. , 8. ),
( 5. , 6. , 5. , 4.8, 10. , 6. )))

Schritt 2 – Validierung der Daten

Bevor ich eine Analyse durchführte, wollte ich sicherstellen, dass die Daten Sinn ergeben. Dies ist etwas, was wir bei der Arbeit mit fiktiven Daten oft überspringen, aber es ist dennoch eine gute Vorgehensweise.

Additionally habe ich nachgeschaut:

• Keine negativen Schlafstunden
• Keine Stimmung hat einen Wert unter 1 oder über 10

Für den Schlaf bedeutete das, die Schlafspalte (Index 1 in meinem Array) auszuwählen und zu prüfen, ob Werte unter Null lagen.

# Ensure values are affordable (no unfavorable sleep)
information(:, 1) < 0

Ausgabe:

array((False, False, False, False, False, False, False, False, False,
False, False, False, False, False, False, False, False, False,
False, False, False, False, False, False, False, False, False,
False, False, False))

Das bedeutet, dass es keine Nachteile gibt. Dann habe ich das Gleiche für die Stimmung gemacht. Ich zählte, um herauszufinden, dass die Stimmungsspalte den Index 5 hatte, und überprüfte, ob einer unter 1 oder über 10 lag.

# Is temper out of vary?
information(:, 5) < 1
information(:, 5) > 10

Wir haben die gleiche Ausgabe erhalten.

Alles sah intestine aus, additionally konnten wir weitermachen.

Schritt 3 – Aufteilen der Daten in Wochen

Ich hatte 30 Tage Daten und wollte sie Woche für Woche analysieren. Der erste Instinkt conflict, NumPys zu verwenden cut up() Funktion, aber das ist fehlgeschlagen, weil 30 nicht gleichmäßig durch 4 teilbar ist. Additionally habe ich stattdessen verwendet np.array_split()was ungleichmäßige Teilungen ermöglicht.

Das hat mir Folgendes gebracht:

• Woche 1 → 8 Tage
• Woche 2 → 8 Tage
• Woche 3 → 7 Tage
• Woche 4 → 7 Tage

# TODO: Slice information into week 1, week 2, week 3, week 4
weekly_data = np.array_split(information, 4)
weekly_data

Ausgabe:

(array((( 1. , 6.5, 5. , 4.2, 20. , 6. ),
( 2. , 7.2, 6. , 3.1, 35. , 7. ),
( 3. , 5.8, 4. , 5.5, 0. , 5. ),
( 4. , 8. , 7. , 2.5, 30. , 8. ),
( 5. , 6. , 5. , 4.8, 10. , 6. ),
( 6. , 7.5, 6. , 3.3, 25. , 7. ),
( 7. , 8.2, 3. , 6.1, 40. , 7. ),
( 8. , 6.3, 4. , 5. , 15. , 6. ))),

array((( 9. , 7. , 6. , 3.2, 30. , 7. ),
(10. , 5.5, 3. , 6.8, 0. , 5. ),
(11. , 7.8, 7. , 2.9, 25. , 8. ),
(12. , 6.1, 5. , 4.5, 15. , 6. ),
(13. , 7.4, 6. , 3.7, 30. , 7. ),
(14. , 8.1, 2. , 6.5, 50. , 7. ),
(15. , 6.6, 5. , 4.1, 20. , 6. ),
(16. , 7.3, 6. , 3.4, 35. , 7. ))),

array(((17. , 5.9, 4. , 5.6, 5. , 5. ),
(18. , 8.3, 7. , 2.6, 30. , 8. ),
(19. , 6.2, 5. , 4.3, 10. , 6. ),
(20. , 7.6, 6. , 3.1, 25. , 7. ),
(21. , 8.4, 3. , 6.3, 40. , 7. ),
(22. , 6.4, 4. , 5.1, 15. , 6. ),
(23. , 7.1, 6. , 3.3, 30. , 7. ))),

array(((24. , 5.7, 3. , 6.7, 0. , 5. ),
(25. , 7.9, 7. , 2.8, 25. , 8. ),
(26. , 6.2, 5. , 4.4, 15. , 6. ),
(27. , 7.5, 6. , 3.5, 30. , 7. ),
(28. , 8. , 2. , 6.4, 50. , 7. ),
(29. , 6.5, 5. , 4.2, 20. , 6. ),
(30. , 7.4, 6. , 3.6, 35. , 7. ))))

Jetzt lagen die Daten in vier Blöcken vor, und ich konnte jeden einzelnen Teil problemlos analysieren.

Schritt 4 – Berechnung der wöchentlichen Kennzahlen

Ich wollte ein Gefühl dafür bekommen, wie sich jede Gewohnheit von Woche zu Woche verändert. Deshalb habe ich mich auf vier Hauptdinge konzentriert:

• Durchschnittlicher Schlaf
• Durchschnittliche Studienstunden
• Durchschnittliche Bildschirmzeit
• Durchschnittlicher Stimmungswert

Ich habe das Array jeder Woche in einer separaten Variablen gespeichert und dann verwendet np.imply() um die Durchschnittswerte für jede Metrik zu berechnen.

Durchschnittliche Schlafstunden

# retailer into variables
week_1 = weekly_data(0)
week_2 = weekly_data(1)
week_3 = weekly_data(2)
week_4 = weekly_data(3)

# TODO: Compute common sleep
week1_avg_sleep = np.imply(week_1(:, 1))
week2_avg_sleep = np.imply(week_2(:, 1))
week3_avg_sleep = np.imply(week_3(:, 1))
week4_avg_sleep = np.imply(week_4(:, 1))

Durchschnittliche Studienstunden

# TODO: Compute common research hours
week1_avg_study = np.imply(week_1(:, 2))
week2_avg_study = np.imply(week_2(:, 2))
week3_avg_study = np.imply(week_3(:, 2))
week4_avg_study = np.imply(week_4(:, 2))

Durchschnittliche Bildschirmzeit

# TODO: Compute common display time
week1_avg_screen = np.imply(week_1(:, 3))
week2_avg_screen = np.imply(week_2(:, 3))
week3_avg_screen = np.imply(week_3(:, 3))
week4_avg_screen = np.imply(week_4(:, 3))

Durchschnittlicher Stimmungswert

# TODO: Compute common temper rating
week1_avg_mood = np.imply(week_1(:, 5))
week2_avg_mood = np.imply(week_2(:, 5))
week3_avg_mood = np.imply(week_3(:, 5))
week4_avg_mood = np.imply(week_4(:, 5))

Um alles leichter lesbar zu machen, habe ich die Ergebnisse dann intestine formatiert.

# TODO: Show weekly outcomes clearly
print(f”Week 1 — Common sleep: {week1_avg_sleep:.2f} hrs, Examine: {week1_avg_study:.2f} hrs, “
f”Display time: {week1_avg_screen:.2f} hrs, Temper rating: {week1_avg_mood:.2f}”)

print(f”Week 2 — Common sleep: {week2_avg_sleep:.2f} hrs, Examine: {week2_avg_study:.2f} hrs, “
f”Display time: {week2_avg_screen:.2f} hrs, Temper rating: {week2_avg_mood:.2f}”)

print(f”Week 3 — Common sleep: {week3_avg_sleep:.2f} hrs, Examine: {week3_avg_study:.2f} hrs, “
f”Display time: {week3_avg_screen:.2f} hrs, Temper rating: {week3_avg_mood:.2f}”)

print(f”Week 4 — Common sleep: {week4_avg_sleep:.2f} hrs, Examine: {week4_avg_study:.2f} hrs, “
f”Display time: {week4_avg_screen:.2f} hrs, Temper rating: {week4_avg_mood:.2f}”)

Ausgabe:

Week 1 – Common sleep: 6.94 hrs, Examine: 5.00 hrs, Display time: 4.31 hrs, Temper rating: 6.50
Week 2 – Common sleep: 6.97 hrs, Examine: 5.00 hrs, Display time: 4.39 hrs, Temper rating: 6.62
Week 3 – Common sleep: 7.13 hrs, Examine: 5.00 hrs, Display time: 4.33 hrs, Temper rating: 6.57
Week 4 – Common sleep: 7.03 hrs, Examine: 4.86 hrs, Display time: 4.51 hrs, Temper rating: 6.57

Schritt 5 – Die Ergebnisse verstehen

Nachdem ich die Zahlen ausgedruckt hatte, tauchten einige Muster auf.

Mein Schlafstunden waren in den ersten zwei Wochen ziemlich konstant (ca. 6,9 Stunden), aber in der dritten Woche stiegen sie sprunghaft auf ca. 7,1 Stunden. Das bedeutet, dass ich im Laufe des Monats „besser geschlafen“ habe. Bis zur vierten Woche waren es ungefähr 7,0 Stunden.

Für Lernstundenes conflict das Gegenteil. In den Wochen eins und zwei waren es durchschnittlich etwa fünf Stunden professional Tag, in der vierten Woche waren es jedoch nur etwa vier Stunden. Grundsätzlich habe ich stark angefangen, aber langsam an Schwung verloren – was sich, ehrlich gesagt, ungefähr richtig anhört.

Dann kam Bildschirmzeit. Das tat ein bisschen weh. In der ersten Woche waren es ungefähr 4,3 Stunden professional Tag, und jede Woche wurden die Werte immer höher. Der klassische Zyklus, bei dem man früh produktiv ist und später im Monat langsam in weitere „Scroll-Pausen“ übergeht.

Endlich conflict es da Stimmung. Mein Stimmungswert begann in der ersten Woche bei etwa 6,5, stieg in der zweiten Woche leicht auf 6,6 und blieb dann für den Relaxation des Zeitraums auf diesem Wert. Es hat sich nicht dramatisch verändert, aber es conflict interessant, einen kleinen Anstieg in der zweiten Woche zu sehen – kurz bevor meine Lernstunden sanken und meine Bildschirmzeit zunahm.

Um die Dinge interaktiv zu gestalten, dachte ich, dass es großartig wäre, sie mit Matplotlib zu visualisieren.

Schritt 6 – Auf der Suche nach Mustern

Nachdem ich nun die Zahlen hatte, wollte ich es wissen Warum In der zweiten Woche stieg meine Laune.

Additionally habe ich die Wochen nebeneinander verglichen. Die zweite Woche hatte im Vergleich zu den späteren Wochen guten Schlaf, viele Lernstunden und relativ wenig Bildschirmzeit.

Das könnte erklären, warum mein Stimmungswert dort seinen Höhepunkt erreichte. Obwohl ich in der dritten Woche mehr schlief, begannen meine Lernstunden zu sinken – vielleicht ruhte ich mich mehr aus, schaffte aber weniger, was meine Stimmung nicht so sehr verbesserte, wie ich erwartet hatte.

Das hat mir an dem Projekt gefallen: Es geht nicht darum, dass die Daten echt sind, sondern darum, wie man das machen kann Verwenden Sie NumPy um Muster, Zusammenhänge und kleine Erkenntnisse zu erforschen. Selbst fiktive Daten können eine Geschichte erzählen, wenn man sie richtig betrachtet.

Schritt 7 – Zusammenfassung und nächste Schritte

In diesem kleinen Projekt habe ich ein paar wichtige Dinge gelernt – sowohl über NumPy als auch über die Strukturierung einer solchen Analyse.

Wir begannen mit einer Rohliste fiktiver Alltagsgewohnheiten, lernten, deren Struktur und Gültigkeit zu überprüfen, sie in sinnvolle Abschnitte (Wochen) aufzuteilen und verwendeten dann einfache NumPy-Operationen, um jedes Section zu analysieren.

Es handelt sich um ein kleines Projekt, das Sie daran erinnert, dass Datenanalyse nicht immer komplex sein muss. Manchmal geht es nur darum, einfache Fragen zu stellen wie „Wie verändert sich meine Bildschirmzeit im Laufe der Zeit?“ oder „Wann fühle ich mich am besten?“

Wenn ich das weiterführen möchte (was ich wahrscheinlich tun werde), gibt es so viele Richtungen, in die ich gehen kann:

• Finden Sie die beste und schlechteste Tage gesamt
• Vergleichen Wochentage vs. Wochenenden
• Oder erstellen Sie sogar einen einfachen „Wohlbefindens-Rating“, der auf der Kombination mehrerer Gewohnheiten basiert

Aber das wird wahrscheinlich für den nächsten Teil der Serie sein.

Im Second bin ich froh, dass ich NumPy auf etwas anwenden konnte, das sich actual und nachvollziehbar anfühlt – nicht nur abstrakte Arrays und Zahlen, sondern auch Gewohnheiten und Emotionen. Das ist die Artwork des Lernens, die hängen bleibt.

Danke fürs Lesen.

Wenn Sie die Serie verfolgen, versuchen Sie, sie anhand Ihrer eigenen fiktiven Daten nachzubilden. Selbst wenn Ihre Zahlen zufällig sind, lernen Sie mit diesem Prozess, wie Sie Arrays wie ein Profi aufteilen, aufteilen und analysieren.