Bild vom Autor

# Einführung

Als Dateningenieur sind Sie wahrscheinlich (zumindest teilweise) für die Dateninfrastruktur Ihres Unternehmens verantwortlich. Sie bauen die Pipelines auf, pflegen die Datenbanken, sorgen für einen reibungslosen Datenfluss und beheben Fehler, wenn etwas unweigerlich kaputt geht. Aber hier ist die Sache: Wie viel Zeit Ihres Tages verbringen Sie mit der manuellen Überprüfung des Pipeline-Zustands, der Validierung von Datenlasten oder der Überwachung der Systemleistung?

Wenn Sie ehrlich sind, ist das wahrscheinlich ein riesiger Teil Ihrer Zeit. Dateningenieure verbringen viele Stunden ihres Arbeitstages mit betrieblichen Aufgaben – der Überwachung von Jobs, der Validierung von Schemata, der Verfolgung der Datenherkunft und der Reaktion auf Warnungen –, während sie an der Entwicklung besserer Systeme arbeiten könnten.

In diesem Artikel werden fünf Python-Skripte behandelt, die speziell für die Bewältigung sich wiederholender Infrastruktur- und Betriebsaufgaben entwickelt wurden, die Ihre wertvolle Entwicklungszeit verschlingen.

Hyperlink zum Code auf GitHub

# 1. Pipeline-Gesundheitsmonitor

Der Schmerzpunkt: Sie haben Dutzende ETL-Jobs, die über verschiedene Zeitpläne hinweg ausgeführt werden. Einige verkehren stündlich, andere täglich oder wöchentlich. Um zu überprüfen, ob sie alle erfolgreich abgeschlossen wurden, müssen Sie sich bei verschiedenen Systemen anmelden, Protokolle abfragen, Zeitstempel überprüfen und zusammensetzen, was tatsächlich passiert. Wenn Sie feststellen, dass ein Auftrag fehlgeschlagen ist, sind nachgelagerte Prozesse bereits fehlerhaft.

Was das Skript macht: Überwacht alle Ihre Datenpipelines an einem Ort, verfolgt den Ausführungsstatus, warnt bei Fehlern oder Verzögerungen und führt ein historisches Protokoll der Auftragsleistung. Bietet ein konsolidiertes Gesundheits-Dashboard, das zeigt, was ausgeführt wird, was fehlgeschlagen ist und was länger als erwartet dauert.

Wie es funktioniert: Das Skript stellt eine Verbindung zu Ihrem Job-Orchestrierungssystem her (wie Luftstromoder liest aus Protokolldateien), extrahiert Ausführungsmetadaten, vergleicht sie mit erwarteten Zeitplänen und Laufzeiten und markiert Anomalien. Es berechnet Erfolgsraten und durchschnittliche Laufzeiten und identifiziert Fehlermuster. Kann Benachrichtigungen per E-Mail oder Slack senden, wenn Probleme erkannt werden.

Holen Sie sich das Pipeline Well being Monitor-Skript

# 2. Schemavalidator und Änderungsdetektor

Der Schmerzpunkt: Ihre Upstream-Datenquellen ändern sich ohne Vorwarnung. Eine Spalte wird umbenannt, ein Datentyp ändert sich oder ein neues Pflichtfeld wird angezeigt. Ihre Pipeline bricht zusammen, nachgelagerte Berichte schlagen fehl und Sie haben wahrscheinlich Schwierigkeiten herauszufinden, was sich wo geändert hat. Schemadrift ist ein sehr relevantes Drawback in Datenpipelines.

Was das Skript macht: Vergleicht automatisch aktuelle Tabellenschemata mit Basisdefinitionen und erkennt alle Änderungen an Spaltennamen, Datentypen, Einschränkungen oder Strukturen. Erstellt detaillierte Änderungsberichte und kann Schemaverträge durchsetzen, um zu verhindern, dass sich wichtige Änderungen in Ihrem System verbreiten.

Wie es funktioniert: Das Skript liest Schemadefinitionen aus Datenbanken oder Datendateien, vergleicht sie mit gespeicherten Basisschemata (gespeichert als JSON), identifiziert Hinzufügungen, Löschungen und Änderungen und protokolliert alle Änderungen mit Zeitstempeln. Es kann eingehende Daten vor der Verarbeitung anhand erwarteter Schemata validieren und nicht konforme Daten zurückweisen.

Holen Sie sich das Schema-Validator-Skript

# 3. Datenherkunfts-Tracker

Der Schmerzpunkt: Jemand fragt: „Woher kommt dieses Feld?“ oder „Was passiert, wenn wir diese Quelltabelle ändern?“ und du hast keine gute Antwort. Sie durchforsten SQL-Skripte, ETL-Code und Dokumentation (sofern vorhanden) und versuchen, den Datenfluss zu verfolgen. Das Verstehen von Abhängigkeiten und die Auswirkungsanalyse dauert Stunden oder Tage statt Minuten.

Was das Skript macht: Ordnet die Datenherkunft automatisch zu, indem SQL-Abfragen, ETL-Skripte und Transformationslogik analysiert werden. Zeigt Ihnen den vollständigen Pfad von den Quellsystemen bis zu den endgültigen Tabellen, einschließlich aller angewendeten Transformationen. Erstellt visuelle Abhängigkeitsdiagramme und Auswirkungsanalyseberichte.

Wie es funktioniert: Das Skript verwendet SQL-Parsing-Bibliotheken, um Tabellen- und Spaltenverweise aus Abfragen zu extrahieren, erstellt ein gerichtetes Diagramm von Datenabhängigkeiten, verfolgt die in jeder Section angewendete Transformationslogik und visualisiert die vollständige Abstammung. Es kann eine Auswirkungsanalyse durchführen, die zeigt, welche nachgelagerten Objekte von Änderungen an einer bestimmten Quelle betroffen sind.

Holen Sie sich das Knowledge Lineage Tracker-Skript

# 4. Datenbankleistungsanalysator

Der Schmerzpunkt: Abfragen werden langsamer als gewöhnlich ausgeführt. Ihre Tische werden immer voller. Indizes fehlen möglicherweise oder werden nicht verwendet. Sie vermuten Leistungsprobleme, aber um die Grundursache zu identifizieren, müssen Sie manuell Diagnosen durchführen, Abfragepläne analysieren, Tabellenstatistiken überprüfen und kryptische Metriken interpretieren. Es ist eine zeitaufwändige Arbeit.

Was das Skript macht: Analysiert automatisch die Datenbankleistung, indem es langsame Abfragen, fehlende Indizes, aufgeblähte Tabellen, nicht verwendete Indizes und suboptimale Konfigurationen identifiziert. Generiert umsetzbare Empfehlungen mit geschätzten Auswirkungen auf die Leistung und stellt genau das SQL bereit, das zum Implementieren von Korrekturen erforderlich ist.

Wie es funktioniert: Das Skript fragt Datenbanksystemkataloge und Leistungsansichten ab (pg_stats für PostgreSQL, information_schema für MySQLusw.), analysiert Abfrageausführungsstatistiken, identifiziert Tabellen mit hohen sequenziellen Scan-Verhältnissen, die auf fehlende Indizes hinweisen, erkennt aufgeblähte Tabellen, die gewartet werden müssen, und generiert nach potenziellen Auswirkungen geordnete Optimierungsempfehlungen.

Holen Sie sich das Database Efficiency Analyzer-Skript

# 5. Datenqualitäts-Behauptungsrahmen

Der Schmerzpunkt: Sie müssen die Datenqualität in Ihren Pipelines sicherstellen. Entspricht die Zeilenanzahl Ihren Erwartungen? Gibt es unerwartete Nullen? Halten Fremdschlüsselbeziehungen Bestand? Sie schreiben diese Prüfungen manuell für jede Tabelle, verstreut über Skripte, ohne konsistentes Framework oder Reporting. Wenn Prüfungen fehlschlagen, erhalten Sie vage Fehler ohne Kontext.

Was das Skript macht: Bietet einen Rahmen für Datenqualitätsaussagen als Code definieren: Schwellenwerte für die Zeilenanzahl, Eindeutigkeitsbeschränkungen, referenzielle Integrität, Wertebereiche und benutzerdefinierte Geschäftsregeln. Führt alle Behauptungen automatisch aus, generiert detaillierte Fehlerberichte mit Kontext und lässt sich in Ihre Pipeline-Orchestrierung integrieren, um Jobs fehlschlagen zu lassen, wenn die Qualitätsprüfungen nicht bestanden werden.

Wie es funktioniert: Das Skript verwendet eine deklarative Assertionssyntax, bei der Sie Qualitätsregeln in einfachem Python oder YAML definieren. Es führt alle Behauptungen gegen Ihre Daten aus, sammelt Ergebnisse mit detaillierten Fehlerinformationen (welche Zeilen fehlgeschlagen sind, welche Werte waren ungültig), generiert umfassende Berichte und kann in Pipeline-DAGs integriert werden, um als Qualitätstore zu fungieren und die Verbreitung fehlerhafter Daten zu verhindern.

Holen Sie sich das Knowledge High quality Assertion Framework-Skript

# Zusammenfassung

Diese fünf Skripte konzentrieren sich auf die zentralen betrieblichen Herausforderungen, mit denen Dateningenieure ständig konfrontiert sind. Hier ist eine kurze Zusammenfassung dessen, was diese Skripte tun:

• Der Pipeline-Zustandsmonitor bietet Ihnen einen zentralen Einblick in alle Ihre Datenjobs
• Der Schema-Validator erkennt wichtige Änderungen, bevor sie Ihre Pipelines beschädigen
• Der Knowledge Lineage Tracker bildet den Datenfluss ab und vereinfacht die Auswirkungsanalyse
• Der Datenbankleistungsanalysator identifiziert Engpässe und Optimierungsmöglichkeiten
• Das Datenqualitäts-Assertion-Framework stellt die Datenintegrität durch automatisierte Prüfungen sicher

Wie Sie sehen, löst jedes Skript einen bestimmten Problempunkt und kann einzeln verwendet oder in Ihre bestehende Toolchain integriert werden. Wählen Sie additionally ein Skript aus, testen Sie es zunächst in einer Nicht-Produktionsumgebung, passen Sie es an Ihr spezifisches Setup an und integrieren Sie es nach und nach in Ihren Workflow.

Viel Spaß beim Knowledge Engineering!

Bala Priya C ist ein Entwickler und technischer Redakteur aus Indien. Sie arbeitet gerne an der Schnittstelle von Mathematik, Programmierung, Datenwissenschaft und Inhaltserstellung. Zu ihren Interessen- und Fachgebieten gehören DevOps, Datenwissenschaft und Verarbeitung natürlicher Sprache. Sie liebt es zu lesen, zu schreiben, zu programmieren und Kaffee zu trinken! Derzeit arbeitet sie daran, zu lernen und ihr Wissen mit der Entwickler-Group zu teilen, indem sie Tutorials, Anleitungen, Meinungsbeiträge und mehr verfasst. Bala erstellt außerdem ansprechende Ressourcenübersichten und Programmier-Tutorials.

Bild von Autor | Ideogramm

# Einführung

Ein paar Stunden in Ihrem Arbeitstag als Dateningenieur, und Sie ertrinken bereits in Routineaufgaben. CSV -Dateien benötigen eine Validierung, Datenbankschemata erfordern Aktualisierungen, Datenqualitätsprüfungen und Ihre Stakeholder fragen nach den gleichen Berichten, nach denen sie gestern (und am Tag zuvor) gefragt haben. Klingt vertraut?

In diesem Artikel werden wir praktische Automatisierungs-Workflows übernehmen, die zeitaufwändige Daten technische Aufgaben in Set-it-and-Overlook-It-Systeme umwandeln. Wir sprechen nicht über komplexe Enterprise -Lösungen, deren Umsetzung Monate dauert. Dies sind einfache und nützliche Skripte, die Sie sofort verwenden können.

Notiz: Die Codeausschnitte im Artikel zeigen, wie die Klassen in den Skripten verwendet werden. Die vollständigen Implementierungen sind in der verfügbar Github Repository, damit Sie nach Bedarf verwenden und ändern können. Github -Hyperlink zum Code

# Die verborgene Komplexität von „einfachen“ Daten technischen Aufgaben

Bevor wir uns mit Lösungen eintauchen, verstehen wir, warum scheinbar einfache Datenentwicklungsaufgaben zu Zeitsensen werden.

// Die Datenvalidierung überprüft nicht nur die Zahlen

Wenn Sie einen neuen Datensatz erhalten, geht die Validierung über die Bestätigung hinaus, dass Zahlen Zahlen sind. Sie müssen nach:

• Schema -Konsistenz über Zeiträume hinweg
• Datendrift, die nachgeschaltete Prozesse brechen könnten
• Verstöße gegen Geschäftsregel, die nicht durch technische Validierung erfasst werden
• Randfälle, die nur mit realen Daten auftauchen

// Die Überwachung der Pipeline erfordert ständige Wachsamkeit

Datenpipelines scheitern kreativ. Ein erfolgreicher Lauf garantiert nicht die korrekte Ausgabe, und fehlgeschlagene Läufe führen nicht immer offensichtliche Warnungen aus. Manuelle Überwachung bedeutet:

• Überprüfen Sie die Protokolle über mehrere Systeme hinweg
• Korrelation von Fehlern mit externen Faktoren
• Verständnis der nachgeschalteten Auswirkungen jedes Versagens
• Koordinierung der Wiederherstellung über abhängige Prozesse über

// Die Erzeugung der Berichtsberichte beinhaltet mehr als Abfragen

Die automatisierte Berichterstattung klingt einfach, bis Sie berücksichtigt werden:

• Dynamische Datumsbereiche und Parameter
• Bedingte Formatierung basierend auf Datenwerten
• Verteilung auf verschiedene Stakeholder mit unterschiedlichen Zugriffsstufen
• Umgang mit fehlenden Daten und Kantenfällen
• Versionskontrolle für Berichtsvorlagen

Die Komplexität multipliziert, wenn diese Aufgaben in seraübergreifender Umgebung zuverlässig auftreten müssen.

# Workflow 1: Automatisierte Datenqualitätsüberwachung

Sie verbringen wahrscheinlich die erste Stunde eines jeden Tages manuell, wenn Sie die Datenlast von gestern erfolgreich abgeschlossen haben. Sie führen dieselben Abfragen aus, überprüfen dieselben Metriken und dokumentieren dieselben Probleme in Tabellenkalkulationen, die niemand anderes liest.

// Die Lösung

Sie können einen Workflow in Python schreiben, der diese tägliche Aufgabe in einen Hintergrundprozess verwandelt und ihn wie SO verwenden:

from data_quality_monitoring import DataQualityMonitor
# Outline high quality guidelines
guidelines = (
    {"desk": "customers", "rule_type": "quantity", "min_rows": 1000},
    {"desk": "occasions", "rule_type": "freshness", "column": "created_at", "max_hours": 2}
)

monitor = DataQualityMonitor('database.db', guidelines)
outcomes = monitor.run_daily_checks()  # Runs all validations + generates report

// Wie das Skript funktioniert

Dieser Code erstellt ein intelligentes Überwachungssystem, das wie ein Qualitätsinspektor für Ihre Datentabellen funktioniert. Wenn Sie die initialisieren DataQualityMonitor Klasse lädt eine Konfigurationsdatei, die alle Ihre Qualitätsregeln enthält. Betrachten Sie es als Checkliste dessen, was Daten in Ihrem System „intestine“ macht.

Der run_daily_checks Die Methode ist die Hauptmotor, die jede Tabelle in Ihrer Datenbank durchläuft und Validierungstests ausführt. Wenn eine Tabelle die Qualitätstests fehlschlägt, sendet das System automatisch Warnungen an die richtigen Personen, damit sie Probleme beheben können, bevor sie größere Probleme verursachen.

Der validate_table Die Methode behandelt die tatsächliche Überprüfung. Es wird ein Datenvolumen untersucht, um sicherzustellen, dass Ihnen keine Datensätze fehlen, die Datenfrische überprüft, um sicherzustellen, dass Ihre Informationen aktuell sind, die Vollständigkeit überprüft, um fehlende Werte zu fangen, und die Konsistenz zu validieren, um sicherzustellen, dass die Beziehungen zwischen Tabellen weiterhin sinnvoll sind.

Holen Sie sich das Skript zur Datenqualitätsüberwachung

# Workflow 2: Dynamische Pipeline -Orchestrierung

Das herkömmliche Pipeline -Administration bedeutet, die Ausführung ständig zu überwachen, die Wiederholungen manuell auszulösen, wenn die Dinge ausfallen, und sich daran zu erinnern, welche Abhängigkeiten überprüft und aktualisiert werden müssen, bevor der nächste Job beginnt. Es ist reaktiv, fehleranfällig und skaliert nicht.

// Die Lösung

Ein intelligentes Orchestrierungsskript, das sich an sich ändernde Bedingungen anpasst und wie dies verwendet werden kann:

from pipeline_orchestrator import SmartOrchestrator

orchestrator = SmartOrchestrator()

# Register pipelines with dependencies
orchestrator.register_pipeline("extract", extract_data_func)
orchestrator.register_pipeline("rework", transform_func, dependencies=("extract"))
orchestrator.register_pipeline("load", load_func, dependencies=("rework"))

orchestrator.begin()
orchestrator.schedule_pipeline("extract")  # Triggers total chain

// Wie das Skript funktioniert

Der SmartOrchestrator Die Klasse beginnt damit, eine Karte aller Pipeline -Abhängigkeiten zu erstellen, sodass er weiß, welche Jobs erledigen müssen, bevor andere beginnen können.

Wenn Sie eine Pipeline ausführen möchten, die schedule_pipeline Die Methode prüft zunächst, ob alle Voraussetzungen erfüllt sind (z. B. sicherstellen, dass die von ihnen benötigten Daten verfügbar und frisch sind). Wenn alles intestine aussieht, erstellt es einen optimierten Ausführungsplan, der die aktuelle Systemlast und das Datenvolumen berücksichtigt, um zu bestimmen, wie am besten der Job ausgeführt werden kann.

Der handle_failure Die Methode analysiert, welche Artwork von Fehlern aufgetreten ist, und reagiert entsprechend, ob dies ein einfaches Wiederholung, die Untersuchung von Datenqualitätsproblemen oder das Alarmieren eines Menschen bedeutet, wenn das Drawback manuelle Aufmerksamkeit erfordert.

Holen Sie sich das Skript von Pipeline Orchestrators

# Workflow 3: Automatische Berichterstellung

Wenn Sie in Daten arbeiten, sind Sie wahrscheinlich ein Generator für menschliches Berichtsgenerator geworden. Jeder Tag bringt Anfragen für „nur einen schnellen Bericht“ mit, der eine Stunde dauert und nächste Woche mit etwas anderen Parametern erneut angefordert wird. Ihre tatsächlichen technischen Arbeiten werden für Advert-hoc-Analyseanfragen beiseite geschoben.

// Die Lösung

Ein Auto-Report-Generator, der Berichte erstellt, die auf natürlichen Sprachanfragen basieren:

from report_generator import AutoReportGenerator

generator = AutoReportGenerator('information.db')

# Pure language queries
experiences = (
    generator.handle_request("Present me gross sales by area for final week"),
    generator.handle_request("Consumer engagement metrics yesterday"),
    generator.handle_request("Examine income month over month")
)

// Wie das Skript funktioniert

Dieses System wirkt wie einen Datenanalyst -Assistenten, der nie schlafe und klare englische Anfragen versteht. Wenn jemand nach einem Bericht fragt, die AutoReportGenerator Zunächst verwendet die Verarbeitung natürlicher Sprache (NLP), um genau herauszufinden, was sie wollen – ob sie um Verkaufsdaten, Benutzermetriken oder Leistungsvergleiche fragen. Das System sucht dann über eine Bibliothek von Berichtsvorlagen, um eine zu finden, die der Anforderung entspricht, oder erstellt bei Bedarf eine neue Vorlage.

Sobald es die Anfrage verstanden hat, erstellt es eine optimierte Datenbankabfrage, die die richtigen Daten effizient erhält, die Abfrage ausführt und die Ergebnisse in einen professionellen Bericht formatiert. Der handle_request Die Methode verbindet alles zusammen und kann Anfragen wie „Present mir Verkäufe nach Area für das letztes Quartal zeigen“ oder „alarmieren mich, wenn tägliche aktive Benutzer um mehr als 10percentsinken“ ohne manuelle Intervention.

Holen Sie sich das Skript für automatische Berichtgenerator

# Erste Schritte, ohne sich zu überwältigen

// Schritt 1: Wählen Sie Ihren größten Schmerzpunkt aus

Versuchen Sie nicht, alles auf einmal zu automatisieren. Identifizieren Sie die zeitaufwändigste manuelle Aufgabe in Ihrem Workflow. Normalerweise ist dies entweder:

• Tägliche Datenqualitätsprüfungen
• Handbuchberichtserzeugung
• Untersuchung von Pipeline -Fehlern

Beginnen Sie mit der grundlegenden Automatisierung für diese eine Aufgabe. Sogar ein einfaches Skript, das 70% der Fälle übernimmt, spart viel Zeit.

// Schritt 2: Überwachung aufbauen und alarmieren

Wenn Ihre erste Automatisierung ausgeführt wird, fügen Sie eine intelligente Überwachung hinzu:

• Erfolgs-/Misserfolgsmeldungen
• Leistungsmetriken Monitoring
• Ausnahmebehandlung mit menschlicher Eskalation

// Schritt 3: Deckung erweitern

Wenn Ihr erster automatisierter Workflow effektiv ist, identifizieren Sie die nächstgrößte Zeitsenke und wenden Sie ähnliche Prinzipien an.

// Schritt 4: Schließen Sie die Punkte an

Verbinden Sie Ihre automatisierten Workflows. Das Datenqualitätssystem sollte den Pipeline -Orchestrator informieren. Der Orchestrator sollte die Berichterstellung auslösen. Jedes System wird bei der Integration wertvoller.

# Gemeinsame Fallstricke und wie man sie vermeidet

// Übergießen die erste Model

Die Falle: Erstellen eines umfassenden Programs, das jeden Rand -Fall behandelt, bevor Sie etwas bereitstellen.
Die Repair: Beginnen Sie mit dem Fall von 80%. Stellen Sie etwas ein, das für die meisten Szenarien funktioniert, und dann iterieren.

// Ignorieren der Fehlerbehandlung

Die Falle: Die Annahme, dass automatisierte Workflows immer perfekt funktionieren.
Die Repair: Bauen Sie vom ersten Tag an die Überwachung und alarmieren auf. Planen Sie Misserfolge, hoffen Sie nicht, dass sie nicht passieren werden.

// Automatisieren ohne Verständnis

Die Falle: Automatisieren eines fehlgeschlagenen manuellen Vorgangs, anstatt ihn zuerst zu beheben.
Die Repair: Dokumentieren und optimieren Sie Ihren manuellen Prozess, bevor Sie ihn automatisieren.

# Abschluss

Die Beispiele in diesem Artikel repräsentieren Echtzeiteinsparungen und Qualitätsverbesserungen nur mit der Python Normal Library.

Fang klein. Wählen Sie einen Workflow aus, der mehr als 30 Minuten Ihres Tages verbraucht, und automatisieren Sie ihn diese Woche. Messen Sie die Wirkung. Lernen Sie aus dem, was funktioniert und was nicht. Erweitern Sie dann Ihre Automatisierung auf die nächstgrößte Zeitspüle.

Die besten Dateningenieure sind nicht nur intestine darin, Daten zu verarbeiten. Sie sind intestine darin, Systeme zu bauen, die Daten ohne ständige Intervention verarbeiten. Dies ist der Unterschied zwischen der Arbeit in Datenentwicklung und wirklich technischen Datensystemen.

Was werden Sie zuerst automatisieren? Lass es uns in den Kommentaren wissen!

Bala Priya c ist ein Entwickler und technischer Schriftsteller aus Indien. Sie arbeitet gern an der Schnittstelle zwischen Mathematik, Programmierung, Datenwissenschaft und Inhaltserstellung. Ihre Interessensgebiete und Fachgebiete umfassen DevOps, Information Science und natürliche Sprachverarbeitung. Sie liest gerne, schreibt, codieren und Kaffee! Derzeit arbeitet sie daran, ihr Wissen mit der Entwicklergemeinschaft zu lernen und zu teilen, indem sie Tutorials, Anleitungen, Meinungsstücke und vieles mehr autorisiert. Bala erstellt auch ansprechende Ressourcenübersichten und Codierungs -Tutorials.