Datenbeobachtbarkeit in der Analytik: Instruments, Techniken und warum sie wichtig sind

Bild vom Autor

# Einführung

Sie haben wahrscheinlich das Klischee gehört: „Daten sind das Rückgrat moderner Organisationen.“ Das gilt, aber nur, wenn Sie sich auf dieses Rückgrat verlassen können. Ich spreche nicht unbedingt vom Zustand der Daten selbst, sondern vielmehr vom System, das die Daten produziert und bewegt.

Wenn die Dashboards kaputt gehen, Pipelines ausfallen und sich Metriken zufällig ändern, liegt das Downside nicht an mangelnder Datenqualität, sondern an mangelnder Beobachtbarkeit.

# Was ist Datenbeobachtbarkeit?

Datenbeobachtbarkeit ist ein Prozess zur Überwachung des Zustands und der Zuverlässigkeit von Datensystemen.

Dieser Prozess hilft Datenteams, Probleme im gesamten Analysestapel – von der Aufnahme über die Speicherung bis zur Analyse – zu erkennen, zu diagnostizieren und zu verhindern, bevor sie sich auf die Entscheidungsfindung auswirken.

Mit der Datenbeobachtbarkeit überwachen Sie die folgenden Aspekte der Daten und des Techniques.

Bild vom Autor

1. Datenaktualität: Verfolgt, wie aktuell die Daten im Vergleich zum erwarteten Aktualisierungsplan sind. Beispiel: Wenn eine tägliche Verkaufstabelle nicht wie geplant um 7 Uhr morgens aktualisiert wurde, lösen Observability-Instruments eine Warnung aus, bevor Geschäftsbenutzer Verkaufsberichte verwenden.
2. Datenvolumen: Misst, wie viele Daten in jeder Part erfasst oder verarbeitet werden. Beispiel: Ein Rückgang der Transaktionsdatensätze um 38 % über Nacht könnte auf einen fehlerhaften Aufnahmejob hinweisen.
3. Datenschema: Erkennt Änderungen an Spaltennamen, Datentypen oder Tabellenstrukturen. Beispiel: Wenn ein neuer Datenproduzent ein aktualisiertes Schema ohne Vorankündigung in die Produktion überträgt.
4. Datenverteilung: Überprüfen Sie die statistische Kind der Daten, dh ob sie regular aussehen. Beispiel: Der Anteil der Premiumkunden sinkt über Nacht von 29 % auf 3 %. Durch die Observability wird dies als Anomalie erkannt und eine irreführende Analyse der Abwanderungsrate verhindert.
5. Datenherkunft: Visualisiert den Datenfluss im gesamten Ökosystem, von der Aufnahme über die Transformation bis hin zu endgültigen Dashboards. Beispiel: Eine Quelltabelle in Snowflake schlägt fehl und die Herkunftsansicht zeigt, dass drei Looker-Dashboards und zwei Modelle für maschinelles Lernen davon abhängen.

# Warum Datenbeobachtbarkeit wichtig ist

Die Vorteile der Datenbeobachtbarkeit in der Analyse werden unten dargestellt.

Bild vom Autor

Jede der zuvor erwähnten Dimensionen oder Säulen der Datenbeobachtbarkeit spielt eine spezifische Rolle bei der Erzielung der Gesamtvorteile der Datenbeobachtbarkeit.

1. Weniger Fehlentscheidungen: Die Beobachtbarkeit der Daten stellt sicher, dass die Analysen die aktuellen Geschäftsbedingungen widerspiegeln (Dimension der Datenaktualität) und dass die Zahlen und Datenmuster einen Sinn ergeben, bevor sie für Erkenntnisse verwendet werden (Datenverteilungsdimension), was zu weniger Entscheidungen führt, die schief gehen könnten.
2. Schnellere Problemerkennung: Wenn die Frühwarnsysteme Sie darüber informieren, dass Datenladevorgänge unvollständig oder doppelt vorhanden sind (Dimension des Datenvolumens) und/oder es strukturelle Änderungen gibt, die Pipelines stillschweigend zum Scheitern bringen würden, werden Anomalien erkannt, bevor Geschäftsanwender sie überhaupt bemerken.
3. Verbesserte Produktivität des Datenteams: Die Datenherkunftsdimension bildet ab, wie Daten systemübergreifend fließen, sodass leicht nachvollzogen werden kann, wo ein Fehler aufgetreten ist und welche Property betroffen sind. Das Datenteam konzentriert sich auf Entwicklung statt auf Brandbekämpfung.
4. Besseres Vertrauen der Stakeholder: Dies ist der ultimative Vorteil der Datenbeobachtbarkeit. Das Vertrauen der Stakeholder ist das ultimative Ergebnis der drei vorherigen Vorteile. Wenn Stakeholder dem Datenteam vertrauen können, dass die Daten aktuell, vollständig, stabil und genau sind und jeder weiß, woher sie stammen, ist das Vertrauen in die Analyse ganz natürlich.

# Lebenszyklus und Techniken der Datenbeobachtbarkeit

Wie bereits erwähnt, ist die Beobachtbarkeit von Daten ein Prozess. Sein kontinuierlicher Lebenszyklus besteht aus diesen Phasen.

Bild vom Autor

// 1. Überwachungs- und Erkennungsphase

Ziel: Ein zuverlässiges Frühwarnsystem, das in Echtzeit prüft, ob in Ihren Daten etwas abweicht, kaputt geht oder abweicht.

Was passiert hier:

Bild vom Autor

• Automatisierte Überwachung: Observability-Instruments überwachen automatisch die Datenobservabilität über alle fünf Säulen hinweg
• Anomalieerkennung: Maschinelles Lernen wird verwendet, um statistische Anomalien in Daten zu erkennen, z. B. unerwartete Rückgänge in der Anzahl der Zeilen
• Warnsysteme: Bei jedem Verstoß senden die Systeme Warnungen an Locker, PagerDutyoder E-Mail
• Metadaten- und Metrikverfolgung: Die Systeme verfolgen auch Informationen wie Auftragsdauer, Erfolgsquote und letzte Aktualisierungszeit, um zu verstehen, was „normales Verhalten“ bedeutet

// Überwachungs- und Erkennungstechniken

Hier finden Sie einen Überblick über die gängigen Techniken, die in dieser Part verwendet werden.

// 2. Diagnose- und Verständnisphase

Ziel: Verstehen, wo das Downside seinen Ursprung hat und welche Systeme es betroffen hat. Auf diese Weise kann die Wiederherstellung schnell erfolgen oder, wenn es mehrere Probleme gibt, diese je nach Schwere ihrer Auswirkungen priorisiert werden.

Was passiert hier:

Bild vom Autor

• Datenherkunftsanalyse: Observability-Instruments visualisieren Daten von Rohquellen bis hin zu endgültigen Dashboards und erleichtern so die Lokalisierung, wo das Downside aufgetreten ist
• Metadatenkorrelation: Metadaten werden auch hier verwendet, um das Downside und seinen Standort zu lokalisieren
• Folgenabschätzung: Was ist betroffen? Instruments identifizieren Property (z. B. Dashboards oder Modelle), die dem Problemort nachgelagert sind, und stützen sich auf die betroffenen Daten
• Ursachenforschung: Herkunft und Metadaten werden verwendet, um die Grundursache des Issues zu ermitteln

// Diagnose- und Verständnistechniken

Hier finden Sie eine Übersicht über die in dieser Part verwendeten Techniken.

// 3. Präventions- und Verbesserungsphase

Ziel: Aus Fehlern lernen und Datensysteme bei jedem Vorfall widerstandsfähiger machen, indem Requirements festgelegt, die Durchsetzung automatisiert und die Einhaltung überwacht wird.

Was passiert hier:

Bild vom Autor

• Datenverträge: Vereinbarungen zwischen Herstellern und Verbrauchern legen akzeptable Schemata und Qualitätsstandards fest, sodass es nicht zu unangekündigten Datenänderungen kommt
• Testen und Validieren: Automatisierte Exams (z. B. durch dbt Exams bzw Große Erwartungen) Überprüfen Sie, ob neue Daten definierte Schwellenwerte erfüllen, bevor Sie dwell gehen. Für Groups, die ihre Datenanalyse- und SQL-Debugging-Fähigkeiten stärken, sind Plattformen wie StrataScratch kann Praktikern dabei helfen, die erforderliche analytische Genauigkeit zu entwickeln, um Datenqualitätsprobleme zu erkennen und zu verhindern
• SLA und SLO Verfolgung: Groups definieren und überwachen messbare Zuverlässigkeitsziele (Service Stage Agreements und Service Stage Targets), z. B. 99 % der Pipelines werden pünktlich fertiggestellt
• Postmortem von Vorfällen: Jedes Downside wird überprüft, was dazu beiträgt, die Überwachungsregeln und die Beobachtbarkeit im Allgemeinen zu verbessern
• Governance und Versionskontrolle: Die Änderungen werden nachverfolgt, eine Dokumentation erstellt und es erfolgt eine Eigentumszuweisung

// Präventions- und Verbesserungstechniken

Hier finden Sie eine Übersicht über die Techniken.

# Datenbeobachtbarkeitstools

Nachdem Sie nun verstanden haben, was Datenbeobachtbarkeit bewirkt und wie sie funktioniert, ist es an der Zeit, Ihnen die Instruments vorzustellen, mit denen Sie sie implementieren.

Die am häufigsten verwendeten Instruments sind unten aufgeführt.

Bild vom Autor

Wir werden jedes dieser Instruments genauer untersuchen.

// 1. Monte-Carlo

Monte-Carlo ist ein Industriestandard und der erste, der das Fünf-Säulen-Modell formalisiert. Es bietet vollständige Transparenz über den Datenzustand in der gesamten Pipeline.

Hauptstärken:

• Deckt alle Säulen der Datenbeobachtbarkeit ab
• Anomalien und Schemaänderungen erfolgen automatisch, d. h. es ist keine manuelle Regeleinrichtung erforderlich
• Detaillierte Kartierung der Datenherkunft und Auswirkungsanalyse

Einschränkungen:

• Für kleinere Groups nicht unbedingt geeignet, da für groß angelegte Einsätze konzipiert
• Preise für Unternehmen

// 2. Datenhund

Datenhund begann als Software zur Überwachung von Servern, Anwendungen und Infrastruktur. Jetzt bietet es eine einheitliche Beobachtbarkeit über Server, Anwendungen und Pipelines hinweg.

Hauptstärken:

• Korreliert Datenprobleme mit Infrastrukturmetriken (CPU, Latenz, Speicher)
• Echtzeit-Dashboards und Warnungen
• Integriert sich zum Beispiel mit Apache Airflow, Apache Spark, Apache Kafkaund die meisten Cloud-Plattformen

Einschränkungen:

• Der Schwerpunkt liegt mehr auf der betrieblichen Gesundheit und weniger auf tiefgreifenden Datenqualitätsprüfungen
• Es fehlt die erweiterte Anomalieerkennung oder Schemavalidierung, die in speziellen Instruments zu finden ist

// 3. Großauge

Großauge automatisiert die Überwachung der Datenqualität durch maschinelles Lernen und statistische Grundlagen.

Hauptstärken:

• Erzeugt automatisch Hunderte von Messwerten für Frische, Volumen und Verteilung
• Ermöglicht Benutzern das visuelle Festlegen und Überwachen von Daten-SLAs/SLOs
• Einfache Einrichtung mit minimalem Engineering-Aufwand

Einschränkungen:

• Weniger Fokus auf tiefe Abstammungsvisualisierung oder Überwachung auf Systemebene
• Kleinerer Funktionsumfang zur Diagnose von Grundursachen im Vergleich zu Monte Carlo

// 4. Limonade

Soda ist ein Open-Supply-Software, das eine direkte Verbindung zu Datenbanken und Knowledge Warehouses herstellt, um die Datenqualität in Echtzeit zu testen und zu überwachen.

Hauptstärken:

• Entwicklerfreundlich mit SQL-basierten Exams, die in CI/CD-Workflows integriert sind
• Open-Supply-Model für kleinere Groups verfügbar
• Starke Funktionen für Zusammenarbeit und Governance

Einschränkungen:

• Erfordert eine manuelle Einrichtung für komplexe Textabdeckung
• Begrenzte Automatisierungsmöglichkeiten

// 5. Beschleunigungsdaten

Beschleunigungsdaten ist ein Software, das Datenqualitäts-, Leistungs- und Kostenprüfungen kombiniert.

Hauptstärken:

• Überwacht gemeinsam die Datenzuverlässigkeit, die Pipeline-Leistung und die Cloud-Kostenmetriken
• Verwaltung von Hybrid- und Multi-Cloud-Umgebungen
• Einfache Integration mit Spark, Hadoopund moderne Knowledge Warehouses

Einschränkungen:

• Unternehmensorientiertes und komplexes Setup
• Weniger Fokus auf Datenqualität auf Spaltenebene oder Anomalieerkennung

// 6. Anomalo

Anomalo ist eine KI-gestützte Plattform, die sich auf die automatisierte Anomalieerkennung konzentriert und nur minimale Konfiguration erfordert.

Hauptstärken:

• Erlernt das erwartete Verhalten automatisch aus historischen Daten, ohne dass Regeln erforderlich sind
• Hervorragend geeignet für die Überwachung von Schemaänderungen und Werteverteilungen
• Erkennt subtile, nicht offensichtliche Anomalien im großen Maßstab

Einschränkungen:

• Begrenzte Anpassung und manuelle Regelerstellung für erweiterte Anwendungsfälle
• Fokussiert auf die Erkennung, mit weniger Diagnose- oder Governance-Instruments

# Abschluss

Die Beobachtbarkeit von Daten ist ein wesentlicher Prozess, der Ihre Analysen vertrauenswürdig macht. Der Prozess basiert auf fünf Säulen: Aktualität, Volumen, Schema, Verteilung und Datenherkunft.

Die gründliche Implementierung wird Ihrem Unternehmen helfen, weniger Fehlentscheidungen zu treffen, da Sie Probleme in Datenpipelines vermeiden und schneller diagnostizieren können. Dies verbessert die Effizienz des Datenteams und erhöht die Vertrauenswürdigkeit seiner Erkenntnisse.

Nate Rosidi ist Datenwissenschaftler und in der Produktstrategie tätig. Er ist außerdem außerordentlicher Professor für Analytik und Gründer von StrataScratch, einer Plattform, die Datenwissenschaftlern hilft, sich mit echten Interviewfragen von Prime-Unternehmen auf ihre Interviews vorzubereiten. Nate schreibt über die neuesten Traits auf dem Karrieremarkt, gibt Ratschläge zu Vorstellungsgesprächen, stellt Knowledge-Science-Projekte vor und behandelt alles rund um SQL.