# Einführung

PDF-Dateien werden in vielen Arbeitsabläufen häufig verwendet. Möglicherweise müssen Sie Berichte zusammenführen, große Dateien aufteilen, Textual content oder Tabellen extrahieren, Wasserzeichen hinzufügen oder vertrauliche Inhalte schwärzen. Dabei handelt es sich zwar alles um Routineaufgaben, die manuelle Bearbeitung mehrerer Dateien kann jedoch langsam und fehleranfällig sein. Diese fünf Python-Skripte automatisieren den Prozess. Sie werden über die Befehlszeile ausgeführt, unterstützen die Stapelverarbeitung und sind einfach zu konfigurieren.

Alle Skripte finden Sie auf GitHub.

# 1. PDF-Dateien zusammenführen und aufteilen

// Der Schmerzpunkt

Das Zusammenfassen mehrerer PDF-Dateien zu einer oder das Aufteilen einer großen PDF-Datei in einzelne Dateien nach Seitenbereich gehört zu den häufigsten PDF-Aufgaben. Beides ist mühsam manuell durchzuführen, insbesondere wenn es um viele Dateien oder große Seitenzahlen geht.

// Was das Skript macht

Führt einen Ordner mit PDF-Dateien in einer konfigurierbaren Reihenfolge zu einer einzelnen Ausgabedatei zusammen oder teilt eine einzelne PDF-Datei in separate Dateien nach festgelegten Seitenbereichen auf N Seiten oder durch eine Liste spezifischer Seitenzahlen. Beide Vorgänge werden vom selben Skript über ein Modus-Flag abgewickelt.

// Wie es funktioniert

Das Skript verwendet pypdf für alle Vorgänge auf Seitenebene. Im Zusammenführungsmodus liest es alle PDFs aus einem Eingabeordner, sortiert sie nach Dateinamen (oder einer in einer Textdatei definierten benutzerdefinierten Reihenfolge) und schreibt sie nacheinander in eine einzige Ausgabe-PDF. Im Break up-Modus akzeptiert es entweder eine Seitenbereichsliste, eine feste Blockgröße oder eine Liste von Seitenzahlen zum Teilen. Jedes geteilte Phase wird in eine nummerierte Ausgabedatei geschrieben. Metadaten aus der ersten Eingabedatei bleiben im Zusammenführungsmodus erhalten.

Holen Sie sich das Skript zum Zusammenführen und Teilen von PDF-Dateien

# 2. Extrahieren von Textual content und Tabellen aus PDFs

// Der Schmerzpunkt

Bevor eine weitere Verarbeitung erfolgen kann, müssen aus einem PDF verwertbare Daten gewonnen werden – sei es Textual content aus einem Bericht oder tabellarische Daten aus einer Abrechnung. Das Kopieren und Einfügen aus einem PDF-Viewer ist für alles, was über ein paar Seiten hinausgeht, unpraktisch und die Ausgabe ist selten sauber.

// Was das Skript macht

Extrahiert Textual content und Tabellen aus einer oder mehreren PDF-Dateien und schreibt die Ergebnisse in strukturierte Ausgabedateien. Der Textual content wird in reine Textual content- oder Markdown-Dateien geschrieben. Tabellen werden in CSV oder Excel geschrieben, wobei professional Tabelle ein Blatt gefunden wird. Unterstützt sowohl textbasierte PDFs als auch grundlegende, das Format erhaltende Extraktion.

// Wie es funktioniert

Das Skript verwendet pypdf für die grundlegende Textextraktion und pdfplumber für Format-bewusste Extraktion und Tabellenerkennung. Für jede Eingabedatei wird Seite für Seite ausgeführt, wobei Textblöcke extrahiert und Tabellenbereiche mithilfe des Tabellenfinders von pdfplumber ermittelt werden. Extrahierte Tabellen werden normalisiert – leere Zeilen entfernt, Überschriften erkannt – und in separate Ausgabedateien geschrieben. Ein zusammenfassender Bericht listet auf, wie viele Seiten und Tabellen in jeder Datei gefunden wurden, und markiert alle Seiten, bei denen die Extraktion keine Ausgabe erzeugte.

Holen Sie sich das Skript zum Extrahieren von PDF-Textual content und -Tabellen

# 3. Stempeln, Wasserzeichen und Hinzufügen von Seitenzahlen

// Der Schmerzpunkt

Das Hinzufügen eines Wasserzeichens, eines Stempels oder von Seitenzahlen zu einem PDF-Stapel vor der Verteilung ist vom Konzept her einfach, aber über eine grafische Benutzeroberfläche (GUI) ist die Bearbeitung einer Datei nach der anderen langsam. Wenn die Cost groß ist oder die Anforderung wiederkehrend ist, muss sie automatisiert werden.

// Was das Skript macht

Wendet einen Textual content- oder Bildstempel auf jede Seite einer oder mehrerer PDF-Dateien an. Unterstützt diagonale Wasserzeichen, Kopf-/Fußzeilentext, Seitenzahlen und Bildüberlagerungen. Place, Schriftgröße, Deckkraft und Farbe sind alle konfigurierbar. Verarbeitet ganze Ordner im Stapel.

// Wie es funktioniert

Das Skript verwendet pypdf zur Seitenbearbeitung und Reportlab um die Stempelebene zu erzeugen. Für jedes Eingabe-PDF wird mithilfe von Reportlab ein einseitiges Stempel-PDF im Speicher erstellt. Es rendert Textual content an der konfigurierten Place, im Winkel, in der Schriftart und in der Deckkraft oder platziert ein Bild an angegebenen Koordinaten. Diese Stempelseite wird dann mithilfe der Seitenzusammenführung von pypdf auf jeder Seite des Quell-PDF zusammengeführt. Das Ergebnis wird in eine neue Ausgabedatei geschrieben, wobei das Unique unverändert bleibt. Seitenzahlen werden als Sonderfall behandelt und erzeugen einen eindeutigen Stempel professional Seite.

Holen Sie sich das PDF-Markierungsskript

# 4. Schwärzen sensibler Inhalte

// Der Schmerzpunkt

Vor der externen Freigabe einer PDF-Datei müssen häufig vertrauliche Inhalte – wie Namen, Referenznummern, Finanzzahlen und Adressen – entfernt werden. Das manuelle Zeichnen von Blackboxen über Textual content in einem PDF-Editor funktioniert, entfernt jedoch nicht in allen Instruments tatsächlich den darunter liegenden Textual content und ist für mehr als eine Handvoll Seiten unpraktisch.

// Was das Skript macht

Durchsucht PDF-Seiten nach von Ihnen definierten Textübereinstimmungsmustern – Regex-Muster, exakte Zeichenfolgen oder vordefinierte Kategorien wie E-Mail-Adressen und Telefonnummern – und schwärzt übereinstimmende Inhalte dauerhaft, indem sie durch schwarze Rechtecke ersetzt werden. Gibt eine neue PDF-Datei aus, bei der der zugrunde liegende Textual content entfernt und nicht nur optisch verdeckt wird.

// Wie es funktioniert

Das Skript verwendet pymupdfdas sowohl eine Textsuche mit Begrenzungsrahmenkoordinaten als auch die Möglichkeit bietet, Schwärzungsanmerkungen zu zeichnen, die bei Anwendung den zugrunde liegenden Inhalt dauerhaft entfernen. Für jede Seite sucht das Skript nach allen Übereinstimmungen jedes konfigurierten Musters, markiert die umgrenzenden Rechtecke als Schwärzungsanmerkungen und wendet sie dann an – wodurch der Textual content aus dem Seiteninhaltsstrom entfernt wird. Es wird ein Bericht erstellt, in dem jede vorgenommene Schwärzung aufgeführt ist, einschließlich Seitenzahl, übereinstimmendem Textual content (vor der Schwärzung) und dem Muster, das sie ausgelöst hat.

Holen Sie sich das PDF-Schwärzungsskript

# 5. Extrahieren von Metadaten und Generieren eines PDF-Inventars

// Der Schmerzpunkt

Wenn Sie mit einer großen Sammlung von PDF-Dateien arbeiten, ist es oft hilfreich, grundlegende Fakten zu jeder einzelnen Datei zu kennen – Seitenanzahl, Dateigröße, Erstellungsdatum, Autor, ob sie verschlüsselt ist, ob sie Textual content enthält oder ein gescanntes Bild ist. Die Prüfung jeder Datei einzeln über einen Viewer ist im großen Maßstab nicht praktikabel.

// Was das Skript macht

Scannt einen Ordner mit PDF-Dateien und extrahiert Metadaten aus jeder einzelnen Datei, einschließlich Seitenzahl, Dateigröße, Erstellungs- und Änderungsdatum, Autor, Hersteller, Verschlüsselungsstatus und ob das Dokument durchsuchbaren Textual content oder gescannte Bilder zu enthalten scheint. Schreibt alles in eine einzige CSV- oder Excel-Inventardatei.

// Wie es funktioniert

Das Skript verwendet pypdf, um Dokumentmetadaten aus dem PDF-Infowörterbuch zu lesen, und pdfplumber, um Seiten für Textinhalte abzutasten. Für jede Datei wird versucht, die PDF-Datei zu öffnen und Commonplace-Metadatenfelder zu lesen. Dabei werden die ersten paar Seiten abgetastet, um festzustellen, ob die Datei im Gegensatz zu gescannten Bildseiten extrahierbaren Textual content enthält. Verschlüsselte Dateien, die nicht geöffnet werden können, werden markiert und nicht stillschweigend übersprungen. Das Ausgabeinventar umfasst eine Zeile professional Datei mit allen extrahierten Feldern und unten eine Zusammenfassungszeile mit Gesamtwerten und Durchschnittswerten.

Holen Sie sich das PDF-Inventarskript

# Zusammenfassung

Diese fünf Python-Skripte erledigen die PDF-Aufgaben, die normalerweise zu sich wiederholenden manuellen Arbeiten führen: Dateien aufteilen, Inhalte extrahieren, Stapel verarbeiten und Dokument-Workflows bereinigen. Jedes Skript ist so konzipiert, dass es sicher an einzelnen Dateien oder ganzen Ordnern arbeitet und gleichzeitig neue Ausgaben generiert, anstatt die Originale zu ändern.

Beginnen Sie mit einer kleinen Menge, überprüfen Sie die Ausgabe und skalieren Sie dann auf größere Ordner, sobald alles richtig aussieht. Der größte Teil der Einrichtung umfasst lediglich die Set up der aufgelisteten Abhängigkeiten und die Anpassung des Konfigurationsabschnitts für Ihre Dateipfade und Einstellungen.

Bala Priya C ist ein Entwickler und technischer Redakteur aus Indien. Sie arbeitet gerne an der Schnittstelle von Mathematik, Programmierung, Datenwissenschaft und Inhaltserstellung. Zu ihren Interessen- und Fachgebieten gehören DevOps, Datenwissenschaft und Verarbeitung natürlicher Sprache. Sie liebt es zu lesen, zu schreiben, zu programmieren und Kaffee zu trinken! Derzeit arbeitet sie daran, zu lernen und ihr Wissen mit der Entwickler-Neighborhood zu teilen, indem sie Tutorials, Anleitungen, Meinungsbeiträge und mehr verfasst. Bala erstellt außerdem ansprechende Ressourcenübersichten und Programmier-Tutorials.

# Einführung

Die Arbeit mit Zeitreihendaten erfordert eine Reihe konsistenter Aufgaben. Rohdaten kommen in unregelmäßigen Abständen an und müssen erneut abgetastet werden. Anomale Spitzen müssen identifiziert werden, bevor sie eine nachgelagerte Analyse verzerren. Traits und saisonale Muster müssen vom Rauschen getrennt werden. Und wenn Sie über mehrere Serien verfügen, ist mehr als ein kurzer visueller Scan erforderlich, um zu verstehen, wie sie zueinander in Beziehung stehen.

Diese fünf Python-Skripte erledigen diese häufigen Zeitreihenaufgaben. Sie sind so konzipiert, dass sie mit Commonplace-CSV- oder Excel-Eingaben arbeiten, saubere Ausgaben erzeugen und sich einfach für verschiedene Datensätze konfigurieren lassen.

Sie können alle Skripte auf GitHub herunterladen.

# 1. Resampling und Aggregation unregelmäßiger Zeitreihen

// Der Schmerzpunkt

Zeitreihendaten aus der realen Welt liegen selten in gleichmäßigen Abständen vor. Sensormesswerte, Transaktionsprotokolle und Ereignisströme weisen Lücken, Duplikate und inkonsistente Zeitstempel auf. Vor einer sinnvollen Analyse müssen die Daten auf eine konsistente Häufigkeit abgeglichen werden.

// Was das Skript macht

Nimmt eine CSV- oder Excel-Datei mit einer Datums-/Uhrzeitspalte und einer oder mehreren Wertspalten, führt ein Resampling mit einer von Ihnen angegebenen Häufigkeit durch und wendet Aggregationsfunktionen professional Spalte an. Füllt oder markiert Lücken und schreibt eine saubere Ausgabedatei mit einer Zusammenfassung der Änderungen.

// Wie es funktioniert

Das Skript analysiert die Datetime-Spalte mit Pandaslegt es als Index fest und verwendet resample() mit konfigurierbaren Frequenzsträngen. In einer Konfiguration werden spaltenweise Aggregationsmethoden definiert, sodass eine Temperaturspalte den Mittelwert verwenden kann, während eine Verkaufsspalte die Summe verwendet. Fehlende Intervalle nach dem Resampling werden je nach Einstellung mit Vorwärtsfüllung, Interpolation oder expliziter NaN-Kennzeichnung behandelt. Ein Lückenbericht listet jedes Intervall auf, in dem im Unique keine Daten vorhanden waren.

Holen Sie sich das Zeitreihen-Resampler-Skript

# 2. Erkennen von Anomalien in Zeitreihendaten

// Der Schmerzpunkt

Ein einzelner anomaler Anstieg oder Abfall in einer Zeitreihe kann Durchschnittswerte verzerren, nachgelagerte Modelle zerstören und echte Traits verschleiern. Die manuelle Identifizierung dieser Punkte durch Scannen von Diagrammen oder Rohwerten ist bei jedem aussagekräftigen Datenvolumen unpraktisch.

// Was das Skript macht

Durchsucht eine oder mehrere numerische Spalten in einer Zeitreihendatei und markiert Datenpunkte, die außerhalb der erwarteten Grenzen liegen, mithilfe einer Auswahl von drei Erkennungsmethoden: Z-Rating, Interquartilbereich (IQR) oder rollierende Statistik. Gibt eine kommentierte Datei mit Anomalie-Flags und einem separaten zusammenfassenden Bericht aus.

// Wie es funktioniert

Die Z-Rating-Methode markiert Punkte, an denen der standardisierte Wert einen konfigurierbaren Schwellenwert überschreitet (Commonplace ±3). Die Interquartilbereichsmethode (IQR) markiert Punkte außerhalb des 1,5-fachen Interquartilbereichs. Die rollierende Methode berechnet einen gleitenden Mittelwert und eine Standardabweichung über ein konfigurierbares Fenster und markiert Punkte, die erheblich vom lokalen Kontext abweichen. Dies ist nützlich für Serien mit starken Traits oder Saisonalität. Alle drei können zusammen ausgeführt werden; In der Ausgabespalte wird aufgezeichnet, welche Methode jeden Punkt markiert hat. Eine optionale --plot Flag speichert ein Diagramm für jede Spalte mit hervorgehobenen Anomalien.

Holen Sie sich das Skript zur Anomalieerkennung

# 3. Zerlegen einer Reihe in Development, Saisonalität und Residuen

// Der Schmerzpunkt

Eine Zeitreihe ist normalerweise eine Kombination aus mehreren Komponenten: einem langfristigen Development, einem sich wiederholenden saisonalen Muster und unregelmäßigem Restrauschen. Die Analyse der Serie als Ganzes macht es schwierig, eine einzelne Komponente klar zu verstehen.

// Was das Skript macht

Wendet die klassische Zeitreihenzerlegung auf eine numerische Spalte an und unterteilt die beobachtete Reihe in Development-, Saison- und Restkomponenten. Unterstützt sowohl additive als auch multiplikative Zerlegungsmodelle. Exportiert jede Komponente als Spalte in die Ausgabedatei und speichert ein Diagramm mit mehreren Panels.

// Wie es funktioniert

Das Skript verwendet statsmodels.tsa.seasonal.seasonal_decompose() auf der Zielspalte nach dem Resampling auf eine konsistente Frequenz, falls erforderlich. Die Zerlegungsdauer ist konfigurierbar. Die additive Zerlegung eignet sich für Reihen, in denen die jahreszeitlichen Schwankungen in ihrer Größe annähernd konstant sind. multiplikative Anzugsserie, bei der es mit dem Trendniveau skaliert. Die ausgegebene Excel-Datei enthält die Originalreihe neben den drei extrahierten Komponenten. Das gespeicherte Diagramm zeigt alle vier Panels gestapelt.

Holen Sie sich das Zeitreihenzerlegungsskript

# 4. Prognose mit saisonalem, autoregressivem, integriertem gleitendem Durchschnitt

// Der Schmerzpunkt

Die Erstellung einer Prognose aus einer Zeitreihe umfasst in der Regel Modellauswahl, Parameterabstimmung und Validierungsschritte, für deren Richtigkeit statistische Kenntnisse erforderlich sind. Dies jedes Mal von Grund auf neu einzurichten, ist zeitaufwändig und führt zu Prognosen, denen man nur schwer vertrauen oder die man reproduzieren kann.

// Was das Skript macht

Passt zu einem saisonaler autoregressiver integrierter gleitender Durchschnitt (SARIMA) Modell in eine Zeitreihenspalte, generiert eine Prognose für eine konfigurierbare Anzahl von Zeiträumen und schreibt Ergebnisse in eine Ausgabedatei, einschließlich der Prognosewerte, Konfidenzintervalle und grundlegenden Genauigkeitsmetriken für einen zurückgehaltenen Validierungszeitraum. Wählt elective Modellparameter automatisch aus Akaike-Informationskriterium (AIC) Minimierung.

// Wie es funktioniert

Das Skript verwendet statsmodels.tsa.statespace.sarimax.SARIMAX zur Modellmontage. Wann --auto-order festgelegt ist, führt es eine einfache Rastersuche über einen konfigurierbaren Bereich von ARIMA- und Saisonparametern durch und wählt die Kombination mit dem niedrigsten AIC aus. Die Serie ist in einen Trainingssatz und einen durchgehaltenen Testsatz unterteilt, der in mehrere Perioden konfigurierbar ist. Die Genauigkeit wird für den Testsatz anhand des mittleren absoluten Fehlers (MAE) und des quadratischen Mittelwerts (Root Imply Sq. Error, RMSE) angegeben, bevor das endgültige Modell erneut an die gesamte Serie angepasst wird, um die Vorwärtsprognose zu erstellen. Die Ergebnisse umfassen die Punktprognose und 95 %-Konfidenzintervalle. Es wird ein Prognosediagramm gespeichert, das die historischen Reihen, die tatsächlichen Werte des Testzeitraums im Vergleich zu den Prognosen und die Zukunftsprognose mit Konfidenzbändern zeigt.

Holen Sie sich das SARIMA-Prognoseskript

# 5. Vergleich mehrerer Zeitreihen

// Der Schmerzpunkt

Wenn Sie mit mehreren verwandten Zeitreihen arbeiten – verschiedenen Produkten, Regionen, Sensoren oder Metriken –, ist mehr erforderlich, um zu verstehen, wie sie sich zusammen bewegen, als sie nur im selben Diagramm anzuzeigen. Korrelationsanalysen, Verzögerungsbeziehungen und abgestimmte zusammenfassende Statistiken müssen alle berechnet werden, und dies über viele Reihenpaare hinweg durchzuführen, wird schnell unhandlich.

// Was das Skript macht

Nimmt eine Datei mit mehreren Zeitreihenspalten, richtet sie auf eine gemeinsame Häufigkeit aus und erstellt einen Vergleichsbericht mit mehreren Registerkarten, der paarweise Korrelationen, Verzögerungsanalyse (Kreuzkorrelation bis zu einer konfigurierbaren Verzögerung) und eine nebeneinander liegende zusammenfassende Statistiktabelle abdeckt. Für die am höchsten korrelierten Paare werden Diagramme erstellt.

// Wie es funktioniert

Das Skript verwendet Pandas, um alle Spalten nach dem Resampling an einem gemeinsamen Datum/Uhrzeit-Index auszurichten. Paarweise Pearson- und Spearman-Korrelationen werden berechnet und in eine Korrelationsmatrix-Registerkarte geschrieben. Die Kreuzkorrelation wird für jedes Paar bis zu einer konfigurierbaren maximalen Verzögerung berechnet und identifiziert die Verzögerung, bei der jedes Paar seinen Höhepunkt erreicht. Dies ist nützlich, um Vorlauf-/Nachlaufbeziehungen zu finden. Eine Zusammenfassungsregisterkarte enthält Mittelwert, Standardabweichung, Minimal, Most und Trendrichtung (constructive/unfavourable Steigung aus einer linearen Anpassung) für jede Serie. Die fünf am stärksten korrelierten Paare erhalten jeweils ein zweiachsiges Liniendiagramm in einer eigenen Diagrammregisterkarte.

Holen Sie sich das Vergleichsskript für mehrere Serien

# Zusammenfassung

Diese fünf Skripte decken die Kernaufgaben bei der Arbeit mit Zeitreihendaten ab. Sie sind so konzipiert, dass sie unabhängig oder nacheinander verwendet werden können: Zuerst erneut abtasten, Anomalien erkennen, zerlegen, prognostizieren und dann serienübergreifend vergleichen.

Laden Sie zunächst das Skript herunter, das Sie verwenden möchten, und installieren Sie alle in der README-Datei aufgeführten Abhängigkeiten. Aktualisieren Sie als Nächstes den Konfigurationsabschnitt oben im Skript, sodass er mit Ihren spezifischen Daten und Spaltennamen übereinstimmt. Bevor Sie es für Ihren gesamten Datensatz ausführen, testen Sie das Skript anhand einer kleinen Stichprobe, um sicherzustellen, dass die Ausgabe korrekt ist. Sobald Sie mit den Ergebnissen zufrieden sind, können Sie es planen oder in Ihre bestehende Datenpipeline integrieren.

Viel Spaß beim Analysieren!

Bala Priya C ist ein Entwickler und technischer Redakteur aus Indien. Sie arbeitet gerne an der Schnittstelle von Mathematik, Programmierung, Datenwissenschaft und Inhaltserstellung. Zu ihren Interessen- und Fachgebieten gehören DevOps, Datenwissenschaft und Verarbeitung natürlicher Sprache. Sie liebt es zu lesen, zu schreiben, zu programmieren und Kaffee zu trinken! Derzeit arbeitet sie daran, zu lernen und ihr Wissen mit der Entwickler-Group zu teilen, indem sie Tutorials, Anleitungen, Meinungsbeiträge und mehr verfasst. Bala erstellt außerdem ansprechende Ressourcenübersichten und Programmier-Tutorials.

Bild vom Autor

# Einführung

Die Datenvalidierung beschränkt sich nicht nur auf die Suche nach fehlenden Werten oder doppelten Datensätzen. Bei Datensätzen aus der realen Welt gibt es Probleme, die bei grundlegenden Qualitätsprüfungen völlig übersehen werden. Sie werden auf semantische Inkonsistenzen, Zeitreihendaten mit unmöglichen Sequenzen, Formatdrift, bei dem sich Daten im Laufe der Zeit subtil ändern, und vieles mehr stoßen.

Diese fortgeschrittenen Validierungsprobleme sind heimtückisch. Sie bestehen grundlegende Qualitätsprüfungen, da einzelne Werte intestine aussehen, die zugrunde liegende Logik jedoch fehlerhaft ist. Die manuelle Prüfung dieser Probleme ist eine Herausforderung. Sie benötigen automatisierte Skripte, die den Kontext, die Geschäftsregeln und die Beziehungen zwischen Datenpunkten verstehen. In diesem Artikel werden fünf erweiterte Python-Validierungsskripte behandelt, die die subtilen Probleme erkennen, die bei grundlegenden Prüfungen übersehen werden.

Den Code erhalten Sie auf GitHub.

# 1. Validierung der Kontinuität und Muster von Zeitreihen

// Der Schmerzpunkt

Ihre Zeitreihendaten sollten vorhersehbaren Mustern folgen. Aber manchmal entstehen Lücken, wo keine sein sollten. Sie werden auf Zeitstempel stoßen, die unerwartet vorwärts oder rückwärts springen, auf Sensormesswerte mit fehlenden Intervallen, auf Ereignissequenzen, die nicht in der richtigen Reihenfolge auftreten, und auf mehr. Diese zeitlichen Anomalien verfälschen Prognosemodelle und Trendanalysen.

// Was das Skript macht

Validiert die zeitliche Integrität von Zeitreihendatensätzen. Erkennt fehlende Zeitstempel in erwarteten Sequenzen, identifiziert zeitliche Lücken und Überlappungen, markiert Datensätze außerhalb der Reihenfolge und validiert saisonale Muster und erwartete Häufigkeiten. Es prüft auch auf Zeitstempelmanipulation oder Rückdatierung. Das Skript erkennt auch unmögliche Geschwindigkeiten, bei denen sich Werte schneller ändern, als physikalisch oder logisch möglich.

// Wie es funktioniert

Das Skript analysiert Zeitstempelspalten, um auf die erwartete Häufigkeit zu schließen und Lücken in erwarteten kontinuierlichen Sequenzen zu identifizieren. Es überprüft, ob Ereignissequenzen logischen Ordnungsregeln folgen, wendet domänenspezifische Geschwindigkeitsprüfungen an und erkennt Saisonalitätsverstöße. Außerdem werden detaillierte Berichte erstellt, die zeitliche Anomalien mit einer Bewertung der geschäftlichen Auswirkungen aufzeigen.

Holen Sie sich das Zeitreihen-Kontinuitätsvalidierungsskript

# 2. Überprüfung der semantischen Gültigkeit mit Geschäftsregeln

// Der Schmerzpunkt

Einzelne Felder bestehen die Typvalidierung, aber die Kombination ergibt keinen Sinn. Hier einige Beispiele: eine Bestellung aus der Zukunft mit einem abgeschlossenen Liefertermin in der Vergangenheit. Ein Konto, das als „Neukunde“ gekennzeichnet ist, dessen Transaktionshistorie jedoch fünf Jahre umfasst. Diese semantischen Verstöße brechen die Geschäftslogik.

// Was das Skript macht

Validiert Daten anhand komplexer Geschäftsregeln und Domänenwissen. Überprüft die Mehrfeld-Bedingungslogik, validiert Phasen und zeitliche Abläufe, stellt sicher, dass sich gegenseitig ausschließende Kategorien respektiert werden, und markiert logisch unmögliche Kombinationen. Das Skript verwendet eine Regel-Engine, die erweiterte Geschäftsbeschränkungen ausdrücken kann.

// Wie es funktioniert

Das Skript akzeptiert Geschäftsregeln, die in einem deklarativen Format definiert sind, wertet komplexe bedingte Logik über mehrere Felder hinweg aus und validiert Zustandsübergänge und Workflow-Verläufe. Außerdem prüft es die zeitliche Konsistenz von Geschäftsereignissen, wendet branchenspezifische Domänenregeln an und erstellt Verstoßberichte, die nach Regeltyp und geschäftlichen Auswirkungen kategorisiert sind.

Holen Sie sich das Skript zur semantischen Gültigkeitsprüfung

# 3. Erkennen von Datendrift und Schemaentwicklung

// Der Schmerzpunkt

Ihre Datenstruktur ändert sich manchmal im Laufe der Zeit ohne Dokumentation. Neue Spalten erscheinen, vorhandene Spalten verschwinden, Datentypen verschieben sich subtil, Wertebereiche erweitern oder verkleinern sich, kategoriale Werte bilden neue Kategorien. Diese Änderungen beschädigen nachgelagerte Systeme, machen Annahmen ungültig und führen zu stillen Fehlern. Bis Sie es bemerken, haben sich monatelange beschädigte Daten angesammelt.

// Was das Skript macht

Überwacht Datensätze auf strukturelle und statistische Abweichungen im Zeitverlauf. Verfolgt Schemaänderungen wie neue und entfernte Spalten, Typänderungen, erkennt Verteilungsverschiebungen in numerischen und kategorialen Daten und identifiziert neue Werte in vermeintlich festen Kategorien. Es markiert Änderungen in Datenbereichen und Einschränkungen und warnt, wenn statistische Eigenschaften von den Grundwerten abweichen.

// Wie es funktioniert

Das Skript erstellt Basisprofile der Datensatzstruktur und -statistiken, vergleicht regelmäßig aktuelle Daten mit Basislinien und berechnet Driftwerte mithilfe statistischer Distanzmetriken wie KL-Divergenz, Wasserstein-Distanzund verfolgt Schemaversionsänderungen. Außerdem verwaltet es den Änderungsverlauf, führt Signifikanztests durch, um echte Abweichungen von Störungen zu unterscheiden, und erstellt Abweichungsberichte mit Schweregraden und empfohlenen Maßnahmen.

Holen Sie sich das Skript zur Datendrift-Erkennung

# 4. Validierung hierarchischer und grafischer Beziehungen

// Der Schmerzpunkt

Hierarchische Daten müssen azyklisch und logisch geordnet bleiben. Zirkuläre Berichtsketten, selbstreferenzierende Stücklisten, zyklische Taxonomien und Eltern-Form-Inkonsistenzen beeinträchtigen rekursive Abfragen und hierarchische Aggregationen.

// Was das Skript macht

Validiert Diagramm- und Baumstrukturen in relationalen Daten. Erkennt Zirkelverweise in Eltern-Form-Beziehungen, stellt sicher, dass die Tiefengrenzen der Hierarchie eingehalten werden, und überprüft, ob gerichtete azyklische Graphen (DAGs) azyklisch bleiben. Das Skript prüft außerdem auf verwaiste Knoten und nicht verbundene Untergraphen und stellt sicher, dass Wurzelknoten und Blattknoten den Geschäftsregeln entsprechen. Es validiert auch Viele-zu-Viele-Beziehungsbeschränkungen.

// Wie es funktioniert

Das Skript erstellt Diagrammdarstellungen hierarchischer Beziehungen, verwendet Zykluserkennungsalgorithmen, um Zirkelverweise zu finden, und führt Tiefen- und Breitendurchläufe durch, um die Struktur zu validieren. Anschließend identifiziert es stark verbundene Komponenten in vermeintlich azyklischen Graphen, validiert Knoteneigenschaften auf jeder Hierarchieebene und generiert visuelle Darstellungen problematischer Untergraphen mit spezifischen Verletzungsdetails.

Holen Sie sich das Validierungsskript für hierarchische Beziehungen

# 5. Validierung der referenziellen Integrität über Tabellen hinweg

// Der Schmerzpunkt

Relationale Daten müssen die referenzielle Integrität über alle Fremdschlüsselbeziehungen hinweg wahren. Verwaiste untergeordnete Datensätze, Verweise auf gelöschte oder nicht vorhandene übergeordnete Datensätze, ungültige Codes und unkontrollierte Kaskadenlöschungen führen zu versteckten Abhängigkeiten und Inkonsistenzen. Diese Verstöße beschädigen Verknüpfungen, verzerren Berichte, unterbrechen Abfragen und machen die Daten letztendlich unzuverlässig und schwer vertrauenswürdig.

// Was das Skript macht

Validiert Fremdschlüsselbeziehungen und tabellenübergreifende Konsistenz. Erkennt verwaiste Datensätze, denen übergeordnete oder untergeordnete Referenzen fehlen, validiert Kardinalitätseinschränkungen und prüft die Eindeutigkeit zusammengesetzter Schlüssel über Tabellen hinweg. Es analysiert auch die Auswirkungen kaskadierter Löschvorgänge, bevor sie auftreten, und identifiziert Zirkelverweise über mehrere Tabellen hinweg. Das Skript arbeitet mit mehreren Datendateien gleichzeitig, um Beziehungen zu validieren.

// Wie es funktioniert

Das Skript lädt einen primären Datensatz und alle zugehörigen Referenztabellen, überprüft das Vorhandensein von Fremdschlüsselwerten in übergeordneten Tabellen und erkennt verwaiste übergeordnete Datensätze und verwaiste untergeordnete Datensätze. Es überprüft Kardinalitätsregeln, um Eins-zu-eins- oder Eins-zu-viele-Einschränkungen sicherzustellen, und validiert, dass zusammengesetzte Schlüssel korrekt mehrere Spalten umfassen. Das Skript generiert außerdem umfassende Berichte, die alle Verletzungen der referenziellen Integrität mit der Anzahl der betroffenen Zeilen und spezifischen Fremdschlüsselwerten anzeigen, die die Validierung nicht bestehen.

Holen Sie sich das Skript zur Überprüfung der referenziellen Integrität

# Zusammenfassung

Die erweiterte Datenvalidierung geht über die Prüfung auf Nullen und Duplikate hinaus. Diese fünf Skripte helfen Ihnen, semantische Verstöße, zeitliche Anomalien, strukturelle Abweichungen und Brüche der referenziellen Integrität zu erkennen, die bei grundlegenden Qualitätsprüfungen völlig übersehen werden.

Beginnen Sie mit dem Skript, das Ihren wichtigsten Problempunkt anspricht. Richten Sie Basisprofile und Validierungsregeln für Ihre spezifische Domäne ein. Führen Sie die Validierung als Teil Ihrer Datenpipeline aus, um Probleme bei der Aufnahme und nicht bei der Analyse zu erkennen. Konfigurieren Sie Alarmschwellenwerte entsprechend Ihrem Anwendungsfall.

Viel Spaß beim Validieren!

Bala Priya C ist ein Entwickler und technischer Redakteur aus Indien. Sie arbeitet gerne an der Schnittstelle von Mathematik, Programmierung, Datenwissenschaft und Inhaltserstellung. Zu ihren Interessen- und Fachgebieten gehören DevOps, Datenwissenschaft und Verarbeitung natürlicher Sprache. Sie liebt es zu lesen, zu schreiben, zu programmieren und Kaffee zu trinken! Derzeit arbeitet sie daran, zu lernen und ihr Wissen mit der Entwickler-Neighborhood zu teilen, indem sie Tutorials, Anleitungen, Meinungsbeiträge und mehr verfasst. Bala erstellt außerdem ansprechende Ressourcenübersichten und Programmier-Tutorials.

Bild vom Herausgeber

# Einführung

Die meisten Leute, die heruntergeladen haben Antigravitation Ich habe einen Agenten ausgeführt, um eine App zu erstellen, und habe zugeschaut Zwillinge 3 machte seine Sache und fing sofort an, über den ganzen Code nachzudenken, den sie nie wieder schreiben müssten. Völlig verständlich.

Aber Antigravity verfügt über eine Reihe von Fähigkeiten, von denen viele sehr wenig mit Schreibfunktionen zu tun haben. Es verfügt über einen Browser, der Ihren Bildschirm sieht und darin navigiert, ein Speichersystem, das tatsächlich über Sitzungen hinweg bestehen bleibt, und ein Agenten-Framework, das mehrere Aufgaben gleichzeitig bewältigen kann. Sobald Sie das geschafft haben, werden die Anwendungsfälle viel interessanter als Ihr nächster Pull-Request.

# 1. Verwenden Sie es als Forschungsassistent

Wenn Sie jemals versucht haben, Wettbewerbsforschung richtig durchzuführen, kennen Sie die Routine. Sie öffnen fünfzehn Registerkarten, vergessen, welche die Preisaufschlüsselung enthielt, schreiben drei Tage später Notizen, die keinen Sinn ergeben, und produzieren etwas Halbfertiges.

Der Browser-Agent von Antigravity verarbeitet diese Schleife, ohne dass Sie sie verwalten müssen. Sie beschreiben, was Sie suchen – Ankündigungen von Mitbewerbern, Preisseiten, aktuelle Produktaktualisierungen – und es navigiert autonom durch das Internet und erstellt ein strukturiertes Bild Artefakt mit denen man tatsächlich arbeiten kann.

Die Browser-Integration ist hier tiefer, als es sich anhört. Weil Google Antigravity darauf aufgebaut hat Chromsieht der Agent Seiten wie ein Mensch: Scrollen, Klicken und Lesen gerenderter Inhalte, anstatt Roh-HTML zu analysieren. Am Ende erhalten Sie eine zusammenhängende, kommentierbare Ausgabe. Für jeden, der im Rahmen seiner Arbeit wiederkehrende Marktforschung betreibt, ist dies allein schon die Set up wert.

Auf Wunsch kann der Agent seine Ergebnisse auch nach Kategorie, Quelle oder Aktualität strukturieren. Anstelle einer Textwand erhalten Sie etwas Organisiertes und tatsächlich Referenzierbares. Das ist die Artwork von Ergebnis, bei der man normalerweise einen Forschungsauftrag schreiben und dann darauf warten müsste, dass jemand anderes ihn ausführt.

# 2. Bauen Sie eine Wissensdatenbank auf, die nicht verdunstet

Eines der Designprinzipien von Antigravity besteht darin, dass das Lernen als dauerhafte Funktion behandelt wird – und nicht als ein Zurücksetzen von Sitzung zu Sitzung. Mit der Plattform können Agenten Kontext, Muster und Referenzmaterial in einer gemeinsamen Wissensdatenbank speichern, die sich über alle Sitzungen hinweg erstreckt und sich bei der Nutzung verbessert.

Das Interessante daran ist, dass es diesem System egal ist, ob Sie es mit Codeschnipseln oder Unternehmensdokumentationen füttern. Sie können es mit Styleguides, Forschungsnotizen und internen Standardarbeitsanweisungen (SOPs) laden oder sogar Lernkarten erstellen Kursbox Bei jeglichem Referenzmaterial müssen Sie aufhören, es von Grund auf neu zu erklären. Für alle, die den gleichen Kontext in jedes neue Software eingefügt haben, das sie ausprobieren, ist dies die Funktion, die das eigentliche Downside behebt.

Es handelt sich um einen strukturierten Speicher mit einem bestimmten Zweck, der nicht gelöscht wird, wenn Sie das Fenster schließen. Mit der Zeit werden die in dieser Wissensdatenbank arbeitenden Agenten genauer und kontextbewusster, da sie auf den Verlauf Ihrer Arbeit zurückgreifen, anstatt jede einzelne Sitzung neu zu beginnen.

# 3. Generieren Sie UI-Komplettlösungen ohne manuelle Arbeit

Produktmanager, Consumer Expertise (UX)-Forscher und alle, die den Ablauf einer Benutzeroberfläche (UI) manuell dokumentieren mussten, sollten hier aufmerksam sein. Der Browser-Agent von Antigravity kann durch eine Stay-Anwendung navigierendurchlaufen Sie einen Workflow, erfassen Sie in jeder Part Screenshots und stellen Sie das Ganze in einem Walkthrough-Artefakt zusammen. Es zeichnet ein Video von sich selbst auf. Sie verweisen auf eine URL, beschreiben den Ablauf und lassen ihn laufen.

Am Ende erhalten Sie eine mit Zeitstempeln versehene, visuelle und kommentierbare Consumer Journey, deren Erstellung durch den Agenten ein paar Minuten gedauert hat. Eine solche Lieferung würde normalerweise ein oder zwei Tage kontinuierlicher Arbeit kosten. Die Ausgabe spiegelt den genauen Zustand der Schnittstelle zu dem Zeitpunkt wider, als der Agent sie durchlief, was sie für Übergaben zur Qualitätssicherung (QA) oder Stakeholder-Überprüfungen wirklich zuverlässig macht.

# 4. Orchestrieren Sie mehrere Aufgaben gleichzeitig

Der Agentenmanager bietet Ihnen eine Mission-Management-Schnittstelle für die parallele Ausführung mehrerer Agenten in verschiedenen Arbeitsbereichen. Jeder Agent erhält seine eigene Aufgabe, seinen eigenen Kontext und seinen eigenen Satz an zu produzierenden Artefakten. Sie interagieren asynchron und überprüfen die Ausgaben, wenn sie bereit sind, anstatt jeden Schritt in Echtzeit zu beobachten.

Die Einrahmung Eigene Dokumentation von Antigravity ist entwicklerzentriert, aber es gibt nichts in der Mechanik, was es auf Code beschränkt. Die gleichzeitige Durchführung einer Inhaltsprüfung, einer Marktforschungsaufgabe und einer Datenbankerkundung ist durchaus machbar. Jeder Agent arbeitet unabhängig in seiner eigenen Spur, und Sie agieren auf der Ebene der Zuweisung von Aufträgen, anstatt die Arbeit selbst auszuführen.

Es ist eine dieser Funktionen, die nebensächlich klingt, bis man tatsächlich drei Dinge gleichzeitig erledigt hat. Allein die Reduzierung des Kontextwechsels macht es lohnenswert, es auszuprobieren, insbesondere wenn Sie Ihre Arbeit regelmäßig über verschiedene Arten von Quellen oder Formaten hinweg jonglieren.

# 5. Fragen Sie Ihre Datenbanken in einfacher Sprache ab

Antigravitationsschiffe mit Eingeborenen Mannequin Context Protocol (MCP) Serverunterstützung, was bedeutet, dass eine Verbindung zu Datenbanken hergestellt werden kann BigQuery, AlloyDBUnd Schlüssel durch ein UI-gesteuertes Setup. Der Agent erhält Zugriff auf Ihr Schema und kann es in natürlicher Sprache abfragen, beschreiben und darüber nachdenken. Sie fügen Ihre Projektdetails hinzu, authentifizieren sich über IAM-Anmeldeinformationen (Id and Entry Administration) und der Agent kümmert sich um die Übersetzung zwischen Ihrer Frage und dem, was die Datenbank produzieren muss.

Für Analysten oder Betriebsmitarbeiter, die regelmäßig Antworten aus großen Datenmengen benötigen, ohne in eine zu stürzen SQL Consumer jedes Mal, das ist leise mächtig. Es gibt keine Konfigurationsdatei, mit der Sie sich herumschlagen müssen, Ihre Anmeldedaten bleiben außerhalb des Chatfensters und Sie beschreiben in einfachen Worten, was Sie wollen. Der Agent schreibt die Abfrage; Du bekommst die Antwort.

Es ist auch erwähnenswert, dass der Verbindungsaufbau wirklich UI-gesteuert ist. Es gibt ein Formular, Sie füllen es aus und der Agent wird verbunden. NEIN YAML Dateien, kein Kopieren und Einfügen von Verbindungszeichenfolgen und kein Debuggen eines Setups, das gestern funktionierte und heute ohne ersichtlichen Grund abstürzte.

# Abschließende Gedanken

Antigravity wurde als Codierungstool eingeführt, weil dort die Maßstäbe liegen und eine saubere Produktankündigung ausmacht. Die eigentliche Architektur umfasst jedoch autonome Browser-Agenten, persistente Wissensdatenbanken, parallele Aufgabenorchestrierung und native Datenbankkonnektivität.

Dabei geht es nur sehr wenig ausschließlich um Schreibfunktionen. Es handelt sich um eine Agentenplattform, die zufällig mit einer ausgefeilten integrierten Entwicklungsumgebung (IDE) ausgeliefert wird. Die nicht-codierenden Anwendungsfälle sind bereits integriert. Sie bekamen in der Keynote einfach keine eigene Folie. Verbringen Sie etwas Zeit in der Supervisor-Ansicht und im Artefaktsystem, und Sie werden sich fragen, warum Sie es überhaupt auf Code beschränken sollten.

Nahla Davies ist Softwareentwickler und technischer Autor. Bevor sie sich hauptberuflich dem technischen Schreiben widmete, schaffte sie es – neben anderen faszinierenden Dingen –, als leitende Programmiererin bei einer Inc. 5.000-Organisation für experimentelles Branding zu arbeiten, zu deren Kunden Samsung, Time Warner, Netflix und Sony gehören.

Bild vom Autor

# Einführung

Excel bleibt für die Datenarbeit related, aber ein erheblicher Teil der damit verbrachten Zeit ist rein mechanischer Natur. Aufgaben wie das Kombinieren von Dateien aus mehreren Quellen, das Aufspüren doppelter Datensätze, das Neuformatieren inkonsistenter Exporte und das Aufteilen eines Masterblatts in separate Dateien sind nicht komplex, aber zeitaufwändig und anfällig für menschliches Versagen.

Diese fünf Python Skripte helfen dabei, diese Aufgaben zu automatisieren. Jedes ist eigenständig, konfigurierbar und für die Arbeit mit chaotischen Daten aus der realen Welt konzipiert.

Alle Skripte finden Sie auf GitHub.

# Mehrere Excel-Dateien zusammenführen

// Der Schmerzpunkt

Beim Konsolidieren von Daten aus mehreren Excel- oder CSV-Dateien (Comma-Separated Values) ist der manuelle Vorgang – Öffnen jeder Datei, Kopieren der Daten und Einfügen in ein Masterblatt – langsam und anfällig für Fehlausrichtungsfehler, insbesondere wenn die Spaltenreihenfolge zwischen den Dateien unterschiedlich ist.

// Was das Skript macht

Dieses Skript durchsucht einen Ordner nach XLSX- und CSV-Dateien, stapelt alle Daten in einem einzigen einheitlichen Blatt und schreibt eine saubere zusammengeführte Ausgabedatei. Optionally available kann eine Quellspalte hinzugefügt werden, sodass Sie immer wissen, welche Zeile aus welcher Datei stammt, und nicht übereinstimmende Spaltenreihenfolgen werden automatisch behandelt.

// Wie es funktioniert

Das Skript verwendet Pandas um jede Datei in einem Zielverzeichnis zu lesen, richtet Spalten nach Namen statt nach Place aus und verkettet alles zu einer einzigen DataFrame. Eine konfigurierbare add_source_column Flag hängt den ursprünglichen Dateinamen an jede Zeile an. Spaltenkonflikte werden protokolliert, sodass Sie wissen, ob in einigen Dateien zusätzliche oder fehlende Felder vorhanden waren. Die Ausgabe wird mit geschrieben openpyxl und enthält eine Zusammenfassungsregisterkarte, auf der die Anzahl der Zeilen professional Datei angezeigt wird.

Holen Sie sich das Skript zum Zusammenführen von Excel-Dateien

# Suchen und Markieren doppelter Zeilen

// Der Schmerzpunkt

Doppelte Datensätze kommen häufig in Datensätzen vor, die systemübergreifend exportiert und erneut importiert wurden. Genaue Übereinstimmungen sind leicht zu finden, aber Beinahe-Duplikate – gleicher Datensatz, leicht unterschiedliche Formatierung oder Abstände – sind im großen Maßstab manuell schwerer zu erkennen.

// Was das Skript macht

Dieses Skript durchsucht eine Excel-Datei auf der Grundlage der von Ihnen definierten Spalten nach doppelten Zeilen, kennzeichnet exakte Duplikate und Beinahe-Duplikate durch Fuzzy-Matches in Zeichenfolgenfeldern und schreibt eine mit Anmerkungen versehene Ausgabedatei, in der jede Gruppe vermuteter Duplikate mit Farbcodierung und einem Konfidenzwert hervorgehoben wird.

// Wie es funktioniert

Das Skript verwendet pandas zur exakten Duplikaterkennung und RapidFuzz für Fuzzy-String-Matching für konfigurierbare Schlüsselspalten. Jeder Zeile wird eine doppelte Gruppen-ID und ein Übereinstimmungskonfidenzprozentsatz zugewiesen. Die Ausgabe-Excel-Datei verwendet openpyxl Formatierung, um doppelte Cluster hervorzuheben. Ein separates Übersichtsblatt zeigt die Gesamtzahl der gefundenen Duplikate, aufgeschlüsselt nach Übereinstimmungstyp.

Holen Sie sich das Duplikat-Finder-Skript

# Bereinigen und Standardisieren unordentlicher exportierter Daten

// Der Schmerzpunkt

Aus externen Systemen exportierte Daten kommen häufig inkonsistent formatiert mit gemischten Datumsformaten, inkonsistenter Groß- und Kleinschreibung, Telefonnummern mit unterschiedlichen Trennzeichen und nachgestellten Leerzeichen an. Wenn Sie dies manuell bereinigen, bevor eine Analyse durchgeführt wird, summiert sich das schnell.

// Was das Skript macht

Dieses Skript wendet einen konfigurierbaren Satz von Reinigungsregeln auf eine Excel- oder CSV-Datei an. Dazu gehören das Standardisieren von Datumsangaben, das Entfernen von Leerzeichen, das Korrigieren der Groß- und Kleinschreibung, das Normalisieren von Telefonnummern und Postleitzahlen, das Entfernen leerer Zeilen und das Markieren von Zellen, die falsch erscheinen. Es gibt eine bereinigte Datei und ein Änderungsprotokoll aus, das genau zeigt, was geändert wurde.

// Wie es funktioniert

Das Skript liest eine Konfigurationsdatei, die Spaltennamen Reinigungsvorgängen zuordnet: date_format, title_case, strip_whitespace, phone_normalize, remove_blank_rowsund andere. Jeder Vorgang wird nacheinander angewendet. Ein paralleles Änderungsprotokoll wird in ein zweites Blatt in der Ausgabe geschrieben und zeigt die Originalwerte im Vergleich zu den bereinigten Werten für jede geänderte Zelle. Nichts wird stillschweigend verworfen. Wenn ein Wert nicht geparst werden kann, wird er in a gekennzeichnet _clean_errors Spalte.

Holen Sie sich das Datenbereinigungsskript

# Aufteilen eines Blattes in separate Dateien nach Spaltenwert

// Der Schmerzpunkt

Ein Masterdatensatz muss oft als separate Dateien verteilt werden – beispielsweise eine professional Area, Abteilung oder Kategorie. Wenn Sie dies manuell tun, müssen Sie wiederholt filtern, kopieren und speichern, wobei ein hohes Risiko besteht, dass Daten zwischen Dateien verwechselt werden.

// Was das Skript macht

Dieses Skript liest eine einzelne Excel-Tabelle und teilt sie in separate Ausgabedateien auf – eine professional eindeutigem Wert in einer angegebenen Spalte. Jede Ausgabedatei enthält nur die Zeilen für diesen Wert, wobei die ursprüngliche Formatierung erhalten bleibt. Dateinamen werden automatisch aus den Spaltenwerten generiert. Optionally available kann jede Datei mithilfe einer von Ihnen bereitgestellten Title-zu-E-Mail-Zuordnung als E-Mail-Anhang gesendet werden.

// Wie es funktioniert

Das Skript gruppiert die DataFrame durch die Zielspalte mit pandasund schreibt dann jede Gruppe mit in ihre eigene XLSX-Datei openpyxl. Eine Benennungsvorlage, z Sales_Report_{worth}_{date}.xlsxMit dieser Choice können Sie das Format des Ausgabedateinamens steuern. Spaltenüberschriften, Datentypen und grundlegende Formatierungen bleiben in jeder Ausgabedatei erhalten. Ein optionaler E-Mail-Modus liest eine CSV-Zuordnung von {worth} → {e-mail handle} und sendet jede Datei über die Easy Mail Switch Protocol (SMTP).

Holen Sie sich das Sheet-Splitter-Skript

# Generieren eines zusammenfassenden Pivot-Berichts aus Rohdaten

// Der Schmerzpunkt

Um einen zusammenfassenden Bericht aus Rohdaten zu erstellen – Gesamtzahlen nach Kategorie, monatlichen Traits oder Prime-Performern –, müssen Pivot-Tabellen erstellt, formatiert und die Ergebnisse in ein vorzeigbares Structure kopiert werden. Wenn die Quelldaten regelmäßig aktualisiert werden, wird dieser Vorgang jedes Mal von Grund auf wiederholt.

// Was das Skript macht

Dieses Skript liest eine Excel-Rohdatendatei, erstellt konfigurierbare Pivot-Zusammenfassungen und schreibt einen formatierten Zusammenfassungsbericht mit mehreren Registerkarten. Diagramme werden generiert und in die Ausgabedatei eingebettet. Sie können es jederzeit erneut ausführen, wenn sich die Quelldaten ändern.

// Wie es funktioniert

Eine Konfigurationsdatei definiert das Datumsfeld, das Wertfeld, Gruppierungsspalten und bestimmte auszuführende Aggregationen. Das Skript verwendet pandas für alle Aggregationslogiken und openpyxl mit Matplotlib zur Diagrammerstellung. Jeder Zusammenfassungstyp erhält eine eigene Registerkarte. Durch die bedingte Formatierung werden die höchsten und niedrigsten Werte hervorgehoben. Der Bericht ist für die bedarfsgesteuerte Neugenerierung konzipiert und die erneute Ausführung des Skripts überschreibt die vorherige Ausgabe sauber.

Holen Sie sich das Pivot-Berichtsgenerator-Skript

# Zusammenfassung

Diese fünf Skripte decken häufige Excel-Aufgaben ab, die sich leicht automatisieren lassen, deren manuelle Ausführung jedoch mühsam ist. Wählen Sie diejenige aus, die sich mit der häufigsten Aufgabe in Ihrem Arbeitsablauf befasst, und beginnen Sie dort. Hier ein kurzer Überblick:

Viel Spaß beim Automatisieren!

Bala Priya C ist ein Entwickler und technischer Redakteur aus Indien. Sie arbeitet gerne an der Schnittstelle von Mathematik, Programmierung, Datenwissenschaft und Inhaltserstellung. Zu ihren Interessen- und Fachgebieten gehören DevOps, Datenwissenschaft und Verarbeitung natürlicher Sprache. Sie liebt es zu lesen, zu schreiben, zu programmieren und Kaffee zu trinken! Derzeit arbeitet sie daran, zu lernen und ihr Wissen mit der Entwickler-Group zu teilen, indem sie Tutorials, Anleitungen, Meinungsbeiträge und mehr verfasst. Bala erstellt außerdem ansprechende Ressourcenübersichten und Programmier-Tutorials.

Bild vom Autor

# Einführung

Als Experte für maschinelles Lernen wissen Sie, dass die Funktionsauswahl eine wichtige, aber zeitaufwändige Arbeit ist. Sie müssen ermitteln, welche Options tatsächlich zur Modellleistung beitragen, redundante Variablen entfernen, Multikollinearität erkennen, verrauschte Options herausfiltern und die optimale Characteristic-Teilmenge finden. Für jede Auswahlmethode testen Sie unterschiedliche Schwellenwerte, vergleichen Ergebnisse und verfolgen, was funktioniert.

Dies wird umso anspruchsvoller, je größer Ihr Characteristic-Bereich wird. Bei Hunderten von technischen Funktionen benötigen Sie systematische Ansätze, um die Bedeutung der Funktionen zu bewerten, Redundanzen zu beseitigen und die beste Teilmenge auszuwählen.

In diesem Artikel werden fünf Python-Skripte behandelt, die zur Automatisierung der effektivsten Techniken zur Funktionsauswahl entwickelt wurden.

Die Skripte finden Sie auf GitHub.

# 1. Filtern konstanter Merkmale mit Varianzschwellenwerten

// Der Schmerzpunkt

Merkmale mit geringer oder keiner Varianz liefern wenig bis gar keine Informationen für die Vorhersage. Ein Merkmal, das über alle Stichproben hinweg konstant oder nahezu konstant ist, kann nicht zur Unterscheidung verschiedener Zielklassen beitragen. Die manuelle Identifizierung dieser Merkmale erfordert die Berechnung der Varianz für jede Spalte, das Festlegen geeigneter Schwellenwerte und die Behandlung von Randfällen wie binären Merkmalen oder Merkmalen mit unterschiedlichen Maßstäben.

// Was das Skript macht

Identifiziert und entfernt Merkmale mit geringer Varianz basierend auf konfigurierbaren Schwellenwerten. Verarbeitet sowohl kontinuierliche als auch binäre Merkmale angemessen, normalisiert Varianzberechnungen für einen fairen Vergleich über verschiedene Skalen hinweg und stellt detaillierte Berichte bereit, aus denen hervorgeht, welche Merkmale entfernt wurden und warum.

// Wie es funktioniert

Das Skript berechnet die Varianz für jedes Characteristic und wendet dabei je nach Characteristic-Typ unterschiedliche Strategien an.

• Für kontinuierliche Options berechnet es die Standardvarianz und kann elective anhand des Characteristic-Bereichs normalisieren, um Schwellenwerte vergleichbar zu machen
• Für binäre Merkmale wird der Anteil der Minderheitsklasse berechnet, da die Varianz bei binären Merkmalen mit dem Klassenungleichgewicht zusammenhängt.

Options, die unter den Schwellenwert fallen, werden zur Entfernung markiert. Aus Gründen der Transparenz verwaltet das Skript eine Zuordnung der entfernten Options und ihrer Varianzwerte.

Rufen Sie das auf Varianzschwellenwerten basierende Characteristic-Auswahlskript ab

# 2. Eliminierung redundanter Funktionen durch Korrelationsanalyse

// Der Schmerzpunkt

Stark korrelierte Merkmale sind redundant und können in linearen Modellen zu Multikollinearitätsproblemen führen. Wenn zwei Merkmale eine hohe Korrelation aufweisen, behalten Sie beide bei fügt Dimensionalität hinzu, ohne Informationen hinzuzufügen. Bei Hunderten von Merkmalen ist jedoch eine systematische Analyse erforderlich, um alle korrelierten Paare zu identifizieren, zu entscheiden, welche beibehalten werden sollen, und sicherzustellen, dass Sie die Merkmale beibehalten, die am stärksten mit dem Ziel korrelieren.

// Was das Skript macht

Identifiziert stark korrelierte Merkmalspaare mithilfe von Pearson-Korrelation für numerische Merkmale und Cramérs V für kategoriale Merkmale. Wählt für jedes korrelierte Paar automatisch aus, welches Merkmal beibehalten werden soll, basierend auf der Korrelation mit der Zielvariablen. Entfernt redundante Funktionen und maximiert gleichzeitig die Vorhersagekraft. Erstellt Korrelations-Heatmaps und detaillierte Berichte über entfernte Options.

// Wie es funktioniert

Das Skript berechnet die Korrelationsmatrix für alle Options. Für jedes Paar, das den Korrelationsschwellenwert überschreitet, wird die Korrelation beider Merkmale mit der Zielvariablen verglichen. Das Characteristic mit der geringeren Zielkorrelation wird zum Entfernen markiert. Dieser Prozess wird iterativ fortgesetzt, um Ketten korrelierter Merkmale zu verarbeiten. Das Skript verarbeitet fehlende Werte und gemischte Datentypen und stellt Visualisierungen bereit, die Korrelationscluster und die Auswahlentscheidung für jedes Paar zeigen.

Holen Sie sich das korrelationsbasierte Funktionsauswahlskript

# 3. Identifizieren signifikanter Merkmale mithilfe statistischer Checks

// Der Schmerzpunkt

Nicht alle Merkmale haben eine statistisch signifikante Beziehung zur Zielvariablen. Merkmale, die keinen sinnvollen Zusammenhang mit dem Ziel aufweisen, verursachen zusätzliches Rauschen und erhöhen häufig das Risiko einer Überanpassung. Das Testen jeder Funktion erfordert die Auswahl geeigneter statistischer Checks, die Berechnung von p-Werten, die Korrektur mehrerer Checks und die korrekte Interpretation der Ergebnisse.

// Was das Skript macht

Das Skript wählt automatisch den geeigneten statistischen Take a look at basierend auf den Typen der Funktion und der Zielvariablen aus und wendet ihn an. Es verwendet einen F-Take a look at der Varianzanalyse (ANOVA) für numerische Merkmale gepaart mit einem Klassifizierungsziel, einen Chi-Quadrat-Take a look at für kategoriale Merkmale, gegenseitige Informationsbewertung zur Erfassung nichtlinearer Beziehungen und einen Regressions-F-Take a look at, wenn das Ziel kontinuierlich ist. Es gilt dann entweder Bonferroni oder Falscherkennungsrate (FDR) Korrektur, um mehrere Checks zu berücksichtigen, und gibt alle nach statistischer Signifikanz geordneten Merkmale zusammen mit ihren p-Werten und Teststatistiken zurück.

// Wie es funktioniert

Das Skript bestimmt zunächst den Characteristic-Typ und den Zieltyp und leitet dann jedes Characteristic an den richtigen Take a look at weiter. Bei Klassifizierungsaufgaben mit numerischen Merkmalen testet ANOVA, ob sich der Mittelwert des Merkmals zwischen den Zielklassen erheblich unterscheidet. Bei kategorialen Merkmalen prüft ein Chi-Quadrat-Take a look at die statistische Unabhängigkeit zwischen dem Merkmal und dem Ziel. Daneben werden gegenseitige Informationswerte berechnet, um alle nichtlinearen Beziehungen aufzudecken, die bei Standardtests möglicherweise übersehen werden. Wenn das Ziel kontinuierlich ist, wird stattdessen ein Regressions-F-Take a look at verwendet.

Sobald alle Checks ausgeführt wurden, werden die p-Werte entweder mithilfe einer Bonferroni-Korrektur – bei der jeder p-Wert mit der Gesamtzahl der Options multipliziert wird – oder einer Methode der falschen Entdeckungsrate für eine weniger konservative Korrektur angepasst. Merkmale mit angepassten p-Werten unterhalb des standardmäßigen Signifikanzschwellenwerts von 0,05 werden als statistisch signifikant gekennzeichnet und für die Einbeziehung priorisiert.

Holen Sie sich das auf statistischen Checks basierende Funktionsauswahlskript

Wenn Sie an einem strengeren statistischen Ansatz zur Funktionsauswahl interessiert sind, empfehle ich Ihnen, dieses Skript wie unten beschrieben weiter zu verbessern.

// Was Sie auch erkunden und verbessern können

Verwenden Sie nichtparametrische Alternativen, wenn Annahmen scheitern. ANOVA geht von ungefährer Normalität und gleichen Varianzen zwischen den Gruppen aus. Bei stark verzerrten oder nicht normalen Options wechseln Sie zu a Kruskal-Wallis-Take a look at ist eine robustere Wahl, die keine Verteilungsannahmen trifft.

Gehen Sie vorsichtig mit spärlichen kategorialen Merkmalen um. Chi-Quadrat erfordert, dass die erwarteten Zellhäufigkeiten mindestens 5 betragen. Wenn diese Bedingung nicht erfüllt ist – was bei Kategorien mit hoher Kardinalität oder seltenen Häufigkeiten häufig vorkommt – Fishers genauer Take a look at ist eine sicherere und genauere Various.

Behandeln Sie gegenseitige Informationswerte getrennt von p-Werten. Da Mutual-Data-Scores keine p-Werte sind, passen sie nicht auf natürliche Weise in das Bonferroni- oder FDR-Korrektursystem. Ein saubererer Ansatz besteht darin, Merkmale unabhängig voneinander nach gegenseitiger Informationsbewertung zu ordnen und sie als ergänzendes Sign zu verwenden, anstatt sie in derselben Signifikanzpipeline zusammenzuführen.

Bevorzugen Sie die Korrektur der False Discovery Charge in hochdimensionalen Einstellungen. Bonferroni ist von Natur aus konservativ, was sinnvoll ist, wenn Fehlalarme sehr kostspielig sind, aber es kann wirklich nützliche Funktionen verwerfen, wenn Sie viele davon haben. Benjamini-Hochberg FDR-Korrektur Bietet mehr statistische Aussagekraft in großen Datensätzen und wird im Allgemeinen in Arbeitsabläufen zur Auswahl von Funktionen für maschinelles Lernen bevorzugt.

Berücksichtigen Sie neben den p-Werten auch die Effektgröße. Die statistische Signifikanz allein sagt nichts über die praktische Bedeutung einer Funktion aus. Durch die Kombination von p-Werten mit Effektgrößenmaßen erhält man ein vollständigeres Bild davon, welche Merkmale es wert sind, beibehalten zu werden.

Fügen Sie einen permutationsbasierten Signifikanztest hinzu. Für komplexe oder gemischte Datensätze bietet Permutationstest eine modellunabhängige Möglichkeit, die Signifikanz zu bewerten, ohne sich auf Verteilungsannahmen zu verlassen. Es funktioniert, indem die Zielvariable wiederholt gemischt wird und überprüft wird, wie oft ein Characteristic auch allein durch Zufall punktet.

# 4. Rating von Funktionen mit modellbasierten Wichtigkeitswerten

// Der Schmerzpunkt

Die modellbasierte Merkmalswichtigkeit bietet direkte Einblicke in die Merkmale, die zur Vorhersagegenauigkeit beitragen. Allerdings ergeben unterschiedliche Modelle unterschiedliche Wichtigkeitswerte. Das Ausführen mehrerer Modelle, das Extrahieren von Wichtigkeitswerten und das Kombinieren der Ergebnisse zu einem kohärenten Rating ist komplex.

// Was das Skript macht

Trainiert mehrere Modelltypen und extrahiert die Funktionsbedeutung von jedem. Normalisiert die Wichtigkeitswerte aller Modelle für einen fairen Vergleich. Berechnet die Ensemble-Wichtigkeit durch Mittelung oder Rangfolge über Modelle hinweg. Bietet Permutationsbedeutung als modellunabhängige Various. Gibt bewertete Options mit Wichtigkeitswerten für jedes Modell und empfohlene Characteristic-Teilmengen zurück.

// Wie es funktioniert

Das Skript trainiert jeden Modelltyp mit dem gesamten Funktionsumfang und extrahiert native Wichtigkeitswerte wie baumbasierte Wichtigkeit für Wälder und Koeffizienten für lineare Modelle. Um die Wichtigkeit der Permutation zu ermitteln, werden die einzelnen Merkmale zufällig gemischt und die Abnahme der Modellleistung gemessen. Die Wichtigkeitswerte werden in jedem Modell so normalisiert, dass sie in der Summe 1 ergeben.

Der Ensemble-Rating wird als mittlerer Rang oder mittlere normalisierte Wichtigkeit über alle Modelle hinweg berechnet. Options werden nach Ensemble-Wichtigkeit sortiert und die Prime-N-Options oder diejenigen, die einen Wichtigkeitsschwellenwert überschreiten, werden ausgewählt.

Holen Sie sich das modellbasierte Auswahlskript

# 5. Optimierung von Funktionsteilmengen durch rekursive Eliminierung

// Der Schmerzpunkt

Die optimale Funktionsteilmenge besteht nicht immer aus den wichtigsten N-Funktionen einzeln; Auch Funktionsinteraktionen sind wichtig. Eine Funktion magazine einzeln schwach erscheinen, in Kombination mit anderen jedoch wertvoll sein. Rekursive Merkmalseliminierungstests weisen Teilmengen auf, indem die schwächsten Merkmale iterativ entfernt und Modelle neu trainiert werden. Dies erfordert jedoch die Durchführung Hunderter Modelltrainingsiterationen und die Verfolgung der Leistung über verschiedene Teilmengengrößen hinweg.

// Was das Skript macht

Entfernt systematisch Funktionen in einem iterativen Prozess, trainiert Modelle neu und bewertet die Leistung bei jedem Schritt. Beginnt mit allen Options und entfernt in jeder Iteration das unwichtigste Characteristic. Verfolgt die Modellleistung über alle Teilmengengrößen hinweg. Identifiziert die optimale Funktionsteilmenge, die die Leistung maximiert oder die Zielleistung mit minimalen Funktionen erreicht. Unterstützt Kreuzvalidierung für robuste Leistungsschätzungen.

// Wie es funktioniert

Das Skript beginnt mit dem vollständigen Funktionsumfang und trainiert ein Modell. Es ordnet Options nach Wichtigkeit und entfernt das Characteristic mit dem niedrigsten Rang. Dieser Vorgang wiederholt sich und trainiert in jeder Iteration ein neues Modell mit dem reduzierten Funktionsumfang. Leistungsmetriken wie Genauigkeit, F1 und AUC werden für jede Teilmengengröße aufgezeichnet.

Das Skript wendet eine Kreuzvalidierung an, um bei jedem Schritt stabile Leistungsschätzungen zu erhalten. Die endgültige Ausgabe umfasst Leistungskurven, die zeigen, wie sich Metriken mit der Characteristic-Anzahl und der optimalen Characteristic-Teilmenge ändern. Das heißt, Sie sehen entweder eine optimale Leistung oder einen Punkt, an dem das Hinzufügen von Funktionen zu sinkenden Erträgen führt.

Holen Sie sich das Skript zur Eliminierung rekursiver Options

# Zusammenfassung

Diese fünf Skripte befassen sich mit den zentralen Herausforderungen der Funktionsauswahl, die die Modellleistung und Trainingseffizienz bestimmen. Hier ein kurzer Überblick:

Jedes Skript kann unabhängig für bestimmte Auswahlaufgaben verwendet oder zu einer vollständigen Pipeline kombiniert werden. Viel Spaß bei der Funktionsauswahl!

Bala Priya C ist ein Entwickler und technischer Redakteur aus Indien. Sie arbeitet gerne an der Schnittstelle von Mathematik, Programmierung, Datenwissenschaft und Inhaltserstellung. Zu ihren Interessen- und Fachgebieten gehören DevOps, Datenwissenschaft und Verarbeitung natürlicher Sprache. Sie liebt es zu lesen, zu schreiben, zu programmieren und Kaffee zu trinken! Derzeit arbeitet sie daran, zu lernen und ihr Wissen mit der Entwickler-Group zu teilen, indem sie Tutorials, Anleitungen, Meinungsbeiträge und mehr verfasst. Bala erstellt außerdem ansprechende Ressourcenübersichten und Programmier-Tutorials.

Bild vom Autor

# Einführung

Der Aufstieg von Frameworks wie LangChain Und CrewAI hat die Entwicklung von KI-Agenten einfacher denn je gemacht. Bei der Entwicklung dieser Agenten müssen jedoch häufig API-Ratengrenzen erreicht, hochdimensionale Daten verwaltet oder lokale Server dem Web ausgesetzt werden.

Anstatt während der Prototyping-Part für Cloud-Dienste zu zahlen oder Ihren Host-Rechner mit Abhängigkeiten zu belasten, können Sie davon profitieren Docker. Mit einem einzigen Befehl können Sie die Infrastruktur aufbauen, die Ihre Agenten intelligenter macht.

Hier sind 5 wichtige Docker-Container, die jeder KI-Agent-Entwickler in seinem Toolkit haben sollte.

# 1. Ollama: Führen Sie lokale Sprachmodelle aus

Ollama-Dashboard

Wenn Sie Agenten erstellen, senden Sie jede Eingabeaufforderung an einen Cloud-Anbieter wie z OpenAI kann teuer und langsam werden. Manchmal benötigen Sie ein schnelles, privates Modell für bestimmte Aufgaben – etwa Grammatikkorrekturen oder Klassifizierungsaufgaben.

Ollama ermöglicht Ihnen die Ausführung von Open-Supply-LLMs (Massive Language Fashions) – z Lama 3, Mistraloder Phi – direkt auf Ihrem lokalen Rechner. Durch die Ausführung in einem Container halten Sie Ihr System sauber und können problemlos zwischen verschiedenen Modellen wechseln, ohne eine komplexe Python-Umgebung einrichten zu müssen.

Datenschutz und Kosten sind wichtige Anliegen bei der Immobilienvermittlung. Der Ollama Docker-Bild erleichtert die Bereitstellung von Modellen wie Llama 3 oder Mistral über eine REST-API.

// Erklären, warum es für Agentenentwickler wichtig ist

Anstatt smart Daten an externe APIs wie OpenAI zu senden, können Sie Ihrem Agenten ein „Gehirn“ geben, das in Ihrer eigenen Infrastruktur lebt. Dies ist wichtig für Unternehmensagenten, die proprietäre Daten verarbeiten. Durch Laufen docker run ollama/ollamahaben Sie sofort einen lokalen Endpunkt, den Ihr Agentencode aufrufen kann, um Textual content oder Begründungen zu Aufgaben zu generieren.

// Einleiten eines Schnellstarts

Verwenden Sie den folgenden Befehl, um das Mistral-Modell über den Ollama-Container abzurufen und auszuführen. Dadurch wird der Port zugeordnet und die Modelle bleiben auf Ihrem lokalen Laufwerk erhalten.

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Sobald der Container ausgeführt wird, müssen Sie ein Modell abrufen, indem Sie einen Befehl im Container ausführen:

docker exec -it ollama ollama run mistral

// Erklären, warum es für Agentenentwickler nützlich ist

Sie können jetzt den LLM-Shopper Ihres Agenten darauf verweisen http://localhost:11434. Dadurch erhalten Sie einen lokalen, API-kompatiblen Endpunkt für schnelles Prototyping und stellen sicher, dass Ihre Daten niemals Ihren Laptop verlassen.

// Überprüfung der wichtigsten Vorteile

• Datenschutz: Schützen Sie Ihre Eingabeaufforderungen und Daten
• Kosteneffizienz: Keine API-Gebühren für Inferenz
• Latenz: Schnellere Reaktionen bei Ausführung auf lokalen GPUs

Erfahren Sie mehr: Ollama Docker Hub

# 2. Qdrant: Die Vektordatenbank für den Speicher

Qdrant-Dashboard

Agenten benötigen Gedächtnis, um sich an vergangene Gespräche und Domänenwissen zu erinnern. Um einem Agenten ein Langzeitgedächtnis zu verleihen, benötigen Sie eine Vektordatenbank. Diese Datenbanken speichern numerische Darstellungen (Einbettungen) von Textual content, sodass Ihr Agent später nach semantisch ähnlichen Informationen suchen kann.

Qdrant ist eine leistungsstarke Open-Supply-Vektordatenbank, die in Rust erstellt wurde. Es ist schnell, zuverlässig und bietet beides: gRPC und eine REST-API. Wenn Sie es in Docker ausführen, erhalten Sie sofort ein Speichersystem in Produktionsqualität für Ihre Agenten.

// Erklären, warum es für Agentenentwickler wichtig ist

Um einen RAG-Agenten (Retrieval-Augmented Technology) zu erstellen, müssen Sie Dokumenteinbettungen speichern und schnell abrufen. Qdrant fungiert als Langzeitgedächtnis des Agenten. Wenn ein Benutzer eine Frage stellt, wandelt der Agent sie in einen Vektor um, durchsucht Qdrant nach ähnlichen Vektoren – die relevantes Wissen repräsentieren – und verwendet diesen Kontext, um eine Antwort zu formulieren. Durch die Ausführung in Docker bleibt diese Speicherschicht von Ihrem Anwendungscode entkoppelt, wodurch sie robuster wird.

// Einleiten eines Schnellstarts

Sie können Qdrant mit einem einzigen Befehl starten. Dadurch werden die API und das Dashboard auf Port 6333 und die gRPC-Schnittstelle auf Port 6334 verfügbar gemacht.

docker run -d -p 6333:6333 -p 6334:6334 qdrant/qdrant

Nachdem Sie dies ausgeführt haben, können Sie Ihren Agenten mit verbinden localhost:6333. Wenn der Agent etwas Neues lernt, speichern Sie die Einbettung in Qdrant. Wenn der Benutzer das nächste Mal eine Frage stellt, kann der Agent diese Datenbank nach relevanten „Erinnerungen“ durchsuchen, die er in die Eingabeaufforderung einbeziehen kann, sodass es sich wirklich um ein Gespräch handelt.

# 3. n8n: Arbeitsabläufe zusammenfügen

N8N-Dashboard

Agenten-Workflows existieren selten im luftleeren Raum. Manchmal muss Ihr Agent Ihre E-Mails abrufen, eine Zeile in einem Google Sheet aktualisieren oder eine Slack-Nachricht senden. Sie könnten die API-Aufrufe zwar auch manuell schreiben, der Vorgang ist jedoch oft langwierig.

n8n ist ein Truthful-Code-Workflow-Automatisierungstool. Es ermöglicht Ihnen, verschiedene Dienste über eine visuelle Benutzeroberfläche zu verbinden. Durch die lokale Ausführung können Sie komplexe Workflows erstellen – wie zum Beispiel „Wenn ein Agent einen Vertriebs-Lead erkennt, fügen Sie ihn zu HubSpot hinzu und senden Sie eine Slack-Benachrichtigung“ –, ohne eine einzige Zeile Integrationscode schreiben zu müssen.

// Einleiten eines Schnellstarts

Um Ihre Arbeitsabläufe beizubehalten, sollten Sie ein Quantity bereitstellen. Der folgende Befehl richtet n8n mit SQLite als Datenbank ein.

docker run -d --name n8n -p 5678:5678 -v n8n_data:/residence/node/.n8n n8nio/n8n

// Erklären, warum es für Agentenentwickler nützlich ist

Sie können Ihren Agent so gestalten, dass er eine n8n-Webhook-URL aufruft. Der Agent sendet einfach die Daten und n8n kümmert sich um die komplizierte Logik der Kommunikation mit APIs von Drittanbietern. Dies trennt das „Gehirn“ (das LLM) von den „Händen“ (den Integrationen).

Greifen Sie auf den Editor zu http://localhost:5678 und beginnen Sie mit der Automatisierung.

Erfahren Sie mehr: n8n Docker Hub

# 4. Firecrawl: Verwandeln Sie Web sites in modellreife Daten für große Sprachen

Firecrawl-Dashboard

Eine der häufigsten Aufgaben für Agenten ist die Recherche. Agenten haben jedoch Schwierigkeiten, rohe HTML- oder mit JavaScript gerenderte Web sites zu lesen. Sie benötigen sauberen, markdownformatierten Textual content.

Feuerkriechen ist ein API-Dienst, der eine URL annimmt, die Web site crawlt und den Inhalt in saubere Markdown- oder strukturierte Daten umwandelt. Es übernimmt das JavaScript-Rendering und entfernt automatisch Standardelemente wie Anzeigen und Navigationsleisten. Durch die lokale Ausführung werden die Nutzungsbeschränkungen der Cloud-Model umgangen.

// Einleiten eines Schnellstarts

Firecrawl verwendet a docker-compose.yml Datei, da sie aus mehreren Diensten besteht, einschließlich der App, Redis und Playwright. Klonen Sie das Repository und führen Sie es aus.

git clone https://github.com/mendableai/firecrawl.git
cd firecrawl
docker compose up

// Erklären, warum es für Agentenentwickler nützlich ist

Geben Sie Ihrem Agenten die Möglichkeit, Dwell-Webdaten aufzunehmen. Wenn Sie einen Rechercheagenten erstellen, können Sie ihn Ihre lokale Firecrawl-Instanz aufrufen lassen, um eine Webseite abzurufen, sie in sauberen Textual content umzuwandeln, ihn aufzuteilen und ihn autonom in Ihrer Qdrant-Instanz zu speichern.

# 5. PostgreSQL und pgvector: Implementieren Sie relationalen Speicher

PostgreSQL-Dashboard

Manchmal reicht die Vektorsuche allein nicht aus. Möglicherweise benötigen Sie eine Datenbank, die strukturierte Daten – wie Benutzerprofile oder Transaktionsprotokolle – und Vektoreinbettungen gleichzeitig verarbeiten kann. PostgreSQLmit dem pgvector Mit der Erweiterung können Sie genau das tun.

Anstatt eine separate Vektordatenbank und eine separate SQL-Datenbank zu betreiben, erhalten Sie das Beste aus beiden Welten. Sie können den Namen und das Alter eines Benutzers in einer Tabellenspalte und seine Konversationseinbettungen in einer anderen Spalte speichern und dann Hybridsuchen durchführen (z. B. „Suchen Sie nach Konversationen von Benutzern in New York über Rückerstattungen“).

// Einleiten eines Schnellstarts

Das offizielle PostgreSQL-Picture enthält pgvector standardmäßig nicht. Sie müssen ein bestimmtes Bild verwenden, beispielsweise das von der pgvector-Organisation.

docker run -d --name postgres-pgvector -p 5432:5432 -e POSTGRES_PASSWORD=mysecretpassword pgvector/pgvector:pg16

// Erklären, warum es für Agentenentwickler nützlich ist

Dies ist das ultimative Backend für Stateful Brokers. Ihr Agent kann seine Speicher und seinen internen Zustand in dieselbe Datenbank schreiben, in der sich Ihre Anwendungsdaten befinden, wodurch Konsistenz gewährleistet und Ihre Architektur vereinfacht wird.

# Zusammenfassung

Sie benötigen kein riesiges Cloud-Finances, um anspruchsvolle KI-Agenten zu entwickeln. Das Docker-Ökosystem bietet produktionstaugliche Alternativen, die perfekt auf einem Entwickler-Laptop computer laufen.

Indem Sie diese fünf Container zu Ihrem Workflow hinzufügen, rüsten Sie sich mit Folgendem aus:

• Gehirne: Ollama für lokale Schlussfolgerungen
• Speicher: Qdrant für Vektorsuche
• Hände: n8n für die Workflow-Automatisierung
• Augen: Firecrawl zur Webaufnahme
• Speicher: PostgreSQL mit pgvector für strukturierte Daten

Starten Sie Ihre Container, richten Sie Ihren LangChain- oder CrewAI-Code auf localhost und beobachten Sie, wie Ihre Agenten zum Leben erwachen.

// Weiterführende Literatur

Shittu Olumid ist ein Software program-Ingenieur und technischer Autor, der sich leidenschaftlich dafür einsetzt, modernste Technologien zu nutzen, um fesselnde Erzählungen zu erschaffen, mit einem scharfen Blick fürs Element und einem Gespür für die Vereinfachung komplexer Konzepte. Sie können Shittu auch auf finden Twitter.

Bild vom Herausgeber

# Einführung

Synthetische Daten werden, wie der Title schon sagt, künstlich erstellt und nicht aus realen Quellen gesammelt. Es sieht aus wie echte Daten, vermeidet jedoch Datenschutzprobleme und hohe Kosten für die Datenerfassung. Dies ermöglicht Ihnen das einfache Testen von Software program und Modellen während der Durchführung von Experimenten, um die Leistung nach der Veröffentlichung zu simulieren.

Während Bibliotheken mögen Schwindler, SDVUnd SynthCity Es gibt zwar viele Sprachen – und selbst große Sprachmodelle (LLMs) werden häufig zur Generierung synthetischer Daten verwendet – mein Schwerpunkt in diesem Artikel liegt darauf, mich nicht auf diese externen Bibliotheken oder KI-Instruments zu verlassen. Stattdessen erfahren Sie, wie Sie die gleichen Ergebnisse erzielen, indem Sie Ihre eigenen Texte schreiben Python Skripte. Dies ermöglicht ein besseres Verständnis dafür, wie ein Datensatz geformt wird und wie Verzerrungen oder Fehler entstehen. Wir beginnen mit einfachen Spielzeugskripten, um die verfügbaren Optionen zu verstehen. Sobald Sie diese Grundlagen verstanden haben, können Sie problemlos zu Spezialbibliotheken wechseln.

# 1. Generieren einfacher Zufallsdaten

Der einfachste Ausgangspunkt ist ein Tisch. Wenn Sie beispielsweise einen gefälschten Kundendatensatz für eine interne Demo benötigen, können Sie ein Skript ausführen, um Daten mit durch Kommas getrennten Werten (CSV) zu generieren:

import csv
import random
from datetime import datetime, timedelta

random.seed(42)

nations = ("Canada", "UK", "UAE", "Germany", "USA")
plans = ("Free", "Primary", "Professional", "Enterprise")

def random_signup_date():
    begin = datetime(2024, 1, 1)
    finish = datetime(2026, 1, 1)
    delta_days = (finish - begin).days
    return (begin + timedelta(days=random.randint(0, delta_days))).date().isoformat()

rows = ()
for i in vary(1, 1001):
    age = random.randint(18, 70)
    nation = random.alternative(nations)
    plan = random.alternative(plans)
    monthly_spend = spherical(random.uniform(0, 500), 2)

    rows.append({
        "customer_id": f"CUST{i:05d}",
        "age": age,
        "nation": nation,
        "plan": plan,
        "monthly_spend": monthly_spend,
        "signup_date": random_signup_date()
    })

with open("clients.csv", "w", newline="", encoding="utf-8") as f:
    author = csv.DictWriter(f, fieldnames=rows(0).keys())
    author.writeheader()
    author.writerows(rows)

print("Saved clients.csv")

Ausgabe:

Dieses Skript ist unkompliziert: Sie definieren Felder, wählen Bereiche aus und schreiben Zeilen. Der random Das Modul unterstützt die Generierung von Ganzzahlen, Gleitkommawerten, Zufallsauswahl und Stichproben. Der csv Das Modul dient zum Lesen und Schreiben zeilenbasierter Tabellendaten. Diese Artwork von Datensatz eignet sich für:

• Frontend-Demos
• Dashboard-Checks
• API-Entwicklung
• Erlernen der strukturierten Abfragesprache (SQL)
• Unit-Testing von Eingabepipelines

Dieser Ansatz hat jedoch eine wesentliche Schwäche: Alles ist völlig zufällig. Dies führt oft zu Daten, die flach oder unnatürlich aussehen. Unternehmenskunden geben möglicherweise nur 2 Greenback aus, während „kostenlose“ Benutzer möglicherweise 400 ausgeben. Ältere Benutzer verhalten sich genauso wie jüngere, da keine zugrunde liegende Struktur vorhanden ist.

In realen Szenarien verhalten sich Daten selten so. Anstatt Werte eigenständig zu generieren, können wir Beziehungen und Regeln einführen. Dadurch fühlt sich der Datensatz realistischer an und bleibt gleichzeitig vollständig synthetisch. Zum Beispiel:

• Unternehmenskunden sollten quick nie keine Ausgaben tätigen
• Die Ausgabenspanne sollte vom ausgewählten Plan abhängen
• Ältere Nutzer geben im Durchschnitt möglicherweise etwas mehr aus
• Bestimmte Pläne sollten häufiger vorkommen als andere

Fügen wir dem Skript diese Steuerelemente hinzu:

import csv
import random

random.seed(42)

plans = ("Free", "Primary", "Professional", "Enterprise")

def choose_plan():
    roll = random.random()
    if roll < 0.45:
        return "Free"
    if roll < 0.75:
        return "Primary"
    if roll < 0.93:
        return "Professional"
    return "Enterprise"

def generate_spend(age, plan):
    if plan == "Free":
        base = random.uniform(0, 10)
    elif plan == "Primary":
        base = random.uniform(10, 60)
    elif plan == "Professional":
        base = random.uniform(50, 180)
    else:
        base = random.uniform(150, 500)

    if age >= 40:
        base *= 1.15

    return spherical(base, 2)

rows = ()
for i in vary(1, 1001):
    age = random.randint(18, 70)
    plan = choose_plan()
    spend = generate_spend(age, plan)

    rows.append({
        "customer_id": f"CUST{i:05d}",
        "age": age,
        "plan": plan,
        "monthly_spend": spend
    })

with open("controlled_customers.csv", "w", newline="", encoding="utf-8") as f:
    author = csv.DictWriter(f, fieldnames=rows(0).keys())
    author.writeheader()
    author.writerows(rows)

print("Saved controlled_customers.csv")

Ausgabe:

Jetzt behält der Datensatz aussagekräftige Muster bei. Anstatt zufälliges Rauschen zu erzeugen, simulieren Sie Verhaltensweisen. Zu wirksamen Kontrollen können gehören:

• Gewichtete Kategorieauswahl
• Realistische Mindest- und Höchstreichweiten
• Bedingte Logik zwischen Spalten
• Absichtlich hinzugefügte seltene Randfälle
• Fehlende Werte werden zu geringen Raten eingefügt
• Korrelierte Merkmale statt unabhängiger

# 2. Simulationsprozesse für synthetische Daten

Die simulationsbasierte Generierung ist eine der besten Möglichkeiten, realistische synthetische Datensätze zu erstellen. Anstatt Spalten direkt zu füllen, simulieren Sie einen Prozess. Stellen Sie sich zum Beispiel ein kleines Lager vor, in dem Bestellungen eingehen, der Lagerbestand abnimmt und niedrige Lagerbestände zu Lieferrückständen führen.

import csv
import random
from datetime import datetime, timedelta

random.seed(42)

stock = {
    "A": 120,
    "B": 80,
    "C": 50
}

rows = ()
current_time = datetime(2026, 1, 1)

for day in vary(30):
    for product in stock:
        daily_orders = random.randint(0, 12)

        for _ in vary(daily_orders):
            qty = random.randint(1, 5)
            earlier than = stock(product)

            if stock(product) >= qty:
                stock(product) -= qty
                standing = "fulfilled"
            else:
                standing = "backorder"

            rows.append({
                "time": current_time.isoformat(),
                "product": product,
                "qty": qty,
                "stock_before": earlier than,
                "stock_after": stock(product),
                "standing": standing
            })

        if stock(product) < 20:
            restock = random.randint(30, 80)
            stock(product) += restock
            rows.append({
                "time": current_time.isoformat(),
                "product": product,
                "qty": restock,
                "stock_before": stock(product) - restock,
                "stock_after": stock(product),
                "standing": "restock"
            })

    current_time += timedelta(days=1)

with open("warehouse_sim.csv", "w", newline="", encoding="utf-8") as f:
    author = csv.DictWriter(f, fieldnames=rows(0).keys())
    author.writeheader()
    author.writerows(rows)

print("Saved warehouse_sim.csv")

Ausgabe:

Diese Methode ist hervorragend, da die Daten ein Nebenprodukt des Systemverhaltens sind, das in der Regel realistischere Beziehungen liefert als die direkte Generierung zufälliger Zeilen. Weitere Simulationsideen sind:

• Warteschlangen im Callcenter
• Fahrtanfragen und Fahrerzuordnung
• Kreditanträge und Genehmigungen
• Abonnements und Abwanderung
• Ablauf der Patiententermine
• Web site-Visitors und Conversion

# 3. Generieren synthetischer Zeitreihendaten

Synthetische Daten sind nicht nur auf statische Tabellen beschränkt. Viele Systeme erzeugen im Laufe der Zeit Sequenzen, wie z. B. App-Verkehr, Sensorwerte, Bestellungen professional Stunde oder Server-Reaktionszeiten. Hier ist ein einfacher Zeitreihengenerator für stündliche Web site-Besuche mit Wochentagsmustern.

import csv
import random
from datetime import datetime, timedelta

random.seed(42)

begin = datetime(2026, 1, 1, 0, 0, 0)
hours = 24 * 30
rows = ()

for i in vary(hours):
    ts = begin + timedelta(hours=i)
    weekday = ts.weekday()

    base = 120
    if weekday >= 5:
        base = 80

    hour = ts.hour
    if 8 <= hour <= 11:
        base += 60
    elif 18 <= hour <= 21:
        base += 40
    elif 0 <= hour <= 5:
        base -= 30

    visits = max(0, int(random.gauss(base, 15)))

    rows.append({
        "timestamp": ts.isoformat(),
        "visits": visits
    })

with open("traffic_timeseries.csv", "w", newline="", encoding="utf-8") as f:
    author = csv.DictWriter(f, fieldnames=("timestamp", "visits"))
    author.writeheader()
    author.writerows(rows)

print("Saved traffic_timeseries.csv")

Ausgabe:

Dieser Ansatz funktioniert intestine, weil er Tendencies, Rauschen und zyklisches Verhalten berücksichtigt und gleichzeitig leicht zu erklären und zu debuggen ist.

# 4. Erstellen von Ereignisprotokollen

Ereignisprotokolle sind ein weiterer nützlicher Skriptstil, der sich very best für Produktanalysen und Workflow-Checks eignet. Anstelle einer Zeile professional Kunde erstellen Sie eine Zeile professional Aktion.

import csv
import random
from datetime import datetime, timedelta

random.seed(42)

occasions = ("signup", "login", "view_page", "add_to_cart", "buy", "logout")

rows = ()
begin = datetime(2026, 1, 1)

for user_id in vary(1, 201):
    event_count = random.randint(5, 30)
    current_time = begin + timedelta(days=random.randint(0, 10))

    for _ in vary(event_count):
        occasion = random.alternative(occasions)

        if occasion == "buy" and random.random() < 0.6:
            worth = spherical(random.uniform(10, 300), 2)
        else:
            worth = 0.0

        rows.append({
            "user_id": f"USER{user_id:04d}",
            "event_time": current_time.isoformat(),
            "event_name": occasion,
            "event_value": worth
        })

        current_time += timedelta(minutes=random.randint(1, 180))

with open("event_log.csv", "w", newline="", encoding="utf-8") as f:
    author = csv.DictWriter(f, fieldnames=rows(0).keys())
    author.writeheader()
    author.writerows(rows)

print("Saved event_log.csv")

Ausgabe:

Dieses Format ist nützlich für:

• Trichteranalyse
• Analyse-Pipeline-Checks
• Enterprise Intelligence (BI)-Dashboards
• Sitzungsrekonstruktion
• Experimente zur Anomalieerkennung

Eine nützliche Technik besteht darin, Ereignisse von früheren Aktionen abhängig zu machen. Beispielsweise sollte ein Kauf typischerweise auf eine Anmeldung oder einen Seitenaufruf folgen, um das synthetische Protokoll glaubwürdiger zu machen.

# 5. Generieren synthetischer Textdaten mit Vorlagen

Synthetische Daten sind auch für die Verarbeitung natürlicher Sprache (NLP) wertvoll. Sie benötigen nicht immer einen LLM, um zu beginnen. Mithilfe von Vorlagen und kontrollierter Variation können Sie effektive Textdatensätze erstellen. Sie können beispielsweise Help-Ticket-Schulungsdaten erstellen:

import json
import random

random.seed(42)

points = (
    ("billing", "I used to be charged twice for my subscription"),
    ("login", "I can't log into my account"),
    ("delivery", "My order has not arrived but"),
    ("refund", "I wish to request a refund"),
)

tones = ("Please assist", "That is pressing", "Are you able to examine this", "I would like assist")

data = ()

for _ in vary(100):
    label, message = random.alternative(points)
    tone = random.alternative(tones)

    textual content = f"{tone}. {message}."
    data.append({
        "textual content": textual content,
        "label": label
    })

with open("support_tickets.jsonl", "w", encoding="utf-8") as f:
    for merchandise in data:
        f.write(json.dumps(merchandise) + "n")

print("Saved support_tickets.jsonl")

Ausgabe:

Dieser Ansatz eignet sich intestine für:

• Demos zur Textklassifizierung
• Absichtserkennung
• Chatbot-Checks
• Prompte Bewertung

# Letzte Gedanken

Synthetische Datenskripte sind leistungsstarke Werkzeuge, können jedoch falsch implementiert werden. Vermeiden Sie unbedingt diese häufigen Fehler:

• Alle Werte einheitlich zufällig machen
• Abhängigkeiten zwischen Feldern vergessen
• Generieren von Werten, die gegen die Geschäftslogik verstoßen
• Es wird davon ausgegangen, dass synthetische Daten standardmäßig von Natur aus sicher sind
• Erstellen von Daten, die zu „sauber“ sind, um zum Testen realer Randfälle nützlich zu sein
• Verwenden Sie dasselbe Muster so häufig, dass der Datensatz vorhersehbar und unrealistisch wird

Der Datenschutz bleibt der wichtigste Aspekt. Obwohl synthetische Daten die Gefährdung durch reale Aufzeichnungen verringern, sind sie nicht risikofrei. Wenn ein Generator zu eng mit den ursprünglichen sensiblen Daten verknüpft ist, kann es dennoch zu Datenlecks kommen. Aus diesem Grund sind Methoden zur Wahrung der Privatsphäre, wie z. B. differenziell personal synthetische Daten, unerlässlich.

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und ein technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Technology Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Range in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.

Bild vom Autor

# Einführung

Als Datenwissenschaftler oder -analyst wissen Sie, dass das Verständnis Ihrer Daten die Grundlage jedes erfolgreichen Projekts ist. Bevor Sie Modelle erstellen, Dashboards erstellen oder Erkenntnisse generieren können, müssen Sie wissen, womit Sie arbeiten. Aber die explorative Datenanalyse (EDA) ist ärgerlicherweise eintönig und zeitaufwändig.

Für jeden neuen Datensatz schreiben Sie wahrscheinlich quick denselben Code, um Datentypen zu überprüfen, Statistiken zu berechnen, Verteilungen darzustellen und mehr. Sie benötigen systematische, automatisierte Ansätze, um Ihre Daten schnell und gründlich zu verstehen. In diesem Artikel werden fünf Python-Skripte behandelt, die die wichtigsten und zeitaufwändigsten Aspekte der Datenexploration automatisieren sollen.

Die Skripte finden Sie auf GitHub.

# 1. Profilierungsdaten

// Identifizieren des Schmerzpunkts

Wenn Sie einen Datensatz zum ersten Mal öffnen, müssen Sie seine grundlegenden Eigenschaften verstehen. Sie schreiben Code, um Datentypen zu überprüfen, eindeutige Werte zu zählen, fehlende Daten zu identifizieren, die Speichernutzung zu berechnen und zusammenfassende Statistiken zu erhalten. Sie tun dies für jede einzelne Spalte und generieren den gleichen sich wiederholenden Code für jeden neuen Datensatz. Allein diese erste Profilerstellung kann bei komplexen Datensätzen eine Stunde oder länger dauern.

// Überprüfen, was das Skript tut

Erstellt automatisch ein vollständiges Profil Ihres Datensatzes, einschließlich Datentypen, Muster fehlender Werte, Kardinalitätsanalyse, Speichernutzung und statistischer Zusammenfassungen für alle Spalten. Erkennt potenzielle Probleme wie kategoriale Variablen mit hoher Kardinalität, konstante Spalten und Datentypkonflikte. Erstellt einen strukturierten Bericht, der Ihnen in Sekundenschnelle ein vollständiges Bild Ihrer Daten liefert.

// Erklären, wie es funktioniert

Das Skript durchläuft jede Spalte, bestimmt ihren Typ und berechnet relevante Statistiken:

• Für numerische Spalten werden Mittelwert, Median, Standardabweichung, Quartile, Schiefe und Kurtosis berechnet
• Für kategoriale Spalten werden eindeutige Werte, Modi und Häufigkeitsverteilungen identifiziert

Es kennzeichnet potenzielle Datenqualitätsprobleme wie Spalten mit >50 % fehlenden Werten, kategoriale Spalten mit zu vielen eindeutigen Werten und Spalten mit einer Varianz von Null. Alle Ergebnisse werden in einem leicht lesbaren Datenrahmen zusammengefasst.

Holen Sie sich das Datenprofiler-Skript

# 2. Verteilungen analysieren und visualisieren

// Identifizieren des Schmerzpunkts

Für die Auswahl der richtigen Transformationen und Modelle ist es wichtig zu verstehen, wie Ihre Daten verteilt sind. Sie müssen Histogramme, Boxplots und Dichtekurven für numerische Options sowie Balkendiagramme für kategoriale Options zeichnen. Das manuelle Generieren dieser Visualisierungen erfordert das Schreiben von Plotcode für jede Variable, das Anpassen von Layouts und das Verwalten mehrerer Abbildungsfenster. Bei Datensätzen mit Dutzenden von Funktionen wird dies umständlich.

// Überprüfen, was das Skript tut

Erzeugt umfassende Verteilungsvisualisierungen für alle Options in Ihrem Datensatz. Erstellt Histogramme mit Kerndichteschätzungen für numerische Merkmale, Boxplots zur Darstellung von Ausreißern, Balkendiagramme für kategoriale Merkmale und QQ-Diagramme zur Beurteilung der Normalität. Erkennt und hebt verzerrte Verteilungen, multimodale Muster und potenzielle Ausreißer hervor. Organisiert alle Diagramme in einem übersichtlichen Rasterlayout mit automatischer Skalierung.

// Erklären, wie es funktioniert

Das Skript trennt numerische und kategoriale Spalten und generiert dann entsprechende Visualisierungen für jeden Typ:

• Für numerische Merkmale werden Unterdiagramme erstellt, die Histogramme mit überlagerten KDE-Kurven (Kernel Density Estimate) zeigen, die mit Schiefe- und Kurtosis-Werten versehen sind
• Für kategoriale Options werden sortierte Balkendiagramme generiert, die Werthäufigkeiten anzeigen

Das Skript ermittelt automatisch optimale Bin-Größen, verarbeitet Ausreißer und verwendet statistische Checks, um Verteilungen zu kennzeichnen, die erheblich von der Normalität abweichen. Alle Visualisierungen werden im einheitlichen Stil generiert und können bei Bedarf exportiert werden.

Holen Sie sich das Verteilungsanalyseskript

# 3. Erforschung von Korrelationen und Beziehungen

// Identifizieren des Schmerzpunkts

Beziehungen zwischen Variablen zu verstehen ist wichtig, aber mühsam. Sie müssen Korrelationsmatrizen berechnen, Streudiagramme für vielversprechende Paare erstellen, Multikollinearitätsprobleme identifizieren und nichtlineare Beziehungen erkennen. Um dies manuell zu tun, müssen Dutzende Diagramme erstellt und verschiedene Korrelationskoeffizienten berechnet werden Pearson, SpeermannUnd Kendallund versuchen, Muster in Korrelations-Heatmaps zu erkennen. Der Prozess ist langsam und Sie verpassen oft wichtige Beziehungen.

// Überprüfen, was das Skript tut

Analysiert Beziehungen zwischen allen Variablen in Ihrem Datensatz. Erzeugt Korrelationsmatrizen mit mehreren Methoden, erstellt Streudiagramme für stark korrelierte Paare, erkennt Multikollinearitätsprobleme für die Regressionsmodellierung und identifiziert nichtlineare Beziehungen, die bei linearer Korrelation möglicherweise übersehen werden. Erstellt Visualisierungen, mit denen Sie bestimmte Beziehungen genauer untersuchen können, und weist auf potenzielle Probleme wie perfekte Korrelationen oder redundante Funktionen hin.

// Erklären, wie es funktioniert

Das Skript berechnet Korrelationsmatrizen mithilfe von Pearson-, Spearman- und Kendall-Korrelationen, um verschiedene Arten von Beziehungen zu erfassen. Es generiert eine kommentierte Heatmap, die starke Korrelationen hervorhebt, und erstellt dann detaillierte Streudiagramme für Merkmalspaare, die Korrelationsschwellenwerte überschreiten.

Zur Multikollinearitätserkennung wird berechnet Varianzinflationsfaktoren (VIF) und identifiziert Merkmalsgruppen mit hoher gegenseitiger Korrelation. Das Skript berechnet außerdem Mutual-Data-Scores, um nichtlineare Beziehungen zu erfassen, die Korrelationskoeffizienten übersehen.

Holen Sie sich das Korrelations-Explorer-Skript

# 4. Ausreißer erkennen und analysieren

// Identifizieren des Schmerzpunkts

Ausreißer können sich auf Ihre Analysen und Modelle auswirken, ihre Identifizierung erfordert jedoch mehrere Ansätze. Sie müssen mit verschiedenen statistischen Methoden wie Interquartilbereich (IQR), Z-Rating und Isolationswäldern nach Ausreißern suchen und diese mit Boxplots und Streudiagrammen visualisieren. Anschließend müssen Sie deren Auswirkungen auf Ihre Daten verstehen und entscheiden, ob es sich um echte Anomalien oder Datenfehler handelt. Die manuelle Implementierung und der Vergleich mehrerer Methoden zur Ausreißererkennung ist zeitaufwändig und fehleranfällig.

// Überprüfen, was das Skript tut

Erkennt Ausreißer mithilfe mehrerer statistischer und maschineller Lernmethoden, vergleicht die Ergebnisse verschiedener Methoden, um Konsens-Ausreißer zu identifizieren, generiert Visualisierungen, die die Standorte und Muster der Ausreißer zeigen, und stellt detaillierte Berichte über die Merkmale der Ausreißer bereit. Hilft Ihnen zu verstehen, ob Ausreißer isolierte Datenpunkte oder Teil aussagekräftiger Cluster sind, und schätzt ihre möglichen Auswirkungen auf die nachgelagerte Analyse.

// Erklären, wie es funktioniert

Das Skript wendet mehrere Algorithmen zur Ausreißererkennung an:

• IQR-Methode für univariate Ausreißer
• Mahalanobis-Entfernung für multivariate Ausreißer
• Z-Rating und modifizierter Z-Rating für statistische Ausreißer
• Isolationswald für komplexe Anomaliemuster

Jede Methode erzeugt eine Reihe markierter Punkte, und das Skript erstellt einen Konsenswert, der angibt, wie viele Methoden jede Beobachtung markiert haben. Es generiert parallele Visualisierungen, in denen Erkennungsmethoden verglichen werden, hebt Beobachtungen hervor, die durch mehrere Methoden gekennzeichnet wurden, und liefert detaillierte Statistiken zu Ausreißerwerten. Das Skript führt außerdem eine Sensitivitätsanalyse durch, die zeigt, wie sich Ausreißer auf wichtige Statistiken wie Mittelwerte und Korrelationen auswirken.

Holen Sie sich das Skript zur Ausreißererkennung

# 5. Analyse fehlender Datenmuster

// Identifizieren des Schmerzpunkts

Fehlende Daten sind selten zufällig und für die Wahl der richtigen Handhabungsstrategie ist es notwendig, die Muster des Fehlens zu verstehen. Sie müssen ermitteln, in welchen Spalten Daten fehlen, Muster in fehlenden Daten erkennen, Muster in fehlenden Daten visualisieren und Beziehungen zwischen fehlenden Werten und anderen Variablen verstehen. Die manuelle Durchführung dieser Analyse erfordert benutzerdefinierten Code für jeden Datensatz und ausgefeilte Visualisierungstechniken.

// Überprüfen, was das Skript tut

Analysiert fehlende Datenmuster in Ihrem gesamten Datensatz. Identifiziert Spalten mit fehlenden Werten, berechnet fehlende Werte und erkennt Korrelationen in fehlenden Mustern. Anschließend bewertet es die Arten von fehlenden Daten – „Lacking Utterly At Random“ (MCAR), „Lacking At Random“ (MAR) oder „Lacking Not At Random“ (MNAR) – und generiert Visualisierungen, die fehlende Muster zeigen. Bietet Empfehlungen für Handhabungsstrategien basierend auf den erkannten Mustern.

// Erklären, wie es funktioniert

Das Skript erstellt eine binäre fehlende Matrix, die angibt, wo Werte fehlen, und analysiert diese Matrix dann, um Muster zu erkennen. Es berechnet Fehlenskorrelationen, um Merkmale zu identifizieren, die tendenziell zusammen fehlen, verwendet statistische Checks zur Bewertung von Fehlensmechanismen und generiert Heatmaps und Balkendiagramme, die Fehlensmuster zeigen. Für jede Spalte mit fehlenden Daten werden Beziehungen zwischen fehlenden Daten und anderen Variablen mithilfe statistischer Checks und Korrelationsanalysen untersucht.

Basierend auf erkannten Mustern empfiehlt das Skript geeignete Imputationsstrategien:

• Mittelwert/Median für numerische MCAR-Daten
• Prädiktive Imputation für MAR-Daten
• Domänenspezifische Ansätze für MNAR-Daten

Holen Sie sich das fehlende Datenanalyseskript

# Abschließende Bemerkungen

Diese fünf Skripte befassen sich mit den zentralen Herausforderungen der Datenexploration, mit denen jeder Datenexperte konfrontiert ist.

Sie können jedes Skript unabhängig für bestimmte Explorationsaufgaben verwenden oder sie zu einer vollständigen Pipeline für die explorative Datenanalyse kombinieren. Das Ergebnis ist ein systematischer, reproduzierbarer Ansatz zur Datenexploration, der Ihnen bei jedem Projekt Stunden oder Tage spart und gleichzeitig sicherstellt, dass Ihnen keine wesentlichen Erkenntnisse über Ihre Daten entgehen.

Viel Spaß beim Entdecken!

Bala Priya C ist ein Entwickler und technischer Redakteur aus Indien. Sie arbeitet gerne an der Schnittstelle von Mathematik, Programmierung, Datenwissenschaft und Inhaltserstellung. Zu ihren Interessen- und Fachgebieten gehören DevOps, Datenwissenschaft und Verarbeitung natürlicher Sprache. Sie liebt es zu lesen, zu schreiben, zu programmieren und Kaffee zu trinken! Derzeit arbeitet sie daran, zu lernen und ihr Wissen mit der Entwickler-Neighborhood zu teilen, indem sie Tutorials, Anleitungen, Meinungsbeiträge und mehr verfasst. Bala erstellt außerdem ansprechende Ressourcenübersichten und Programmier-Tutorials.

Bild vom Autor

# Einführung

Probleme mit der Datenqualität gibt es überall. Fehlende Werte, wo keine sein sollten. Datumsangaben im falschen Format. Doppelte Datensätze, die durchgehen. Ausreißer, die Ihre Analyse verzerren. Textfelder mit inkonsistenter Groß- und Kleinschreibung und unterschiedlichen Schreibweisen. Diese Probleme können Ihre Analysen und Pipelines beeinträchtigen und häufig zu falschen Geschäftsentscheidungen führen.

Die manuelle Datenvalidierung ist mühsam. Sie müssen in mehreren Datensätzen wiederholt nach denselben Problemen suchen, und es ist leicht, subtile Probleme zu übersehen. In diesem Artikel werden fünf praktische Python-Skripte behandelt, die die häufigsten Probleme mit der Datenqualität lösen.

Hyperlink zum Code auf GitHub

# 1. Analyse fehlender Daten

// Der Schmerzpunkt

Sie erhalten einen Datensatz, der vollständige Datensätze erwartet, in dem sich jedoch verstreut leere Zellen, Nullwerte, leere Zeichenfolgen und Platzhaltertext wie „N/A“ oder „Unbekannt“ befinden. Einige Spalten sind größtenteils leer, andere weisen nur wenige Lücken auf. Sie müssen das Ausmaß des Issues verstehen, bevor Sie es beheben können.

// Was das Skript macht

Durchsucht Datensätze umfassend nach fehlenden Daten in allen Formen. Identifiziert fehlende Muster (zufällig oder systematisch), berechnet Vollständigkeitswerte für jede Spalte und markiert Spalten mit übermäßig vielen fehlenden Daten. Außerdem werden visuelle Berichte erstellt, die zeigen, wo Ihre Datenlücken bestehen.

// Wie es funktioniert

Das Skript liest Daten aus CSV-, Excel- oder JSON-Dateien und erkennt verschiedene Darstellungen fehlender Werte wie „Keine“, „NaN“, leere Zeichenfolgen und häufige Platzhalter. Anschließend berechnet es die Prozentsätze fehlender Daten nach Spalte und Zeile und identifiziert Korrelationen zwischen fehlenden Werten über Spalten hinweg. Schließlich werden sowohl zusammenfassende Statistiken als auch detaillierte Berichte mit Empfehlungen für den Umgang mit jeder Artwork von Fehlen erstellt.

Holen Sie sich das fehlende Datenanalyseskript

# 2. Datentypen validieren

// Der Schmerzpunkt

Ihr Datensatz soll über numerische IDs verfügen, bei einigen handelt es sich jedoch um Textual content. Datumsfelder enthalten Datumsangaben, Uhrzeiten oder manchmal auch nur zufällige Zeichenfolgen. E-Mail-Adressen in der E-Mail-Spalte, mit Ausnahme von Feldern, die keine gültigen E-Mails sind. Solche Typinkonsistenzen führen zum Absturz von Skripten oder zu falschen Berechnungen.

// Was das Skript macht

Überprüft, ob jede Spalte den erwarteten Datentyp enthält. Überprüft numerische Spalten auf nicht numerische Werte, Datumsspalten auf ungültige Daten, E-Mail- und URL-Spalten auf korrekte Formatierung und kategoriale Spalten auf unerwartete Werte. Das Skript stellt außerdem detaillierte Berichte zu Typverletzungen mit Zeilennummern und Beispielen bereit.

// Wie es funktioniert

Das Skript akzeptiert eine Schemadefinition, die erwartete Typen für jede Spalte angibt, verwendet Regex-Muster und Validierungsbibliotheken, um die Formatkonformität zu überprüfen, identifiziert und meldet Zeilen, die Typerwartungen verletzen, berechnet Verletzungsraten professional Spalte und schlägt geeignete Datentypkonvertierungen oder Bereinigungsschritte vor.

Holen Sie sich das Datentyp-Validierungsskript

# 3. Erkennen doppelter Datensätze

// Der Schmerzpunkt

Ihre Datenbank sollte über eindeutige Datensätze verfügen, es werden jedoch immer wieder doppelte Einträge angezeigt. Manchmal handelt es sich um exakte Duplikate, manchmal stimmen nur wenige Felder überein. Möglicherweise handelt es sich um denselben Kunden mit leicht unterschiedlicher Schreibweise seines Namens oder um Transaktionen, die versehentlich zweimal übermittelt wurden. Diese manuell zu finden ist eine große Herausforderung.

// Was das Skript macht

Identifiziert doppelte und nahezu doppelte Datensätze mithilfe mehrerer Erkennungsstrategien. Findet exakte Übereinstimmungen, Fuzzy-Übereinstimmungen basierend auf Ähnlichkeitsschwellenwerten und Duplikate innerhalb bestimmter Spaltenkombinationen. Gruppiert ähnliche Datensätze und berechnet Konfidenzwerte für potenzielle Übereinstimmungen.

// Wie es funktioniert

Das Skript verwendet Hash-basierte exakte Übereinstimmung für perfekte Duplikate und wendet Fuzzy-String-Matching-Algorithmen an Levenshtein-Distanz für Beinahe-Duplikate, ermöglicht die Angabe von Schlüsselspalten für den teilweisen Abgleich, generiert Duplikat-Cluster mit Ähnlichkeitswerten und exportiert detaillierte Berichte, die alle potenziellen Duplikate mit Empfehlungen zur Deduplizierung zeigen.

Holen Sie sich das Skript zur Erkennung doppelter Datensätze

# 4. Ausreißer erkennen

// Der Schmerzpunkt

Ihre Analyseergebnisse sehen falsch aus. Sie stöbern nach und stellen fest, dass jemand 999 für das Alter eingegeben hat, ein Transaktionsbetrag negativ ist, obwohl er positiv sein sollte, oder ein Messwert drei Größenordnungen größer ist als der Relaxation. Ausreißer verzerren Statistiken, brechen Modelle und sind in großen Datensätzen oft schwer zu identifizieren.

// Was das Skript macht

Erkennt automatisch statistische Ausreißer mithilfe mehrerer Methoden. Wendet die Z-Rating-Analyse, die IQR- oder Interquartilbereichsmethode und domänenspezifische Regeln an. Identifiziert Extremwerte, unmögliche Werte und Werte, die außerhalb der erwarteten Bereiche liegen. Bietet Kontext für jeden Ausreißer und gibt Hinweise darauf, ob es sich wahrscheinlich um einen Fehler oder einen legitimen Extremwert handelt.

// Wie es funktioniert

Das Skript analysiert numerische Spalten mithilfe konfigurierbarer statistischer Schwellenwerte, wendet domänenspezifische Validierungsregeln an, visualisiert Verteilungen mit hervorgehobenen Ausreißern, berechnet Ausreißerbewertungen und Konfidenzniveaus und generiert priorisierte Berichte, in denen die wahrscheinlichsten Datenfehler zuerst gekennzeichnet werden.

Holen Sie sich das Skript zur Ausreißererkennung

# 5. Überprüfung der feldübergreifenden Konsistenz

// Der Schmerzpunkt

Einzelne Felder sehen intestine aus, aber die Beziehungen zwischen den Feldern sind unterbrochen. Startdaten nach Enddaten. Lieferadressen in anderen Ländern als der Ländercode der Rechnungsadresse. Untergeordnete Datensätze ohne entsprechende übergeordnete Datensätze. Bestellsummen, die nicht mit der Summe der Einzelposten übereinstimmen. Diese logischen Inkonsistenzen sind schwerer zu erkennen, aber genauso schädlich.

// Was das Skript macht

Validiert logische Beziehungen zwischen Feldern basierend auf Geschäftsregeln. Überprüft zeitliche Konsistenz, referenzielle Integrität, mathematische Beziehungen und benutzerdefinierte Geschäftslogik. Kennzeichnet Verstöße mit spezifischen Particulars darüber, was inkonsistent ist.

// Wie es funktioniert

Das Skript akzeptiert eine Regeldefinitionsdatei, die die zu validierenden Beziehungen angibt, wertet bedingte Logik und feldübergreifende Vergleiche aus, führt Suchvorgänge zur Überprüfung der referenziellen Integrität durch, berechnet abgeleitete Werte und vergleicht sie mit gespeicherten Werten und erstellt detaillierte Verstoßberichte mit Zeilenverweisen und spezifischen Regelfehlern.

Holen Sie sich das Skript zur feldübergreifenden Konsistenzprüfung

# Zusammenfassung

Diese fünf Skripte helfen Ihnen, Probleme mit der Datenqualität frühzeitig zu erkennen, bevor sie Ihre Analyse oder Systeme beeinträchtigen. Die Datenvalidierung sollte automatisch, umfassend und schnell erfolgen, und diese Skripte helfen dabei.

Wie additionally fangen Sie an? Laden Sie das Skript herunter, das Ihr größtes Downside bei der Datenqualität behebt, und installieren Sie die erforderlichen Abhängigkeiten. Konfigurieren Sie als Nächstes Validierungsregeln für Ihre spezifischen Daten und führen Sie sie auf einem Beispieldatensatz aus, um die Einrichtung zu überprüfen. Integrieren Sie es dann in Ihre Datenpipeline, um Probleme automatisch zu erkennen

Saubere Daten sind die Grundlage für alles andere. Beginnen Sie mit der systematischen Validierung, und Sie werden weniger Zeit mit der Behebung von Problemen verbringen. Viel Spaß beim Validieren!

Bala Priya C ist ein Entwickler und technischer Redakteur aus Indien. Sie arbeitet gerne an der Schnittstelle von Mathematik, Programmierung, Datenwissenschaft und Inhaltserstellung. Zu ihren Interessen- und Fachgebieten gehören DevOps, Datenwissenschaft und Verarbeitung natürlicher Sprache. Sie liebt es zu lesen, zu schreiben, zu programmieren und Kaffee zu trinken! Derzeit arbeitet sie daran, zu lernen und ihr Wissen mit der Entwickler-Neighborhood zu teilen, indem sie Tutorials, Anleitungen, Meinungsbeiträge und mehr verfasst. Bala erstellt außerdem ansprechende Ressourcenübersichten und Programmier-Tutorials.