Bild vom Autor
# Einführung
Als Datenwissenschaftler sind Sie wahrscheinlich bereits mit Bibliotheken wie z NumPy, Pandas, scikit-lernenUnd Matplotlib. Aber das Python-Ökosystem ist riesig und es gibt viele weniger bekannte Bibliotheken, die Ihnen dabei helfen können, Ihre datenwissenschaftlichen Aufgaben zu vereinfachen.
In diesem Artikel untersuchen wir zehn solcher Bibliotheken, die in vier Schlüsselbereiche unterteilt sind, mit denen Datenwissenschaftler täglich arbeiten:
- Automatisierte EDA und Profilerstellung für schnellere explorative Analysen
- Umfangreiche Datenverarbeitung zur Verarbeitung von Datensätzen, die nicht in den Speicher passen
- Datenqualität und -validierung zur Aufrechterhaltung sauberer und zuverlässiger Pipelines
- Spezialisierte Datenanalyse für domänenspezifische Aufgaben wie Geodaten- und Zeitreihenarbeiten
Wir stellen Ihnen außerdem Lernressourcen zur Verfügung, die Ihnen den Einstieg erleichtern. Ich hoffe, Sie finden ein paar Bibliotheken, die Sie Ihrem Information-Science-Toolkit hinzufügen können!
# 1. Pandera
Die Datenvalidierung ist in jeder Information-Science-Pipeline unerlässlich, wird jedoch oft manuell oder mit benutzerdefinierten Skripten durchgeführt. Pandera ist eine statistische Datenvalidierungsbibliothek, die Typhinweise und Schemavalidierung in Pandas DataFrames integriert.
Hier ist eine Liste der Funktionen, die Pandera nützlich machen:
- Ermöglicht Ihnen, Schemata für Ihre DataFrames zu definieren und die erwarteten Datentypen, Wertebereiche und statistischen Eigenschaften für jede Spalte anzugeben
- Lässt sich in Pandas integrieren und liefert informative Fehlermeldungen, wenn die Validierung fehlschlägt, was das Debuggen erheblich erleichtert.
- Unterstützt Hypothesentests innerhalb Ihrer Schemadefinitionen und ermöglicht Ihnen die Validierung statistischer Eigenschaften Ihrer Daten während der Pipeline-Ausführung.
So verwenden Sie Pandas mit Pandera, um Ihre Daten in Python zu validieren von Arjan Codes bietet klare Beispiele für den Einstieg in Schemadefinitionen und Validierungsmuster.
# 2. Vaex
Die Arbeit mit Datensätzen, die nicht in den Speicher passen, ist eine häufige Herausforderung. Vaex ist eine leistungsstarke Python-Bibliothek für langsame, außerhalb des Kerns liegende DataFrames, die Milliarden von Zeilen auf einem Laptop computer verarbeiten kann.
Hauptmerkmale, die Vaex einen Besuch wert machen:
- Verwendet Speicherzuordnung und verzögerte Auswertung, um mit Datensätzen zu arbeiten, die größer als RAM sind, ohne alles in den Speicher zu laden
- Bietet schnelle Aggregationen und Filtervorgänge durch die Nutzung effizienter C++-Implementierungen
- Bietet eine vertraute Pandas-ähnliche API, die den Übergang für bestehende Pandas-Benutzer, die eine Skalierung benötigen, reibungslos macht
Vaex-Einführung in 11 Minuten ist eine kurze Einführung in die Arbeit mit großen Datensätzen mit Vaex.
# 3. Pyjanitor
Datenbereinigungscode kann schnell unübersichtlich und schwer lesbar werden. Pyjanitor ist eine Bibliothek, die eine saubere Methodenverkettungs-API für Pandas DataFrames bereitstellt. Dadurch werden Datenbereinigungs-Workflows besser lesbar und wartbar.
Das bietet Pyjanitor:
- Erweitert Pandas um zusätzliche Methoden für allgemeine Reinigungsaufgaben wie das Entfernen leerer Spalten, das Umbenennen von Spalten in „snake_case“ und die Behandlung fehlender Werte.
- Ermöglicht die Methodenverkettung für Datenbereinigungsvorgänge, sodass Ihre Vorverarbeitungsschritte wie eine klare Pipeline aussehen
- Enthält Funktionen für häufige, aber mühsame Aufgaben wie das Markieren fehlender Werte, das Filtern nach Zeitbereichen und die Erstellung bedingter Spalten
Betrachten Pyjanitor: Saubere APIs zum Bereinigen von Daten Vortrag von Eric Ma und anschauen Einfache Datenbereinigung in Python mit PyJanitor – Vollständige Schritt-für-Schritt-Anleitung um loszulegen.
# 4. D-Story
Das Erkunden und Visualisieren von DataFrames erfordert häufig den Wechsel zwischen mehreren Instruments und das Schreiben einer großen Menge Code. D-Geschichte ist eine Python-Bibliothek, die eine interaktive GUI zum Visualisieren und Analysieren von Pandas-DataFrames mit einer tabellenkalkulationsähnlichen Oberfläche bereitstellt.
Das macht D-Story nützlich:
- Startet eine interaktive Weboberfläche, über die Sie Ihren DataFrame sortieren, filtern und erkunden können, ohne zusätzlichen Code schreiben zu müssen
- Bietet integrierte Diagrammfunktionen, einschließlich Histogrammen, Korrelationen und benutzerdefinierten Diagrammen, auf die über eine Level-and-Click on-Schnittstelle zugegriffen werden kann
- Enthält Funktionen wie Datenbereinigung, Ausreißererkennung, Codeexport und die Möglichkeit, benutzerdefinierte Spalten über die GUI zu erstellen
So erkunden Sie schnell Daten in Python mithilfe der D-Story-Bibliothek bietet eine umfassende Komplettlösung.
# 5. Sweetviz
Das Erstellen vergleichender Analyseberichte zwischen Datensätzen ist mit Commonplace-EDA-Instruments mühsam. Sweetviz ist eine automatisierte EDA-Bibliothek, die nützliche Visualisierungen erstellt und detaillierte Vergleiche zwischen Datensätzen ermöglicht.
Was Sweetviz nützlich macht:
- Erstellt umfassende HTML-Berichte mit Zielanalyse, die zeigen, wie sich Options auf Ihre Zielvariable für Klassifizierungs- oder Regressionsaufgaben beziehen
- Splendid für den Vergleich von Datensätzen, sodass Sie Trainings- und Testsätze oder Vorher- und Nachher-Transformationen mit nebeneinander liegenden Visualisierungen vergleichen können
- Erstellt in Sekundenschnelle Berichte und umfasst eine Assoziationsanalyse, die Korrelationen und Beziehungen zwischen allen Funktionen zeigt
So führen Sie mit Sweetviz schnell eine explorative Datenanalyse (EDA) in Python durch Das Tutorial ist eine großartige Ressource für den Einstieg.
# 6. cuDF
Bei der Arbeit mit großen Datensätzen kann die CPU-basierte Verarbeitung zu einem Engpass werden. cuDF ist eine GPU-DataFrame-Bibliothek von NVIDIA, die eine Pandas-ähnliche API bereitstellt, aber Vorgänge auf GPUs ausführt, um eine enorme Beschleunigung zu erzielen.
Funktionen, die cuDF hilfreich machen:
- Bietet 50- bis 100-fache Beschleunigung für gängige Vorgänge wie Gruppieren, Beitreten und Filtern auf kompatibler {Hardware}
- Bietet eine API, die Pandas sehr ähnlich ist und nur minimale Codeänderungen erfordert, um die GPU-Beschleunigung zu nutzen
- Integriert sich in das breitere RAPIDS-Ökosystem für durchgängige GPU-beschleunigte Information-Science-Workflows
NVIDIA RAPIDS cuDF Pandas – Vorverarbeitung großer Datenmengen mit dem cuDF Pandas-Beschleunigermodus von Krish Naik ist eine nützliche Ressource für den Einstieg.
# 7. ITables
Das Erkunden von DataFrames in Jupyter-Notebooks kann bei großen Datensätzen umständlich sein. ITables (Interactive Tables) bringt interaktive DataTables zu Jupyter, sodass Sie Ihre DataFrames direkt in Ihrem Pocket book durchsuchen, sortieren und paginieren können.
Was ITables hilfreich macht:
- Konvertiert Pandas-DataFrames in interaktive Tabellen mit integrierter Such-, Sortier- und Paginierungsfunktion
- Verarbeitet große DataFrames effizient, indem nur sichtbare Zeilen gerendert werden, sodass Ihre Notebooks reaktionsfähig bleiben
- Erfordert minimalen Code; Oft genügt eine einzige Importanweisung, um alle DataFrame-Anzeigen in Ihrem Pocket book umzuwandeln.
Schnellstart für interaktive Tabellen Enthält klare Anwendungsbeispiele.
# 8. GeoPandas
Die Analyse räumlicher Daten wird branchenübergreifend immer wichtiger. Dennoch meiden viele Datenwissenschaftler dies aufgrund der Komplexität. GeoPandas Erweitert Pandas, um räumliche Operationen zu unterstützen und die Analyse geografischer Daten zugänglich zu machen.
Das bietet GeoPandas:
- Bietet räumliche Operationen wie Schnittpunkte, Vereinigungen und Puffer über eine vertraute Pandas-ähnliche Schnittstelle
- Verarbeitet verschiedene Geodatenformate, einschließlich Shapefiles, GeoJSON und PostGIS-Datenbanken
- Integriert sich in Matplotlib und andere Visualisierungsbibliotheken zum Erstellen von Karten und räumlichen Visualisierungen
Geodatenanalyse Der Mikrokurs von Kaggle behandelt die GeoPandas-Grundlagen.
# 9. tsfresh
Das manuelle Extrahieren aussagekräftiger Merkmale aus Zeitreihendaten ist zeitaufwändig und erfordert Fachkenntnisse. tsfresh extrahiert automatisch Hunderte von Zeitreihenmerkmalen und wählt die relevantesten für Ihre Vorhersageaufgabe aus.
Funktionen, die tsfresh nützlich machen:
- Berechnet automatisch Zeitreihenmerkmale, einschließlich statistischer Eigenschaften, Frequenzbereichsmerkmale und Entropiemaße
- Enthält Methoden zur Merkmalsauswahl, die ermitteln, welche Merkmale für Ihre spezifische Vorhersageaufgabe tatsächlich related sind
Einführung in tsfresh behandelt, was tsfresh ist und wie es in Zeitreihen-Characteristic-Engineering-Anwendungen nützlich ist.
# 10. ydata-profiling (pandas-profiling)
Die explorative Datenanalyse kann repetitiv und zeitaufwändig sein. ydata-profiling (ehemals pandas-profiling) generiert in Sekundenschnelle umfassende HTML-Berichte für Ihren DataFrame mit Statistiken, Korrelationen, fehlenden Werten und Verteilungen.
Was macht ydata-profiling nützlich:
- Erstellt automatisch umfangreiche EDA-Berichte, einschließlich univariater Analysen, Korrelationen, Interaktionen und fehlender Datenmuster
- Identifiziert potenzielle Datenqualitätsprobleme wie hohe Kardinalität, Schiefe und doppelte Zeilen
- Bietet einen interaktiven HTML-Bericht, den Sie mit wittsfresh-Stakeholdern teilen oder zur Dokumentation verwenden können
Pandas Profiling (ydata-profiling) in Python: Ein Leitfaden für Anfänger von DataCamp enthält ausführliche Beispiele.
# Zusammenfassung
Diese zehn Bibliotheken befassen sich mit echten Herausforderungen, denen Sie bei der datenwissenschaftlichen Arbeit gegenüberstehen. Zusammenfassend haben wir nützliche Bibliotheken behandelt, um mit Datensätzen zu arbeiten, die zu groß für den Speicher sind, neue Daten schnell profilieren müssen, die Datenqualität in Produktionspipelines sicherstellen möchten oder mit speziellen Formaten wie Geodaten oder Zeitreihendaten arbeiten möchten.
Sie müssen nicht alles auf einmal lernen. Ermitteln Sie zunächst, welche Kategorie Ihren aktuellen Engpass behebt.
- Wenn Sie zu viel Zeit mit manueller EDA verbringen, versuchen Sie es mit Sweetviz oder ydata-profiling.
- Wenn der Speicher Ihre Einschränkung darstellt, experimentieren Sie mit Vaex.
- Wenn Ihre Pipelines immer wieder durch Probleme mit der Datenqualität unterbrochen werden, schauen Sie sich Pandera an.
Viel Spaß beim Entdecken!
Bala Priya C ist ein Entwickler und technischer Redakteur aus Indien. Sie arbeitet gerne an der Schnittstelle von Mathematik, Programmierung, Datenwissenschaft und Inhaltserstellung. Zu ihren Interessen- und Fachgebieten gehören DevOps, Datenwissenschaft und Verarbeitung natürlicher Sprache. Sie liebt es zu lesen, zu schreiben, zu programmieren und Kaffee zu trinken! Derzeit arbeitet sie daran, zu lernen und ihr Wissen mit der Entwickler-Group zu teilen, indem sie Tutorials, Anleitungen, Meinungsbeiträge und mehr verfasst. Bala erstellt außerdem ansprechende Ressourcenübersichten und Programmier-Tutorials.