Bild vom Herausgeber

# Einführung

Pandas ist zweifellos eine beeindruckende und vielseitige Bibliothek Datenabläufe verwalten und analysierenetwas Grundlegendes im Gesamtbild der Datenwissenschaft. Wenn die Datensätze jedoch sehr groß werden, ist dies möglicherweise nicht die effizienteste Choice, da sie hauptsächlich in einem einzelnen Thread ausgeführt wird und stark auf den Python-Interpreter angewiesen ist, was zu einer erheblichen Verarbeitungszeit führen kann.

Dieser Artikel verlagert den Fokus auf eine neuere Bibliothek, die Pandas-ähnliche Vorgänge beschleunigt: Polaren. Insbesondere werde ich mit Ihnen teilen 10 aufschlussreiche Polars-Einzeiler täglich zu rationalisieren und zu beschleunigen Datenmanipulations- und -verarbeitungsaufgaben.

Vergessen Sie dies nicht, bevor Sie beginnen import polars as pl Erste!

# 1. CSV-Dateien laden

Die Methode von Polars zum Lesen eines Datensatzes aus einer CSV-Datei sieht dem Pandas-Pendant sehr ähnlich, mit der Ausnahme, dass sie multithreaded ist (und intern in Rust geschrieben ist), wodurch Daten viel effizienter geladen werden können. Dieses Beispiel zeigt, wie eine CSV-Datei in einen Polars DataFrame geladen wird.

df = pl.read_csv("dataset.csv")

Selbst bei einem mittelgroßen Datensatz (nicht nur extrem großen) könnte der Zeitunterschied zum Lesen der Datei mit Polars etwa fünfmal schneller sein als mit Pandas.

# 2. Lazy Loading für skalierbarere Arbeitsabläufe

Das Erstellen eines sogenannten „Lazy Dataframe“ anstelle des eifrigen Lesens in einem Rutsch ist ein Ansatz, der es ermöglicht, nachfolgende Vorgänge im gesamten Datenworkflow zu verketten und sie nur dann auszuführen, wenn der accumulate() -Methode wird schließlich aufgerufen – eine sehr praktische Strategie für große Datenpipelines! Hier erfahren Sie, wie Sie das verzögerte Laden von Datenrahmen mithilfe von anwenden scan_csv() Verfahren:

df_lazy = pl.scan_csv("dataset.csv")

# 3. Auswählen und Umbenennen relevanter Spalten

Um die spätere Verarbeitung einfacher und übersichtlicher zu gestalten, empfiehlt es sich, sicherzustellen, dass Sie nur mit Spalten des Datensatzes arbeiten, die für Ihr Datenwissenschafts- oder Analyseprojekt related sind. Hier erfahren Sie, wie Sie dies effizient mit Polars-Datenrahmen tun. Angenommen, Sie verwenden einen Kundendatensatz wie Dieses hier. Sie können dann den folgenden Einzeiler verwenden, um relevante Spalten Ihrer Wahl wie folgt auszuwählen:

df = df.choose((pl.col("Buyer Id"), pl.col("First Identify")))

# 4. Filtern nach einer Teilmenge von Zeilen

Natürlich können wir auch bestimmte Zeilen, z. B. Kunden, nach Polars-Artwork filtern. Dieser Einzeiler wird verwendet, um Kunden zu filtern, die in einer bestimmten Stadt leben.

df_filtered = df.filter(pl.col("Metropolis") == "Hatfieldshire")

Möglicherweise möchten Sie eine Methode wie verwenden show() oder head() um das Ergebnis dieser „Abfrage“ zu sehen, additionally die Zeilen, die die angegebenen Kriterien erfüllen.

# 5. Gruppierung nach Kategorie und Berechnung von Aggregationen

Bei Vorgängen wie Gruppierung und Aggregation zeigt sich der Wert der Effizienz von Polars erst in größeren Datensätzen. Nehmen Sie diesen Einzeiler als Beispiel: Der Schlüssel hier ist das Kombinieren group_by auf einer kategorialen Spalte, mit agg() um eine Aggregation für alle Zeilen in jeder Gruppe durchzuführen, z. B. einen Durchschnitt für eine numerische Spalte oder einfach eine Anzahl von Zeilen in jeder Gruppe, wie unten gezeigt:

df_city = df.group_by("Metropolis").agg((pl.len().alias("num_customers")))

Seien Sie vorsichtig! Bei Pandas ist das groupby() hat kein Unterstrich-Image, in Polars jedoch schon.

# 6. Abgeleitete Spalten erstellen (Easy Function Engineering)

Dank der vektorisierten Berechnungsfunktionen von Polars ist die Erstellung neuer Spalten aus arithmetischen Operationen auf bestehenden deutlich schneller. Dieser Einzeiler demonstriert dies (berücksichtigt man nun das beliebte Wohnen in Kalifornien Datensatz für die folgenden Beispiele!):

df = df.with_columns((pl.col("total_rooms") / pl.col("households")).alias("rooms_per_household"))

# 7. Anwenden bedingter Logik

Kontinuierliche Attribute wie Einkommensniveaus oder ähnliche Attribute können vektorisiert und ohne Overhead kategorisiert und in beschriftete Segmente umgewandelt werden. In diesem Beispiel wird eine erstellt income_category Spalte basierend auf dem Durchschnittseinkommen professional Bezirk in Kalifornien:

df = df.with_columns(pl.when(pl.col("median_income") > 5).then(pl.lit("Excessive")).in any other case(pl.lit("Low")).alias("income_category"))

# 8. Ausführen einer Lazy Pipeline

Dieser Einzeiler ist zwar etwas größer, fasst jedoch mehrere der in den vorherigen Beispielen gezeigten Ideen zusammen, um eine Lazy-Pipeline zu erstellen, die mit ausgeführt wird accumulate Verfahren. Denken Sie daran: Damit dieser Lazy-Ansatz funktioniert, müssen Sie den Einzeiler Nummer 2 verwenden, um Ihre Datensatzdatei „auf die Lazy-Artwork“ zu lesen.

consequence = (pl.scan_csv("https://uncooked.githubusercontent.com/ageron/handson-ml/grasp/datasets/housing/housing.csv")
        .filter(pl.col("median_house_value") > 200000)
        .with_columns((pl.col("total_rooms") / pl.col("households")).alias("rooms_per_household"))
        .group_by("ocean_proximity").agg(pl.imply("rooms_per_household").alias("avg_rooms_per_household"))
        .kind("avg_rooms_per_household", descending=True)
        .accumulate())

# 9. Zusammenfügen von Datensätzen

Nehmen wir an, wir hätten einen zusätzlichen Datensatz namens region_stats.csv mit statistischen Informationen, die für die kalifornischen Bezirke gesammelt wurden. Wir könnten dann einen Einzeiler wie diesen verwenden, um Verknüpfungsoperationen auf eine bestimmte kategoriale Spalte anzuwenden, wie folgt:

df_joined = df.be part of(pl.read_csv("region_stats.csv"), on="ocean_proximity", how="left")

Das Ergebnis wäre eine effiziente Kombination der Wohnungsdaten mit Metadaten auf Bezirksebene über die Multithread-Joins von Polars, die die Leistung auch über größere Datensätze hinweg bewahren.

# 10. Durchführen rollierender Berechnungen

Bei stark schwankenden Datenvariablen sind rollierende Combination nützlich, um beispielsweise durchschnittliche Hauswerte über Breiten- und Längengrade hinweg zu glätten. Dieser Einzeiler veranschaulicht, wie eine so schnelle, vektorisierte Operation angewendet wird: perfekt für zeitliche oder geografische Sequenzen.

df = df.kind("longitude").with_columns(pl.col("median_house_value").rolling_mean(window_size=7).alias("rolling_value_avg"))

# Zusammenfassung

In diesem Artikel haben wir 10 praktische Einzeiler für den effizienten Einsatz von Polars als schnelle Various zu Pandas für die Verarbeitung großer Datenmengen aufgelistet. Diese Einzeiler fassen schnelle, optimierte Strategien für die Verarbeitung großer Datenmengen in kürzerer Zeit zusammen. Nutzen Sie diese, wenn Sie das nächste Mal mit Polars in Ihren Projekten zusammenarbeiten, und Sie werden zweifellos eine Reihe von Verbesserungen feststellen.

Iván Palomares Carrascosa ist ein führender Autor, Redner und Berater in den Bereichen KI, maschinelles Lernen, Deep Studying und LLMs. Er schult und leitet andere darin, KI in der realen Welt zu nutzen.

Bild von Autor | Ideogramm

Sie architektieren eine neue Datenpipeline oder starten ein Analyseprojekt und überlegen wahrscheinlich, ob Sie Python verwenden oder gehen sollen. Vor fünf Jahren warfare dies nicht einmal eine Debatte. Sie werden Python, Ende der Geschichte, verwenden. GO hat jedoch Daten in der Dateninfrastruktur und in Echtzeitverarbeitung angenommen.

Die Wahrheit ist, dass beide Sprachen ihre Candy Spots in modernen Datenstapeln gefunden haben. Python arbeitet immer noch ein hervorragendes maschinelles Lernen und Analysen, während GO zur Auswahl der Hochleistungsdateninfrastruktur wird.

Aber wissen, wann man welche auswählt? Hier werden die Dinge interessant. Und ich hoffe, dieser Artikel hilft Ihnen, sich zu entscheiden.

Python: Das Schweizer Armeemesser der Daten

Python wurde aufgrund seines reifen Ökosystems und des Entwickler-freundlichen Ansatzes zur Standardauswahl für Datenarbeit.

Bereitschaftsbibliotheken für (quick) jede Datenaufgabe

Die Sprache bietet beliebte Bibliotheken für quick jede Datenaufgabe, an der Sie arbeiten – aus Datenreinigung, Manipulation, Visualisierung und Erstellung maschineller Lernmodelle.

Wir skizzieren Should-Kenn-Datenwissenschaftsbibliotheken in 10 Python -Bibliotheken, die jeder Datenwissenschaftler wissen sollte.

Bild von kdnuggets Submit zu Python Information Science -Bibliotheken (erstellt vom Autor)

Die interaktive Entwicklungsumgebung von Python macht einen signifikanten Unterschied in der Datenarbeit. Mit Jupyter -Notizbüchern (und Jupyter -Alternativen) können Sie Code, Visualisierungen und Dokumentation in einer einzigen Schnittstelle mischen.

Ein Workflow für Experimente

Sie können Daten laden, Transformationen ausführen, Ergebnisse visualisieren und Modelle erstellen, ohne Kontexte zu wechseln. Dieser integrierte Workflow reduziert die Reibung, wenn Sie Daten oder Prototyping -Lösungen untersuchen. Dieser explorative Ansatz ist bei der Arbeit mit neuen Datensätzen oder der Entwicklung maschineller Lernmodelle von wesentlicher Bedeutung, bei denen Sie mit unterschiedlichen Ansätzen experimentieren müssen.

Die lesbare Syntax der Sprache ist auch für die Datenarbeit mehr wichtig als erwartet. Insbesondere wenn Sie komplexe Geschäftslogik oder statistische Verfahren implementieren. Diese Lesbarkeit wird bei der Zusammenarbeit mit Area -Experten wertvoll, die Ihre Datenumwandlungen verstehen und validieren müssen.

Datenprojekte in realen Welt umfassen häufig die Integration mehrerer Datenquellen, die Bearbeitung verschiedener Formate und den Umgang mit inkonsistenter Datenqualität. Das versatile Schreibsystem von Python und das umfangreiche Bibliotheks -Ökosystem machen es unkompliziert, mit JSON -APIs, CSV -Dateien, Datenbanken und Internet -Scraping in derselben Codebasis zu arbeiten.

Python funktioniert am besten für:

• Explorationsdatenanalyse und Prototyping
• Modellentwicklung für maschinelles Lernen
• Komplexe ETL mit Geschäftslogik
• Statistische Analyse und Forschung
• Datenvisualisierung und Berichterstattung

GO: für Skalierung und Geschwindigkeit gebaut

Go verfolgt einen anderen Ansatz bei der Datenverarbeitung und konzentriert sich von Anfang an auf Leistung und Zuverlässigkeit. Die Sprache wurde für gleichzeitige, verteilte Systeme entwickelt, die intestine mit den Anforderungen der modernen Dateninfrastruktur übereinstimmen.

Leistung und Parallelität

Mit GOROUTINES können Sie mehrere Datenströme gleichzeitig verarbeiten, ohne dass die Komplexität typischerweise mit der Thread -Administration verbunden ist. Dieses Parallelitätsmodell wird besonders wertvoll beim Aufbau von Datenvergasungssystemen.

Leistungsunterschiede werden sich als Skala Ihrer Systeme bemerkbar. In Cloud-Umgebungen, in denen die Berechnungskosten direkt auf Ihr Funds auswirken, führt diese Effizienz zu sinnvollen Einsparungen, insbesondere für hochvolumige Datenverarbeitung Workloads.

Einsatz und Sicherheit

Das Bereitstellungsmodell von GO befasst sich mit vielen operativen Herausforderungen, denen Datenteams gegenüberstehen. Durch das Kompilieren eines GO -Programms erhalten Sie eine einzige Binärdatei ohne externe Abhängigkeiten. Dadurch werden häufig vorhandene Bereitstellungsfragen wie Versionskonflikte, fehlende Abhängigkeiten oder Umweltkonsistenzen beseitigt. Die operative Einfachheit wird besonders wertvoll, wenn Sie mehrere Datendienste in Produktionsumgebungen verwalten.

Das statische Schreibsystem der Sprache bietet eine Kompilierungszeitsicherheit, die Laufzeitfehler verhindern kann. Datenpipelines treffen häufig auf Randfälle und unerwartete Datenformate, die zu Produktionsfehlern führen können. Das Typ -System von Go und expliziten Fehler ermutigt Entwickler, diese Szenarien während der Entwicklung durchzudenken.

Gehen Sie hervor:

• Hochdurchsatzdatenaufnahme
• Echtzeit-Stream-Verarbeitung
• Microservices Architekturen
• Systemzuverlässigkeit und Betriebszeit
• Betriebseinfachheit

Go vs. Python: Was passt besser in den modernen Datenstapel?

Zu verstehen, wie diese Sprachen in moderne Datenarchitekturen passen, muss das größere Bild betrachten. Die heutigen Datenteams erstellen in der Regel verteilte Systeme mit mehreren speziellen Komponenten und nicht mit monolithischen Anwendungen.

Möglicherweise verfügen Sie über separate Dienste für Datenverschläge, Transformationspipelines, Trainingsjobs, Inferenz -APIs und Überwachungssysteme. Jede Komponente hat unterschiedliche Leistungsanforderungen und operative Einschränkungen.

Die Unterscheidung zwischen Datenentwicklungs- und Datenwissenschaftsrollen ist in den letzten Jahren stärker ausgeprägt geworden, und dies beeinflusst häufig die Auswahl von Sprachen und Instruments.

• Datenwissenschaftler arbeiten in der Regel in einer explorativen, experimentellen Umgebung, in der sie schnell die Ideen, die Visualisierung von Ergebnissen und Prototypmodellen wiederholen müssen. Sie profitieren von Pythons interaktiven Entwicklungstools und einem umfassenden Ökosystem für maschinelles Lernen.
• Dateningenieure hingegen konzentrieren sich darauf, zuverlässige, skalierbare Systeme zu erstellen, die Daten im Laufe der Zeit konsistent verarbeiten. Diese Systeme müssen Fehler anmutig bewältigen, horizontal skalieren, wenn das Datenvolumen wächst und sich in verschiedene Datenspeicher und externe Dienste integrieren. GO ist für Leistung und operative Einfachheit ausgelegt, was es für Aufgaben, die sich auf die Infrastruktur konzentrieren, hervorragend ermöglicht.

Cloud-native Architekturen haben auch die Sprachabnahmemuster beeinflusst. Moderne Datenplattformen werden häufig unter Verwendung von Microservices erstellt, die auf Kubernetes bereitgestellt werden, wobei die Größe der Container, die Startzeit und die Ressourcennutzung die Kosten und Skalierbarkeit direkt beeinflussen. Das leichte Bereitstellungsmodell von Go und effiziente Ressourcenverbrauch entspricht intestine zu diesen architektonischen Mustern.

Gehen oder Python? Die richtige Entscheidung treffen

Die Wahl zwischen Go und Python sollte eher auf Ihren spezifischen Anforderungen und Ihrem Teamkontext als auf allgemeinen Vorlieben beruhen. Berücksichtigen Sie Ihre primären Anwendungsfälle, Teamkenntnisse und Systemanforderungen, wenn Sie diese Entscheidung treffen.

Wann ist Python eine bessere Wahl?

Python ist best für Groups mit einem Datenwissenschaftshintergrund, insbesondere bei der Nutzung seiner reichhaltigen Statistiken, Datenanalysen und des Ökosystems für maschinelles Lernen.

Python eignet sich auch intestine für komplexe ETL -Aufgaben mit komplizierter Geschäftslogik, da die lesbare Syntax -AIDS -Implementierung und -wartung. Wenn die Entwicklungsgeschwindigkeit die Laufzeitleistung überwiegt, kann sein riesiges Ökosystem die Lieferung erheblich beschleunigen.

Wann ist eine bessere Wahl?

Go ist die bessere Wahl, wenn Leistung und Skalierbarkeit der Schlüssel sind. Sein effizientes Parallelitätsmodell und die Nutzung mit geringer Ressourcennutzung profitieren hochdurchsatzverarbeitung. Für Echtzeitsysteme, in denen Latenz wichtig sind, bietet Go vorhersehbare Leistung und Müllsammlung.

Groups, die eine operative Einfachheit suchen, werden den einfachen Einsatz und die Komplexität der Produktion von geringer Produktion bewerten. GO eignet sich besonders für Microservices, die schnelles Begin und effiziente Ressourcenverbrauch benötigen.

Hybrid -Ansätze, die Go & Python kombinieren, die funktionieren

Viele erfolgreiche Datenteams verwenden beide Sprachen strategisch, anstatt sich für eine einzige Wahl zu verpflichten. Mit diesem Ansatz können Sie die Stärken jeder Sprache für bestimmte Komponenten verwenden und gleichzeitig klare Schnittstellen zwischen verschiedenen Teilen Ihres Techniques beibehalten.

• Ein gemeinsames Muster besteht darin, Python für die Modellentwicklung und -versuche zu verwenden.
• Sobald Modelle für die Produktion bereit sind, implementieren Groups häufig Hochleistungs-Inferenz-APIs mit GO, um die Servierlast effizient zu bewältigen.

Diese Trennung ermöglicht es Datenwissenschaftlern, in ihrer bevorzugten Umgebung zu arbeiten und gleichzeitig sicherzustellen, dass Produktionssysteme den erforderlichen Durchsatz bewältigen können.

In ähnlicher Weise können Sie Python für komplexe ETL -Jobs verwenden, die eine komplizierte Geschäftslogik beinhalten. Gleichzeitig kann GO mit hoher Volumendatenaufnahme und Echtzeit-Stream-Verarbeitung umgehen, bei denen Leistung und Parallelität unerlässlich sind.

Der Schlüssel zu erfolgreichen hybriden Ansätzen ist die Aufrechterhaltung sauberer API -Grenzen zwischen den Komponenten. Jeder Dienst sollte intestine definierte Schnittstellen haben, die die Implementierungsdetails ausblenden, sodass Groups die am besten geeignete Sprache für jede Komponente auswählen können, ohne die Komplexität der Integration zu erstellen. Dieser architektonische Ansatz erfordert eine sorgfältige Planung, ermöglicht es den Groups jedoch, jeden Teil ihres Techniques angemessen zu optimieren.

Einpacken

Python und lösen Sie unterschiedliche Probleme in der Datenwelt. Python eignet sich hervorragend für Erkundungen, Experimente und komplexe Transformationen, die lesbar und wartbar sein müssen. Go ist auf der Seite der Systeme großartig-Hochleistungsverarbeitung, zuverlässige Infrastruktur und operative Einfachheit.

Die meisten Groups beginnen mit Python, weil es vertraut und produktiv ist. Wenn Sie skalieren und Ihre Anforderungen komplexer werden, werden Sie möglicherweise bessere Probleme besser lösen. Das ist regular und erwartet.

Die falsche Wahl ist die Auswahl einer Sprache, weil sie stylish ist oder weil jemand auf Twitter (ich würde sie wahrscheinlich nie x nennen) gesagt, es ist besser. Wählen Sie basierend auf Ihren tatsächlichen Anforderungen, den Fähigkeiten Ihres Groups und dem, was Sie aufbauen möchten. Beide Sprachen haben sich aus guten Gründen ihren Platz in modernen Datenstapeln verdient.

Bala Priya c ist ein Entwickler und technischer Schriftsteller aus Indien. Sie arbeitet gern an der Schnittstelle zwischen Mathematik, Programmierung, Datenwissenschaft und Inhaltserstellung. Ihre Interessensgebiete und Fachgebiete umfassen DevOps, Information Science und natürliche Sprachverarbeitung. Sie liest gerne, schreibt, codieren und Kaffee! Derzeit arbeitet sie daran, ihr Wissen mit der Entwicklergemeinschaft zu lernen und zu teilen, indem sie Tutorials, Anleitungen, Meinungsstücke und vieles mehr autorisiert. Bala erstellt auch ansprechende Ressourcenübersichten und Codierungs -Tutorials.