Mage AI mit Postgres einrichten

Einführung

Stellen Sie sich vor, Sie wären ein Datenprofi, der mit der Erstellung einer effizienten Datenpipeline beauftragt ist, um Prozesse zu optimieren und Echtzeitinformationen zu generieren. Klingt herausfordernd, oder? Hier kommt Mage AI ins Spiel, um sicherzustellen, dass die on-line tätigen Kreditgeber einen Wettbewerbsvorteil erlangen. Stellen Sie sich Folgendes vor: Im Gegensatz zu vielen anderen Erweiterungen, die eine gründliche Einrichtung und ständiges Codieren erfordern, verfügt Mage AI über eine klare und anspruchslose Schritt-für-Schritt-Einrichtung, und Sie können die übersichtliche Benutzeroberfläche gerne verwenden, ohne Elemente ziehen und ablegen zu müssen. Ich werde Ihnen auch zeigen, wie Sie Mage AI importieren mit PostgreSQL damit Sie Ihre erste Datenpipeline mit Mage AI erstellen können. Lassen Sie mich Ihnen die Schritte vorstellen, mit denen Sie Ihre Datenverarbeitung noch besser machen können!

Lernergebnisse

• Erfahren Sie, wie Sie Mage AI für eine nahtlose Integration mit PostgreSQL konfigurieren.
• Erfahren Sie, wie Sie Rohdaten in PostgreSQL hochladen und mit pgAdmin4 Schemata erstellen.
• Meistern Sie den Prozess des Erstellens und Verwaltens von Datenpipelines in Mage AI.
• Erfahren Sie, wie Sie automatisierte Set off und Zeitpläne für Datenpipelines einrichten.
• Erhalten Sie Einblicke in die erweiterten Funktionen von Mage AI wie Echtzeitverarbeitung und -überwachung.

Dieser Artikel erschien im Rahmen der Information Science-Blogathon.

Was ist Mage AI?

Mage AI vereinfacht als Open-Supply-Instrument die Integration wachsender Daten-Workflows. Mit seinem klaren Design und der app-ähnlichen Oberfläche können Dateningenieure und -analysten ganz einfach Datenpipelines mit Ein-Klick-Optionen erstellen, ohne dass Programmieren erforderlich ist. Das Importieren, Analysieren und Bearbeiten großer Datenmengen ist mit Mage AI, das unter anderem Funktionen wie Drag & Drop, Datentransformation und Datenquellenkompatibilität bietet, viel einfacher. Ersteres ermöglicht es Benutzern, ihre Zeit mit der Analyse zu verbringen, anstatt sich Gedanken über die einzurichtenden zugrunde liegenden Infrastrukturen machen zu müssen. Mage AI unterstützt auch Python-Skripting, mit dem man benutzerdefinierte Transformationen definieren kann, wodurch es sowohl für technische als auch für nicht-technische Benutzer geeignet ist.

Vorteile der Verwendung von Mage AI mit PostgreSQL

Sehen wir uns die Vorteile der Verwendung von Mage AI mit PostgreSQL an.

• Optimiertes Datenmanagement: Mage AI vereinfacht die Erstellung von Datenpipelines mit seiner Drag-and-Drop-Oberfläche und erleichtert das Laden, Transformieren und Exportieren von Daten aus PostgreSQL ohne manuelle Codierung.
• Verbesserte Automatisierung: Automatisieren Sie wiederkehrende Datenaufgaben, wie ETL-Prozesse, indem Sie Set off und geplante Pipelines einrichten und so den Bedarf an ständigen manuellen Eingriffen reduzieren.
• Nahtlose Integration: Mage AI lässt sich nahtlos in PostgreSQL integrieren und ermöglicht es Benutzern, große Datensätze effizient zu verwalten und komplexe Datenoperationen im selben Workflow durchzuführen.
• Anpassbare Transformationen: Nutzen Sie Python-Skripting in Mage AI, um benutzerdefinierte Datentransformationen an PostgreSQL-Daten durchzuführen und so Flexibilität für die erweiterte Datenverarbeitung zu erhalten.
• Skalierbar und zuverlässig: Mage AI verwaltet Pipelines effizient und gewährleistet eine reibungslose Handhabung sowohl kleiner als auch großer Datensätze, während die Skalierbarkeit von PostgreSQL das Unternehmenswachstum ohne Leistungsengpässe unterstützt.
• Benutzerfreundlich: Die intuitive Benutzeroberfläche macht es für Benutzer mit unterschiedlichem technischen Kenntnisstand zugänglich und ermöglicht ein schnelleres Lernen und eine schnellere Bereitstellung von Datenlösungen.

Richten Sie Mage AI mit Postgres ein, um Ihre Datenpipeline zu erstellen und zu verwalten

Durch das Einrichten von Mage AI mit Postgres können Sie leistungsstarke Datenpipelines nahtlos erstellen und verwalten, Arbeitsabläufe automatisieren und komplexe Datenaufgaben vereinfachen, um effiziente Erkenntnisse zu gewinnen. Sehen wir uns die Schritte an, die zum Einrichten von Mage AI mit Postgres erforderlich sind.

Schritt 1: Vorbereiten Ihrer Postgres-Datenbank

Bevor Sie sich in Mage AI vertiefen, laden Sie Ihre Rohdatendateien mit pgAdmin4 in Postgres hoch und erstellen Sie für jede Datei das richtige Schema. So können Sie beginnen:

Hochladen von Rohdateien zu Postgres über pgAdmin4

• Öffnen Sie pgAdmin4 und stellen Sie eine Verbindung zu Ihrem Postgres-Server her.
• Erstellen Sie eine neue Datenbank oder verwenden Sie eine vorhandene.
• Stellen Sie sicher, dass Sie für jede Rohdatendatei das richtige Schema hinzufügen.
• Laden Sie Ihre Datendateien in die entsprechenden Tabellen innerhalb dieses Schemas hoch/exportieren Sie sie.

import pandas as pd
import chardet

# Open the file in binary mode and skim a pattern
with open("expensemaster.csv", 'rb') as file:
    pattern = file.learn(10000)  # Learn first 10,000 bytes as a pattern

# Detect encoding
detected = chardet.detect(pattern)
print(detected('encoding'))

# Use the detected encoding to learn the CSV
strive:
    df = pd.read_csv("expensemaster.csv", encoding=detected('encoding'))
besides UnicodeDecodeError:
    # If studying fails, strive with a standard encoding like UTF-8
    df = pd.read_csv("expensemaster.csv", encoding="utf-8")

# Infer knowledge varieties
dtype_mapping = {
    'object': 'TEXT',
    'int64': 'BIGINT',
    'float64': 'DOUBLE PRECISION',
    'datetime64(ns)': 'TIMESTAMP',
    'bool': 'BOOLEAN'
}

column_definitions=", ".be part of((f'"{col}" {dtype_mapping(str(df(col).dtype))}' for col in df.columns))

# Generate the CREATE TABLE SQL
table_name="expensemaster"
create_table_sql = f'CREATE TABLE {table_name} ({column_definitions});'
print(create_table_sql)

Klicken Sie bei „Tabellen“ auf „Aktualisieren“, um die neu erstellte Tabelle zu erhalten.

Starten Sie den Postgres-Dienst

Stellen Sie sicher, dass der Postgres-Dienst ausgeführt wird. Sie können dies in pgAdmin4 oder mithilfe des psql-Terminals überprüfen.

Schritt 2: Erfassen der Postgres-Konfigurationsdetails

Sie benötigen bestimmte Particulars, um Mage AI mit Postgres zu konfigurieren. Hier erfahren Sie, was Sie brauchen und wie Sie es finden:

• POSTGRES_DBNAME: Der Identify Ihrer Postgres-Datenbank.
• POSTGRES_SCHEMA: Das Schema, in das Ihre Datendateien hochgeladen werden.
• POSTGRES_USER: Der Benutzername für Ihre Postgres-Datenbank.
• POSTGRES_PASSWORD: Das Passwort für Ihre Postgres-Datenbank.
• POSTGRES_HOST: Die Host-IP-Adresse Ihres Postgres-Servers.
• POSTGRES_PORT: Normalerweise 5432 für Postgres.

Schritt 3: Mage AI mit Docker in VS Code installieren

Um Mage AI zu installieren, verwenden wir die Docker-Erweiterung in Visible Studio Code (VS Code). Stellen Sie sicher, dass Sie Docker Desktop und die Docker-Erweiterung für VS Code installiert haben.

Installieren Sie Docker Desktop

Laden Sie Docker Desktop von hier herunter, installieren Sie es und initialisieren Sie es.

Installieren Sie die Docker-Erweiterung für VS Code:

• Öffnen Sie VS Code und wechseln Sie zur Erweiterungsansicht, indem Sie auf das Erweiterungssymbol in der Aktivitätsleiste an der Seite des Fensters klicken oder Strg+Umschalt+X drücken.
• Suchen Sie nach „Docker“ und installieren Sie die Docker-Erweiterung von Microsoft.

Ziehen Sie das Mage AI Docker Picture

• Öffnen Sie ein Terminal in VS Code und navigieren Sie zu Ihrem Projektordner.
• Führen Sie den folgenden Befehl aus, um das neueste Mage AI Docker-Picture abzurufen:

docker pull mageai/mageai:newest

Führen Sie das Mage AI Docker Picture aus

• Sobald das Mage AI-Picture heruntergeladen wurde, gehen Sie zur Registerkarte „Docker“ in VS Code.
• Suchen Sie das Mage AI-Picture und führen Sie es aus. Dadurch wird ein neuer Container erstellt.
• Klicken Sie mit der rechten Maustaste auf den neu erstellten Container und wählen Sie „Im Browser öffnen“.
• Die Mage AI-Schnittstelle sollte jetzt in Ihrem Standardwebbrowser geladen werden.

Schritt 4: Konfigurieren von Mage AI für die Verbindung mit Postgres

Konfigurieren Sie die Datenbankverbindung in io_config.yaml:

• Navigieren Sie zum Abschnitt „Alle Dateien“ Ihrer Pipeline.
• Suchen und öffnen Sie die Datei io_config.yaml.
• Fügen Sie Ihre Postgres-Verbindungsdetails wie folgt hinzu

Mage AI den Zugriff auf die Postgres-Datenbank gestatten

• Um Ihrer IP-Adresse Zugriff auf die Datenbank zu gewähren, müssen Sie die Datei pg_hba.conf ändern.
• Suchen Sie die Datei pg_hba.conf unter C:ProgrammePostgreSQL16data.
• Öffnen Sie die Datei und fügen Sie die Zeile unter dem Abschnitt #IPv4-lokale Verbindungen hinzu, wie in Abb. 4 gezeigt.

Schritt 5: Erstellen Sie Ihre erste Datenpipeline

Nachdem Mage AI nun für die Verbindung mit Postgres konfiguriert ist, können wir unsere erste Datenpipeline erstellen. Wir beginnen mit der Einrichtung von Datenladeblöcken für jeden Datensatz und verwenden die Drag-and-Drop-Funktion, um sie in einem Flussdiagramm zu verbinden.

Information Loader-Blöcke erstellen

• Erstellen Sie für jeden Datensatz einen separaten Datenladeblock.
• Ziehen Sie in der Mage AI-Schnittstelle für jeden Datensatz, den Sie aus Postgres laden müssen, einen Datenladeblock auf die Arbeitsfläche und legen Sie ihn dort ab.
• Konfigurieren Sie jeden Datenladeblock mit den entsprechenden Verbindungsdetails und Abfragen, um die Daten von Postgres abzurufen.

Verbinden Sie die Information Loader Blöcke mit dem Transformer Block

Verwenden Sie die Drag-and-Drop-Funktion, um die Datenladeblöcke im Flussdiagramm mit dem nächsten Transformator-Codeblock zu verbinden. Diese visuelle Darstellung hilft beim Verständnis des Datenflusses und stellt sicher, dass alle Schritte richtig verbunden sind.

Erstellen von Datenexportblöcken

• Nachdem Sie in der Mage AI-Schnittstelle Ihren Datenlader und Ihre Transformationsblöcke konfiguriert haben, fügen Sie der Zeichenfläche einen Datenexportblock hinzu.
• Wählen Sie unter Python „Postgres“ als Ziel für die Daten.
• Geben Sie die erforderlichen Verbindungsdetails zu Ihrer Postgres-Datenbank an. Schreiben Sie den Code, um die transformierten Daten zurück in die PostgreSQL-Datenbank zu exportieren.

Schritt 6: Set off erstellen und Pipelines planen

Mage AI bietet die Möglichkeit, Set off für die Ausführung Ihrer Pipeline zu erstellen und sie für die regelmäßige Ausführung einzuplanen. Dadurch wird sichergestellt, dass Ihre Daten ohne manuelles Eingreifen immer auf dem neuesten Stand sind.

Erstellen eines Triggers

• In Mage AI können Sie Set off einrichten, um Ihre Pipeline basierend auf bestimmten Ereignissen oder Bedingungen auszuführen. Sie können beispielsweise die Ausführung einer Pipeline auslösen, wenn Ihrer Postgres-Datenbank neue Daten hinzugefügt werden.
• Um einen Set off zu erstellen, navigieren Sie zu den Pipeline-Einstellungen und konfigurieren Sie die Set off-Bedingungen nach Bedarf.

Planen der Pipeline

• Mage AI unterstützt die Planung von Pipelines, die in regelmäßigen Abständen ausgeführt werden. Dies kann über die Planungseinstellungen im Mage AI-Dashboard erfolgen.
• Sie können die Häufigkeit (täglich, wöchentlich usw.) und die Ausführungszeit der Pipeline angeben.

Zusätzliche Funktionen von Mage AI

Mage AI bietet mehrere leistungsstarke Funktionen zur Automatisierung und Verbesserung Ihrer Datenpipelines:

• Integration mit mehreren Datenquellen: Mage AI akzeptiert außerdem zahlreiche Arten von Dateneingaben: Datenbanken, Cloud-Speicher und APIs, sodass Sie vielfältige und umfangreiche Datenflüsse erstellen können.
• Erweiterte Transformationsfunktionen: Basierend auf Python bietet Ihnen Mage AI die Möglichkeit, benutzerdefinierte Transformationen mit Hilfe von Dekoratoren zu implementieren, was den Realisierungsprozess verschiedener Datentransformationsalgorithmen erleichtert.
• Skalierbarkeit: Mage AI optimiert Ihren Durchsatz für Large Information und ermöglicht die Verarbeitung zunehmender Datenmengen, während diese wachsen.
• Überwachung und Warnungen: Mage AI bietet eine leistungsstarke Überwachungs- und Warnfunktion und ermöglicht es, den Arbeitsablauf der Pipeline zu überwachen sowie Benachrichtigungen bei Fehlern zu erhalten.
• Benutzerfreundliche Oberfläche: Dank des grafischen Layouts der Datenpipelines müssen sich Benutzer nicht mit komplizierter Codierung befassen, um ihre Daten zu bearbeiten und zu transformieren.

Sie machen Mage AI zu einem Instrument zur Automatisierung der Daten-Workflows sowie der Dateninfrastruktur, sodass Sie nicht viel Zeit darauf verwenden müssen.

Abschluss

Heutzutage sind Informationen ein wertvolles Intestine, weshalb Datenmanagement für Unternehmen unverzichtbar ist. Dieser Artikel bietet klare Anleitungen zur Konfiguration von Mage AI mit PostgreSQL und hilft Ihnen beim Aufbau einer robusten Datenpipeline, die nicht nur mehrere Prozesse rationalisiert, sondern auch die Produktivität deutlich steigert. Mit der Software program-Affiliate ermöglicht die Nutzung von Mage AI zusammen mit robusten Datenbanken wie PostgreSQL Benutzern, in kürzester Zeit die richtigen Entscheidungen zu treffen, zu analysieren und zu verarbeiten. Da Unternehmen ihre Bemühungen um datengesteuerte Methoden und Frameworks verstärkt haben, sind Technologien wie Mage AI im Begriff, die dominierenden Modelle für die Datenverwaltung zu werden.

Häufig gestellte Fragen

Die in diesem Artikel gezeigten Medien sind nicht Eigentum von Analytics Vidhya und werden nach Ermessen des Autors verwendet.