Bild vom Autor | Midjourney & Canva

Es dürfte niemanden überraschen, der dies liest, dass das Unix/Linux-Dateisystem hierarchisch aufgebaut ist. Das oberste Verzeichnis ist das Stammverzeichnis, gekennzeichnet durch /. Alle anderen Verzeichnisse und Dateien sind unter diesem Stammverzeichnis organisiert. Darüber hinaus hat jeder Benutzer ein Residence-Verzeichnis, das normalerweise durch ~wo persönliche Dateien und Verzeichnisse gespeichert werden.

Während unter Linux und anderen Unix-ähnlichen Systemen ein Großteil der Dateiverwaltung über GUI-Dateimanager abgewickelt werden kann, bietet die Verwendung der Befehlszeile der Bourne-Once more Shell (bash) eine Möglichkeit hierzu, die einfach, flexibel und schnell ist und die Interaktion mit einer Vielzahl von Befehlszeilen-Dienstprogrammen und Apps ermöglicht.

Sehen wir uns an, wie man mit Bash im Unix/Linux-Dateisystem navigiert.

Der pwd Befehl

Zweck: Zeigt das aktuelle Arbeitsverzeichnis an.

Verwendung: Der pwd Der Befehl ist unkompliziert zu verwenden. Er zeigt den absoluten Pfad Ihres aktuellen Standorts im Dateisystem an.

Beispiel:

Navigieren mit cd

Zweck: Verzeichnisse ändern.

Grundlegende Verwendung: Der cd Mit dem Befehl können Sie in ein anderes Verzeichnis wechseln.

Allgemeine Optionen:

• In das Residence-Verzeichnis verschieben: Sie können schnell zu Ihrem Residence-Verzeichnis navigieren mit cd ~ oder einfach cd.
• Ein Verzeichnis nach oben verschieben: Um zum übergeordneten Verzeichnis zu gelangen, verwenden Sie cd ...
• Zu einem Unterverzeichnis navigieren: Um ein Unterverzeichnis innerhalb des aktuellen Verzeichnisses zu öffnen, verwenden Sie einfach cd subdirectory_name.

Auflisten von Dateien mit ls

Zweck: Dateien und Verzeichnisse auflisten.

Grundlegende Verwendung: Der ls Der Befehl listet die Dateien und Verzeichnisse im aktuellen Verzeichnis auf.

Allgemeine Optionen:

• Detaillierte Auflistung: Für eine detaillierte Ansicht verwenden Sie ls -l. Dies bietet Informationen wie Dateiberechtigungen, Anzahl der Hyperlinks, Besitzer, Gruppe, Dateigröße und Zeitstempel.
• Einschließlich versteckter Dateien: Um versteckte Dateien einzuschließen (die mit einem .), verwenden ls -a.
• Kombinationsmöglichkeiten: Kombinieren Sie Optionen für eine umfassendere Auflistung mit ls -la.

Visualisieren der Verzeichnisstruktur mit tree

Zweck: Verzeichnisse in einem baumartigen Format anzeigen.

Grundlegende Verwendung: Der tree Der Befehl bietet eine visuelle Darstellung der Verzeichnisstruktur.

Allgemeine Optionen:

• Begrenzte Tiefe: Um die Tiefe des Verzeichnisbaums zu begrenzen, verwenden Sie tree -L gefolgt von der gewünschten Ebene.
• Anzeigen versteckter Dateien: Versteckte Dateien in den Baum einschließen mit tree -a.

Praktisches Beispiel

Sehen wir uns ein praktisches Beispiel für die Navigation zu einem Verzeichnis, das Auflisten seines Inhalts und die Anzeige seiner Struktur an.

cd ~/initiatives
pwd
ls -la
tree -L 1

Erläuterung:

• cd ~/initiatives: Navigieren Sie zum initiatives Verzeichnis in Ihrem Residence-Verzeichnis.
• pwd: Bestätigen Sie Ihr aktuelles Verzeichnis.
• ls -la: Listet alle Dateien, auch die versteckten, mit detaillierten Informationen auf.
• tree -L 1: Zeigt die Verzeichnisstruktur bis zu einer Ebene tief an.

Kombinieren von Befehlen für eine effiziente Navigation

Sie können Befehle verketten mit && um mehrere Befehle nacheinander auszuführen. Dies kann Ihren Arbeitsablauf optimieren.

cd ~/initiatives && ls -la && tree -L 2

Diese Befehlssequenz navigiert zum initiatives Verzeichnis, listet alle Dateien mit Particulars auf und zeigt dann die Verzeichnisstruktur bis zu zwei Ebenen tief an.

Abschließende Gedanken

Durch das Üben der in diesem Artikel vorgestellten Befehle werden Sie besser mit der Navigation im Unix/Linux-Dateisystem vertraut. Sobald Sie mit diesen Grundlagen vertraut sind, können Sie sich mit fortgeschritteneren Navigations- und Dateibearbeitungsbefehlen befassen.

Matthias Mayo (@mattmayo13) hat einen Grasp-Abschluss in Informatik und ein Diplom in Information Mining. Als leitender Redakteur von Abonnieren und Statologieund beitragender Redakteur bei Beherrschung des maschinellen LernensMatthew möchte komplexe Konzepte der Datenwissenschaft zugänglich machen. Seine beruflichen Interessen umfassen die Verarbeitung natürlicher Sprache, Sprachmodelle, Algorithmen für maschinelles Lernen und die Erforschung neuer KI. Sein Ziel ist es, das Wissen in der Datenwissenschaftsgemeinschaft zu demokratisieren. Matthew programmiert, seit er sechs Jahre alt ist.

Bild vom Autor | Midjourney & Canva

Grundlegendes zur Bash-Shell

Bash, die Bourne-Once more-Shell, ist ein Befehlszeileninterpreter, der es Benutzern ermöglicht, durch die Eingabe von Befehlen mit einem Betriebssystem zu interagieren. Es wird häufig in Unix-basierten Systemen wie Linux und macOS verwendet und bietet unzählige Instruments zur Verwaltung von Dateien und Verzeichnissen.

Um Bash zu verwenden, müssen Sie das Terminal öffnen:

• An Linuxsuchen Sie in Ihrem Anwendungsmenü nach der Terminalanwendung.
• An Mac OSverwenden Sie die Highlight-Suche (Cmd + Leertaste) und geben Sie „Terminal“ ein.
• An Home windowskönnen Sie Git Bash oder das Home windows-Subsystem für Linux (WSL) verwenden.

Sobald Sie das Terminal geöffnet und zur Verfügung haben, können wir lernen, wie Sie Dateien und Verzeichnisse mit Bash verwalten. Wir beginnen mit einigen grundlegenden Navigationsbefehlen und fahren dann mit der Verwaltung von Verzeichnissen und Dateien fort.

pwd – Arbeitsverzeichnis drucken

Der pwd Der Befehl zeigt das aktuelle Verzeichnis an, in dem Sie sich befinden. Dies ist nützlich, um Ihren Standort im Dateisystem zu bestätigen.

ls – Verzeichnisinhalte auflisten

Der ls Der Befehl listet die Dateien und Verzeichnisse im aktuellen Verzeichnis auf. Sie können Optionen hinzufügen wie -l für detaillierte Informationen oder -a um versteckte Dateien einzuschließen.

mkdir – Verzeichnisse erstellen

Syntax: mkdir <directory_name>

Beispiel: Erstellen Sie ein Verzeichnis mit dem Namen information

Sie können mehrere Verzeichnisse gleichzeitig erstellen:

Um verschachtelte Verzeichnisse zu erstellen, verwenden Sie die -p Möglichkeit:

mkdir -p father or mother/little one/grandchild

rmdir – Verzeichnisse entfernen

Syntax: rmdir <directory_name>

Beispiel: Entfernen Sie ein leeres Verzeichnis mit dem Namen information:

Beachten Sie, dass rmdir funktioniert nur für leere Verzeichnisse. Um nicht leere Verzeichnisse zu entfernen, verwenden Sie rm -r.

cp – Dateien und Verzeichnisse kopieren

Syntax: cp <supply> <vacation spot>

Beispiel: Kopieren Sie eine Datei mit dem Namen file.txt zum backup Verzeichnis:

So kopieren Sie mehrere Dateien:

cp file1.txt file2.txt backup/

Um Verzeichnisse zu kopieren, verwenden Sie die -r (rekursive) Choice:

mv – Dateien und Verzeichnisse verschieben/umbenennen

Syntax: mv <supply> <vacation spot>

Beispiel: Verschieben Sie eine Datei mit dem Namen file.txt zum backup Verzeichnis:

Umbenennen file.txt Zu file_backup.txt:

mv file.txt file_backup.txt

Der mv Der Befehl kann Dateien/Verzeichnisse verschieben und umbenennen.

rm – Dateien und Verzeichnisse entfernen

Syntax: rm <file_name>

Beispiel: Entfernen Sie eine Datei namens file.txt:

Um Verzeichnisse und deren Inhalt zu entfernen, verwenden Sie den -r (rekursive) Choice:

Für eine erzwungene Entfernung ohne Aufforderung fügen Sie den -f (Power)-Choice:

Praxisbeispiele für Knowledge Scientists

Erstellen einer Projektverzeichnisstruktur

Beispiel: Erstellen von Verzeichnissen für ein Knowledge Science-Projekt

mkdir -p mission/{information,scripts,outcomes}

Organisieren von Datendateien

Beispiel: Alles verschieben .csv Dateien in eine information Verzeichnis

Bereinigen unnötiger Dateien

Beispiel: Alle entfernen .tmp Dateien

Kombinieren von Befehlen

Verwenden von && zu Kettenbefehlen

Beispiel: Erstellen Sie ein Verzeichnis und verschieben Sie Dateien mit einem Befehl

mkdir backup && mv *.csv backup/

Verwenden von Semikolons zur sequenziellen Ausführung

Beispiel: Inhalte auflisten und dann eine Datei entfernen

Tipps und bewährte Vorgehensweisen

Sicherheit mit rm

Überprüfen Sie die Pfade immer doppelt, bevor Sie sie verwenden rm um ein versehentliches Löschen zu vermeiden.

Platzhalter verwenden

Platzhalter wie * kann mehrere Dateien abgleichen, wodurch Befehle effizienter werden. Zum Beispiel: *.csv stimmt mit allen CSV-Dateien überein.

Sichern Sie wichtige Dateien

Erstellen Sie vor der Durchführung von Massenvorgängen Backups, um Datenverlust zu vermeiden.

Kurzübersicht

Hier ist eine Kurzübersichtstabelle mit einer Zusammenfassung der Syntax und Verwendung von cp, mv, rmUnd mkdir.

Matthias Mayo (@mattmayo13) hat einen Grasp-Abschluss in Informatik und ein Diplom in Knowledge Mining. Als leitender Redakteur von Abonnieren und Statologieund beitragender Redakteur bei Beherrschung des maschinellen LernensMatthew möchte komplexe Konzepte der Datenwissenschaft zugänglich machen. Seine beruflichen Interessen umfassen die Verarbeitung natürlicher Sprache, Sprachmodelle, Algorithmen für maschinelles Lernen und die Erforschung neuer KI. Sein Ziel ist es, das Wissen in der Datenwissenschaftsgemeinschaft zu demokratisieren. Matthew programmiert, seit er sechs Jahre alt ist.

Bild vom Autor | Midjourney & Canva

Einführung

ETL (Extrahieren, Transformieren, Laden) ist ein notwendiger Datentechnikprozess, bei dem Daten aus verschiedenen Quellen extrahiert, in eine verarbeitbare Kind umgewandelt und an ein Ziel, beispielsweise eine Datenbank, verschoben werden. ETL-Pipelines automatisieren diesen Prozess und stellen sicher, dass die Daten konsistent und effizient verarbeitet werden. Dies bietet einen Rahmen für Aufgaben wie Datenanalyse, Berichterstellung und maschinelles Lernen und stellt sicher, dass die Daten sauber, zuverlässig und einsatzbereit sind.

Bash, die Abkürzung für Bourne-Once more Shell – auch bekannt als Unix-Shell – ist aufgrund seiner Einfachheit, Flexibilität und extrem breiten Anwendbarkeit ein leistungsstarkes Software zum Erstellen von ETL-Pipelines und damit eine hervorragende Possibility für Anfänger und erfahrene Profis gleichermaßen. Bash-Skripte können beispielsweise Aufgaben automatisieren, Dateien verschieben und über die Befehlszeile mit anderen Instruments kommunizieren, was bedeutet, dass es eine gute Wahl für ETL-Arbeiten ist. Darüber hinaus ist Bash auf Unix-ähnlichen Systemen (Linux, BSD, macOS usw.) allgegenwärtig und kann daher auf den meisten dieser Systeme ohne zusätzliche Arbeit Ihrerseits verwendet werden.

Dieser Artikel richtet sich an Datenwissenschaftler und Dateningenieure, die ihre erste ETL-Pipeline erstellen möchten. Er setzt grundlegende Kenntnisse der Befehlszeile voraus und soll eine praktische Anleitung zum Erstellen einer ETL-Pipeline mit Bash bieten. Ziel des Artikels ist es, die Leser durch den Prozess des Erstellens einer grundlegenden ETL-Pipeline mit Bash zu führen. Am Ende des Artikels verfügen die Leser über ein praktisches Verständnis für die Implementierung einer ETL-Pipeline, die Daten aus einer Quelle extrahiert, transformiert und in eine Zieldatenbank lädt.

Einrichten Ihrer Umgebung

Bevor wir beginnen, stellen Sie sicher, dass Sie über Folgendes verfügen:

• Ein Unix-basiertes System (Linux oder macOS)
• Bash-Shell (normalerweise auf Unix-Systemen vorinstalliert)
• Grundlegendes Verständnis von Befehlszeilenoperationen

Für unsere ETL-Pipeline benötigen wir diese speziellen Befehlszeilentools:

Sie können sie mit dem Paketmanager Ihres Programs installieren. Auf einem Debian-basierten System können Sie verwenden apt-get:

sudo apt-get set up curl jq awk sed sqlite3

Unter macOS können Sie brew:

brew set up curl jq awk sed sqlite3

Lassen Sie uns ein dediziertes Verzeichnis für unser ETL-Projekt einrichten. Öffnen Sie Ihr Terminal und führen Sie aus:

mkdir ~/etl_project
cd ~/etl_project

Dadurch wird ein neues Verzeichnis mit dem Namen erstellt etl_project und navigiert hinein.

Extrahieren von Daten

Daten können aus verschiedenen Quellen stammen, beispielsweise APIs, CSV-Dateien oder Datenbanken. In diesem Tutorial zeigen wir, wie Daten aus einer öffentlichen API und einer CSV-Datei extrahiert werden.

Verwenden wir curl um Daten von einer öffentlichen API abzurufen. Beispielsweise extrahieren wir Daten aus einer Mock-API, die Beispieldaten bereitstellt.

# Fetching information from a public API
curl -o information.json "https://api.instance.com/information"

Dieser Befehl lädt die Daten herunter und speichert sie als information.json.

Wir können auch verwenden curl um eine CSV-Datei von einem Distant-Server herunterzuladen.

# Downloading a CSV file
curl -o information.csv "https://instance.com/information.csv"

Dadurch wird die CSV-Datei gespeichert als information.csv in unserem Arbeitsverzeichnis.

Daten transformieren

Eine Datentransformation ist notwendig, um Rohdaten in ein für die Analyse oder Speicherung geeignetes Format zu konvertieren. Dies kann das Parsen von JSON, das Filtern von CSV-Dateien oder das Bereinigen von Textdaten beinhalten.

jq ist ein leistungsstarkes Software für die Arbeit mit JSON-Daten. Lassen Sie uns damit bestimmte Felder aus unserer JSON-Datei extrahieren.

# Parsing and extracting particular fields from JSON
jq '.information() | {id, title, worth}' information.json > transformed_data.json

Dieser Befehl extrahiert die id, titleUnd worth Felder aus jedem Eintrag in den JSON-Daten und speichert das Ergebnis in transformed_data.json.

awk ist ein vielseitiges Software zur Verarbeitung von CSV-Dateien. Wir werden es verwenden, um bestimmte Spalten aus unserer CSV-Datei zu extrahieren.

# Extracting particular columns from CSV
awk -F, '{print $1, $3}' information.csv > transformed_data.csv

Dieser Befehl extrahiert die erste und dritte Spalte aus information.csv und speichert sie in transformed_data.csv.

sed ist ein Stream-Editor zum Filtern und Transformieren von Textual content. Wir können ihn verwenden, um Textersetzungen durchzuführen und unsere Daten zu bereinigen.

# Changing textual content in a file
sed 's/old_text/new_text/g' transformed_data.csv

Dieser Befehl ersetzt Vorkommen von old_text mit new_text In transformed_data.csv.

Daten werden geladen

Zu den üblichen Zielen zum Laden von Daten gehören Datenbanken und Dateien. Für dieses Tutorial verwenden wir SQLite, eine häufig verwendete, leichte Datenbank.

Erstellen wir zunächst eine neue SQLite-Datenbank und eine Tabelle zur Speicherung unserer Daten.

# Creating a brand new SQLite database and desk
sqlite3 etl_database.db "CREATE TABLE information (id INTEGER PRIMARY KEY, title TEXT, worth REAL);"

Dieser Befehl erstellt eine Datenbankdatei mit dem Namen etl_database.db und eine Tabelle namens information mit drei Spalten.

Als Nächstes fügen wir unsere transformierten Daten in die SQLite-Datenbank ein.

# Inserting information into SQLite database
sqlite3 etl_database.db <<EOF
.mode csv
.import transformed_data.csv information
EOF

Dieser Befehlsblock setzt den Modus auf CSV und importiert transformed_data.csv in die information Tisch.

Ob die Daten richtig eingefügt wurden, können wir durch eine Datenbankabfrage prüfen.

# Querying the database
sqlite3 etl_database.db "SELECT * FROM information;"

Dieser Befehl ruft alle Zeilen aus dem information Tabelle und zeigt sie an.

Abschließende Gedanken

Beim Erstellen unserer ETL-Pipeline mit Bash haben wir die folgenden Schritte abgedeckt, darunter:

1. Einrichten der Umgebung und Installieren der Instruments
2. Datenextraktion aus einer öffentlichen API und CSV-Datei mit curl
3. Datentransformation mit jq, awkUnd sed
4. Datenladen in eine SQLite-Datenbank mit sqlite3

Bash ist aufgrund seiner Einfachheit, Flexibilität, Automatisierungsfunktionen und Interoperabilität mit anderen CLI-Instruments eine gute Wahl für ETL.

Für weitere Untersuchungen könnten Sie die Einbindung von Fehlerbehandlung, die Planung der Pipeline über Cron oder das Erlernen fortgeschrittener Bash-Konzepte in Betracht ziehen. Möglicherweise möchten Sie auch different Transformations-Apps und -Methoden untersuchen, um Ihre Pipeline-Kenntnisse zu erweitern.

Probieren Sie Ihre eigenen ETL-Projekte aus und stellen Sie das Gelernte in komplexeren Szenarien auf die Probe. Mit etwas Glück sind die hier beschriebenen Grundkonzepte ein guter Ausgangspunkt für komplexere Datentechnikaufgaben.

Matthias Mayo (@mattmayo13) hat einen Grasp-Abschluss in Informatik und ein Diplom in Information Mining. Als leitender Redakteur von Abonnieren und Statologieund beitragender Redakteur bei Beherrschung des maschinellen LernensMatthew möchte komplexe Konzepte der Datenwissenschaft zugänglich machen. Seine beruflichen Interessen umfassen die Verarbeitung natürlicher Sprache, Sprachmodelle, Algorithmen für maschinelles Lernen und die Erforschung neuer KI. Sein Ziel ist es, das Wissen in der Datenwissenschaftsgemeinschaft zu demokratisieren. Matthew programmiert, seit er sechs Jahre alt ist.