: Grenz-KI-Modelle laufen zunehmend Gefahr, strengen Exportkontrollen oder steigenden API-Kosten ausgesetzt zu sein.

Während diese Technologie in unser tägliches Leben Einzug hält, ist die Open-Supply-Bewegung nicht nur eine philosophische Präferenz, sondern ein notwendiger Mechanismus, um die KI in den Händen alltäglicher Benutzer zu halten. Wir sind noch nicht gleichberechtigt; Die proprietären Modelle aus den riesigen Technologielabors haben immer noch einen souveränen Vorsprung in Sachen reiner Leistung. Aber wir können hoffen, dass sich die Lücke schnell schließt. Eine unabhängige Gemeinschaft von Forschern und Entwicklern arbeitet rund um die Uhr daran, sicherzustellen, dass diese Technologie für jeden mit einem Pc zugänglich ist.

Heute ist die Grundlage für eine echte Demokratisierung bereits gelegt: Sie können ein leistungsstarkes Modell vollständig auf Ihrem eigenen Laptop computer ausführen. Für das heutige Experiment habe ich mir vorgenommen, ein großes Sprachmodell zu finden, das vollständig auf meinem Laptop computer ausgeführt werden kann – und es für die einfachen Aufgaben zu verwenden, die ich normalerweise einem großen Labormodell überlassen würde.

Wir installieren Qwen 3 8B auf meinem MacBook Air, führe es vollständig offline aus und habe endlich ein Sprachmodell, das auf meinem eigenen Pc statt in einem entfernten Rechenzentrum läuft. Der Qwen Die Modellfamilie wurde von Alibaba (dem chinesischen Unternehmen) geschult und ist vollständig Open Supply und im Web für jedermann zum Herunterladen verfügbar. Das Modell verfügt über 9 Milliarden Gewichte und belegt im geladenen Zustand etwa 6 GB Ihres RAM.
Was nun folgt, ist eine praktische, umfassende Anleitung zum Ausführen eines ordnungsgemäßen lokalen LLM auf einem Apple Silicon Mac und enthält die Terminalbefehle, die Sie benötigen. Doch bevor wir das Terminal öffnen, müssen wir darüber sprechen, warum sich das überhaupt lohnt.

Warum das tun?

Meistens sind Cloud-Modelle besser und einfacher. Ich behaupte nicht, dass ein 8-Milliarden-Parameter-Modell auf einem Laptop computer die Spitzen-KI übertrifft. Das ist nicht der Fall und ich werde weiterhin die Large-Cloud-Modelle für schwere Lasten verwenden.

Aber die ständigen Preis- und Souveränitätskriege rund um KI könnten Open-Supply- und lokale Modelle für eine Zukunft, in der der Zugang zu der Technologie einen großen Unterschied machen wird, sehr related machen. Jedes Mal, wenn Sie Claude oder ChatGPT verwenden, senden Sie Ihre Daten an einige Distant-Server, wo der Zugriff jederzeit blockiert werden kann.

„Digitale Souveränität„ist ein großartiger Ausdruck für einen ganz gewöhnlichen Wunsch: Vielleicht möchten wir das Ding besitzen, das unsere empfindlichsten Gedanken liest, genauso wie Sie ein physisches Notizbuch besitzen oder etwas Bargeld zu Hause aufbewahren.

Ein lokales Modell beantwortet dies in der KI-Welt sauber. Sobald es heruntergeladen ist, verlässt nichts die Maschine. Keine API-Schlüssel, keine wechselnden Nutzungsbedingungen, keine stillschweigenden Richtlinien zur Datenaufbewahrung. Sie können die WLAN-Karte herausziehen und sie funktioniert weiter. Für den hochsensiblen Teil Ihrer Arbeit kann allein das den Eintrittspreis wert sein.

Die Leute sagen gerne, dass lokale Fashions „demokratisierend„KI. Ich möchte, dass das wahr ist, aber wir sind noch nicht am Ziel. Das Ausführen dieses Stacks setzt immer noch voraus, dass Sie einen 1.500-Euro-Laptop computer mit riesigem einheitlichem Speicher besitzen und sich mit einer Befehlszeile auskennen. Das ist ein schmaler, glücklicher Ausschnitt der Welt.“

Aber die Flugbahn ist demokratisierend. Vor zwei Jahren erforderte der Betrieb eines anständigen Offline-Modells eine dedizierte Workstation und erhebliche technische Probleme. Dieses Wochenende habe ich ein paar Stunden und 5 Gigabyte Festplattenspeicher gebraucht.

Additionally lasst uns das Ding installieren.

Die Maschine und die Spezifikationen

Ich habe das auf einem gebaut MacBook Air M4 mit 24 GB einheitlicher Speicher und etwa 235 GB freier Speicherplatz. Das battle ein Neuanfang: kein Homebrew, keine Albträume in der Python-Umgebung.

Die Zahl, die hier wirklich zählt, ist die 24 GB. Der „Unified Reminiscence“ von Apple Silicon ist der Zaubertrick, der Macs dabei so außergewöhnlich intestine macht. Da sich CPU und GPU genau den gleichen Speicherpool teilen, müssen große neuronale Netzwerkgewichte nicht mühsam hin- und hergeschoben werden.

Ein 8B-Modell belegt etwa 5 GB auf der Festplatte und verfügt im geladenen Zustand über etwa 6 GB Speicher. Auf einer 24-GB-Maschine ist das äußerst komfortabel. Sie könnten ein 14B-Modell verwenden und trotzdem Dutzende Browser-Registerkarten geöffnet lassen. (Wenn Sie einen 8-GB-Mac verwenden, bleiben Sie bei den 1,5B- oder 3B-Modellen und schließen Sie Ihre anderen Apps.)

Warum Ollama?

Es gibt ein Dutzend Möglichkeiten, lokale KI auszuführen, und die meisten erfordern, dass Sie sich um Compiler-Flags und Abhängigkeitsbäume kümmern. Das solltest du nicht müssen.

Ollama ist ein Open-Supply-Framework und -Device, das einfach funktioniert. Es handelt sich um eine einzelne Binärdatei, die einen hochoptimierten Modellläufer bündelt (llama.cpp unter Verwendung von Apples Steel zur GPU-Beschleunigung), einer Modellregistrierung im Docker-Stil und einer lokalen HTTP-API. Sie installieren es, ziehen ein Modell und sprechen mit ihm. Das ist es!

Schritt 1: Ollama installieren (kein Homebrew erforderlich)

Ollama wird als Customary-MacOS-App in einer ZIP-Datei geliefert. Die Befehlszeilenschnittstelle (CLI) befindet sich verborgen im App-Bundle, sodass wir sie vollständig von Hand einrichten können.

# Obtain the Apple Silicon construct
cd ~/Downloads
curl -L -o Ollama-darwin.zip https://ollama.com/obtain/Ollama-darwin.zip
# Unzip and transfer the app into your Functions folder
unzip -o -q Ollama-darwin.zip
mv Ollama.app /Functions/

Wenn Sie nicht wissen, wie Sie das Terminal öffnen, gehen Sie einfach zu Ihren Mac-Anwendungen und suchen Sie nach „Terminal“:

Schritt 2: Setzen Sie Ollama auf Ihren WEG

Ich wollte nicht mit ihm kämpfen sudo Berechtigungen in /usr/native/binadditionally habe ich die gebündelte CLI mit einem lokalen Verzeichnis, das ich besitze, symbolisch verknüpft – dies ist nur eine praktische Verknüpfung, um die Set up zu beschleunigen und das LLM hochzufahren.

# Create a neighborhood bin listing and symlink the CLI
mkdir -p ~/.native/bin
ln -sf /Functions/Ollama.app/Contents/Assets/ollama ~/.native/bin/ollama

# Make it everlasting in your zsh profile
echo 'export PATH="$HOME/.native/bin:$PATH"' >> ~/.zshrc
# Apply it to your present shell
export PATH="$HOME/.native/bin:$PATH"
ollama --version

Schritt 3: Starten Sie den Server

Ollama führt einen schlanken Hintergrundserver aus, um die API verfügbar zu machen und den Speicher Ihres Computer systems zu verwalten.

# Begin the server and log output
mkdir -p ~/.ollama/logs
nohup ollama serve > ~/.ollama/logs/serve.log 2>&1 &

# Ping it to verify if it is alive
curl -s http://127.0.0.1:11434/api/model

Wenn der obige Befehl eine „Model“ zurückgibt, ist Ollama eingerichtet!

Hinweis: Sie können auch einfach auf die Ollama-App in Ihrem Anwendungsordner doppelklicken, um diesen Server über Ihre Menüleiste auszuführen. Ich habe es über das Terminal gemacht, um genau zu sehen, was unter der Haube passiert.

Schritt 4: Ziehen Sie das Modell

Nun, das hier ist so einfach wie es nur geht:

ollama pull qwen3:8b     
ollama record

Geh und mach einen Kaffee. Der Obtain ist ca. 5,2 GB groß.

Nachdem Sie ollama record ausgeführt haben, sehen Sie das für Sie verfügbare Modell:

Schritt 5: Sprechen Sie mit dem neuen digitalen Gehirn in Ihrem Pc

Sie haben drei verschiedene Möglichkeiten, mit Ihrem neuen lokalen Modell zu interagieren.

1. Interaktiver Chat (am einfachsten)

ollama run qwen3:8b

Durch Ausführen des folgenden Befehls wird der interaktive Chat gestartet:

Im Standardmodus gibt das Modell die „Denk-Tokens“ aus, etwas, das in den meisten kommerziellen Instruments normalerweise abstrahiert und verborgen ist.

Ich werde damit beginnen, mein lokales Modell zu fragen, was es über Open-Supply-Modelle denkt:

Der hellgraue Textual content stellt den internen Argumentationsprozess des Modells dar. Diese Modelle führen umfangreiche Berechnungen durch, bevor sie eine Antwort generieren, und bei lokalen Modellen macht diese Denkphase einen erheblichen Teil der Gesamtzeit aus, bis das Modell eine Antwort ausgibt.

Nach dem Denkprozess ist hier die Antwort des Modells:

Bei den meisten Instruments behalten diese Modelle auch einen gewissen Kontext aus früheren Interaktionen bei:

Da ich mich im Batteriesparmodus befinde, gibt das Modell 5,7 Token professional Sekunde aus. Wenn ich es ablehne, werden wir wahrscheinlich einen Wert von 15–20 Token professional Sekunde sehen.

2. One-Shot-Terminalbefehle
Um mit Ihrem lokalen Modell zu interagieren, können Sie die Frage auch außerhalb des interaktiven Modus stellen:

ollama run qwen3:8b "write a python script that tells me what number of vowels a phrase has"

Hier ist das Skript, das unser lokales großes Sprachmodell erstellt hat:

```python
# Immediate the person for a phrase
phrase = enter("Enter a phrase: ")

# Outline the set of vowels
vowels = {'a', 'e', 'i', 'o', 'u'}

# Initialize a counter
rely = 0

# Convert the phrase to lowercase and verify every character
for char in phrase.decrease():
    if char in vowels:
        rely += 1

# Output the end result
print(f"Variety of vowels: {rely}")

3. Die HTTP-API (für Skripte und Apps)

Können Sie dies nur innerhalb der Terminalbefehle verwenden?

Natürlich nicht! Wenn Sie mit Python vertraut sind, können Sie jedes lokale Skript mit Ihrem lokalen Modell erstellen:

import json, urllib.request

req = urllib.request.Request(
    "http://127.0.0.1:11434/api/generate",
    knowledge=json.dumps({
        "mannequin": "qwen3:8b",
        "immediate": "Give me three makes use of for a neighborhood LLM.",
        "stream": False,
        "assume": False,
    }).encode(),
    headers={"Content material-Kind": "software/json"},
)
print(json.hundreds(urllib.request.urlopen(req).learn())("response"))

Hier ist die Antwort des Modells nach der Ausführung dieses Python-Skripts:

Positive! Listed below are three widespread and sensible makes use of for a **native LLM (Massive Language Mannequin)**:

1. **Personalised Help and Productiveness**
An area LLM can act as a personal AI assistant, serving to with duties like e-mail drafting, scheduling, note-taking, and even coding. Because it runs regionally, it maintains person privateness and does not depend on web connectivity.

2. **Content material Creation and Language Processing**
You should utilize a neighborhood LLM to generate artistic content material resembling weblog posts, tales, scripts, or advertising copy. It could possibly additionally help with language translation, grammar checking, and summarizing textual content.

3. **Customized Functions and Integration**
An area LLM could be built-in into customized functions or workflows, resembling chatbots, buyer assist techniques, or knowledge evaluation instruments. This enables for tailor-made options with out exposing delicate knowledge to exterior servers.

Let me know if you would like examples of the right way to implement these makes use of!

Cool! Sie können jetzt ganz einfach Ihre eigenen Anwendungen mit Ihrem eigenen lokalen Modell erstellen.

Feinabstimmung der Erfahrung – Zähmung der „Denk“-Token

Qwen 3 ist ein hybrides Argumentationsmodell. Standardmäßig wird eine ausführliche Meldung generiert <assume>...</assume> Block skizziert seinen Gedankengang, bevor er die eigentliche Antwort gibt. Manchmal möchten Sie die Mathematik sehen, aber meistens möchten Sie einfach nur schnell eine Antwort erhalten (und etwas Zeit sparen, indem Sie auf die Ausgabe-Tokens des Denkprozesses warten).

So umgehen Sie den Argumentationsdurchgang:

• Deaktivieren Sie es vollständig: ollama run qwen3:8b --think=false
• Führen Sie es aus, aber verstecken Sie es auf der Benutzeroberfläche: ollama run qwen3:8b --hidethinking
• In Skripten: Passieren "assume": false in Ihrer JSON-Nutzlast.

Eine Warnung zur Websuche

Modelle sind bis zu ihren Trainingsdaten statisch. Das bedeutet, dass sie nach der Schulung nicht mehr auf Daten zugreifen können und Unternehmen sich auf Websuchtools verlassen, um die Leistungsfähigkeit der Modelle zu erweitern. Zum Beispiel für unser lokales Modell:

Mit Ollama können Sie dem Modell jedoch ein Websuchtool zur Verfügung stellen. Das klingt unglaublich, aber es gibt einen Haken.

Die Suche selbst wird auf dem gehosteten Cloud-Dienst von Ollama ausgeführt. Sobald Sie es aktivieren, werden Ihre Eingabeaufforderungen über das Web gesendet, um Suchergebnisse abzurufen. Das Modell bleibt lokal, Ihre Abfragen jedoch nicht. Dies verstößt möglicherweise gegen den Grundsatz der Privatsphäre, den Sie mit der Einrichtung gewährleisten möchten.

Bonus: VS-Code-Integration

Das ultimative Endspiel für mich battle die Anschaffung eines Offline-Codierungsassistenten. Der sauberste und völlig freie Weg hierfür ist der Proceed.dev Verlängerung.

• Installieren Sie VS Code und die Proceed-Erweiterung.
• Öffnen Sie die Konfigurationsdatei von Proceed unter ~/.proceed/config.yaml.
• Richten Sie es auf Ihren lokalen Ollama-Server:

identify: Native Assistant
model: 1.0.0
fashions:
  - identify: Qwen3 8B (native)
    supplier: ollama
    mannequin: qwen3:8b
    roles:
      - chat
      - edit
      - apply
  - identify: Qwen3 8B Autocomplete
    supplier: ollama
    mannequin: qwen3:8b
    roles:
      - autocomplete

Profi-Tipp: Ein 8B-Modell ist etwas zu schwer für die Latenz von Sekundenbruchteilen, die Sie für die automatische Vervollständigung von Inline-Code wünschen. Ich empfehle dringend, speziell für diese Aufgabe ein kleineres Modell zu verwenden (ollama pull qwen2.5-coder:1.5b-base), ordnet es dem zu autocomplete Rolle und überlassen Qwen3 8B die schwerere Rolle chat Aufgaben.

Was ist, wenn ich einen Home windows-Pc habe?

Da ich für dieses Tutorial kein Home windows verwende, habe ich es nicht ausführlich ausprobiert. Die gute Nachricht ist jedoch, dass das Ollama-Paket für Home windows-Pc verfügbar ist Hier.

Der Installationsprozess unterscheidet sich möglicherweise etwas, aber die Logik hinter der Verwendung von Ollama und dem Ziehen der Modelle ist genau dieselbe.

Wohin mich das führt

Mein Gesamtspeicherplatz für dieses Projekt betrug 156 MB für die Software program und 5,2 GB für das Modell selbst.

Ich habe jetzt ein hochleistungsfähiges Sprachmodell, das dauerhaft auf meiner Festplatte gespeichert ist. Für öffentliche, komplexe Arbeiten werde ich weiterhin zur Cloud greifen. Aber für die Entwürfe, die ich nicht in die Trainingsdaten, die Offline-Flüge und die rechtlich gebundenen Kundendokumente einfließen lassen möchte? Diese Informationen befinden sich jetzt auf meinem Pc.

Für die meisten Menschen magazine das immer noch etwas zu technisch sein, aber die Dinge werden immer demokratisierter. Dabei kommt es nicht nur auf die Verfügbarkeit an. Was die Leistung betrifft, verbessern sich Open-Supply-Modelle rasant und liefern Ergebnisse, die die Zukunft der lokalen KI unglaublich vielversprechend erscheinen lassen. Zum Beispiel, GLM 5.2 Und Qwen 3,7 Max holen mit der Leistung der großen Labormodelle auf:

Da die technischen Anforderungen immer weiter sinken, wird „der Besitz einer eigenen KI“ kein Luxus mehr sein, der Entwicklern mit teuren Laptops vorbehalten ist. Das ist die Model der KI-Demokratisierung, an die ich tatsächlich glaube.

Geben Sie Ihrem Laptop computer dieses Wochenende ein neues Gehirn und es lebe Open Supply!

Aktie

Publish


Aktie

In diesem Artikel erfahren Sie, wie Sie die KI-gestützten Codierungsfunktionen von Google Colab – insbesondere KI-Eingabeaufforderungszellen – verwenden, um Python-Code direkt in der Pocket book-Umgebung zu generieren, zu erklären und zu verfeinern.

Zu den Themen, die wir behandeln werden, gehören:

• Wie KI-Eingabezellen in Colab funktionieren und wo man sie findet
• Ein praktischer Workflow zum Generieren von Code und dessen sicherer Ausführung in ausführbaren Codezellen
• Wichtige Einschränkungen, die Sie beachten sollten und wann Sie stattdessen das „Zauberstab“-Gemini-Panel verwenden sollten

Lasst uns weitermachen.

Einrichten einer KI-gestützten Codierungsumgebung von Google Colab, die tatsächlich funktioniert
Bild vom Herausgeber

Einführung

Dieser Artikel konzentriert sich auf Google Colabeine zunehmend beliebte, kostenlose und zugängliche, cloudbasierte Python-Umgebung, die sich intestine für die Prototypenerstellung von Datenanalyse-Workflows und experimentellem Code vor der Umstellung auf Produktionssysteme eignet.

Basierend auf der zum Zeitpunkt des Verfassens dieses Artikels neuesten frei verfügbaren Model von Google Colab verwenden wir einen Schritt-für-Schritt-Anleitungsstil, um zu untersuchen, wie die kürzlich eingeführten KI-gestützten Codierungsfunktionen effektiv genutzt werden können. Ja: Colab enthält jetzt Instruments für KI-gestütztes Codieren, wie z. B. Codegenerierung aus natürlicher Sprache, Erklärungen zu geschriebenem Code, automatische Vervollständigung und intelligente Fehlerbehebung.

Ein Blick auf die KI-gestützten Fähigkeiten von Colab

Zuerst melden wir uns an Google Colab mit einem Google-Konto unserer Wahl und klicken Sie auf „Neues Notizbuch“, um einen neuen Codierungsarbeitsbereich zu starten. Die gute Nachricht: All dies geschieht in der Cloud und Sie benötigen lediglich einen Webbrowser (idealerweise Chrome); Es muss nichts lokal installiert werden.

Hier ist die große Neuheit: Wenn Sie mit Colab vertraut sind, kennen Sie die beiden grundlegenden Zelltypen: Codezellen zum Schreiben und Ausführen von Code; und Textzellen, um Ihren Code mit Beschreibungen, Erklärungen und sogar eingebetteten Bildern zu ergänzen, um zu erklären, was in Ihrem Code vor sich geht. Nun gibt es noch einen dritten Zelltyp, der auf den ersten Blick nicht eindeutig zu erkennen ist: Sein Title ist KI-Eingabeaufforderungszelle.

Hierbei handelt es sich um einen brandneuen, speziellen Zelltyp, der die direkte One-Shot-Interaktion mit Googles leistungsstärksten generativen KI-Modellen aus der Gemini-Familie unterstützt und besonders hilfreich für Personen mit begrenzten Programmierkenntnissen ist.

Das Erstellen einer AI-Eingabeaufforderungszelle ist einfach: Klicken Sie in der oberen Symbolleiste direkt unter den Menüs auf den kleinen Dropdown-Pfeil neben „Code“ und wählen Sie „AI-Eingabeaufforderungszelle hinzufügen“. So etwas sollte in Ihrem noch leeren Notizbuch erscheinen.

Erstellen einer KI-Eingabeaufforderungszelle, um Code aus natürlicher Sprache zu generieren

Probieren wir es aus, indem wir Folgendes in das Textfeld „Fragen Sie mich etwas…“ schreiben: Schreiben Sie Python-Code, der 100 Werte für fünf verschiedene Arten von Wettervorhersagewerten generiert und ein Histogramm dieser Werte zeichnet

Seien Sie ein paar Sekunden geduldig, auch wenn es zunächst so aussieht, als würde nichts passieren. Die KI arbeitet hinter den Kulissen an Ihrer Anfrage. Möglicherweise erhalten Sie vom ausgewählten Gemini-Modell eine Antwort, die wie folgt aussieht:

Nutzen Sie die Vorteile von KI-Eingabeaufforderungszellen und ausführbaren Codezellen

Diese neue Funktion sorgt für ein komfortables KI-gestützte Codierung Umgebung, die nicht nur very best ist zur Codegenerierungsondern auch für schnelles Prototyping, Erforschung neuer Ideenoder sogar Vorhandenen Code selbsterklärender machenB. durch die Aufforderung an die KI, erklärbare Funktionen oder informative Druckanweisungen in relevante Teile eines Programms einzufügen. Das Verständnis der Fähigkeiten dieses neuen Zelltyps ist der Schlüssel zur korrekten Nutzung der neuesten KI-gestützten Codierungsfunktionen von Colab.

Eine Standardcodezelle direkt unter jeder Ihrer KI-Eingabeaufforderungszellen sorgt für eine praktische Symbiose. Warum? Denn die Ausgabe von KI-Eingabeaufforderungszellen ist kein direkt ausführbarer Code, da sie oft mit Textbeschreibungen vor und/oder nach dem Code versehen ist. Kopieren Sie einfach den Codeteil der Antwort und fügen Sie ihn in eine Codezelle unten ein, um es auszuprobieren.

Nicht alles funktioniert wie erwartet? Kein Downside. Der Die KI-Eingabeaufforderungszelle bleibt dortan seinem dafür vorgesehenen Platz in Ihrem Notizbuch, additionally Sie können die Interaktion fortsetzen und Ihren Code verfeinern, bis er Ihren Anforderungen vollständig entspricht.

Beachten Sie jedoch einige Einschränkungen dieses neu eingeführten Zelltyps. Unabhängig davon, wo sich in Ihrem Notizbuch eine KI-Eingabeaufforderungszelle befindet, erkennt sie nicht automatisch den Inhalt im Relaxation Ihres Notizbuchs. Sie müssen Ihren Code einer KI-Eingabeaufforderungszelle zur Verfügung stellen, um etwas dazu zu erfragen.

Stellen Sie sich zum Beispiel vor, wir platzieren den zuvor generierten Code in mehreren Codezellen, um ihn Schritt für Schritt auszuführen. Dann fügen wir am unteren Rand des Notizbuchs eine weitere AI-Eingabeaufforderungszelle hinzu und fragen Folgendes:

KI-Antwort, wenn nach Code außerhalb der KI-Eingabeaufforderungszelle gefragt wird

Beachten Sie die Antwort: Die KI fordert Sie dazu auf, den Code, den Sie analysieren, erklären usw. analysieren, explizit einfügen (einfügen) zu müssen, unabhängig davon, wo dieser Code im Pocket book vorhanden ist. Sie können Zellen auch nicht mit Bezeichnern wie #7 oder #16 referenzieren oder etwas fragen wie „Schreiben Sie die dritte Codezelle in einem prägnanteren Python-Stil um„.

Hier ist eine Zusammenfassung des Greatest-Apply-Workflows, mit dem wir uns vertraut machen sollten:

1. Fügen Sie KI-Eingabeaufforderungszellen direkt nach einer Zelle (oder einer kleinen Gruppe von Zellen) hinzu, wenn Sie viel Analyse, Verfeinerung und mögliche Änderungen im Code erwarten.
2. Fügen Sie den Zielcode ein und verwenden Sie explizite Anweisungen mit Aktionsverben wie „erklären“, „umgestalten“, „vereinfachen“, „Fehlerbehandlung hinzufügen“ usw.
3. Überprüfen Sie die Ergebnisse und führen Sie sie manuell in einer Backup-Codezelle aus, die je nach Datentransformations-Workflow sorgfältig platziert wird (möglicherweise muss sie vor oder nach der Zelle mit dem Originalcode platziert werden).

KI-Eingabezellen eignen sich hervorragend für komfortable Code-Erstellungsexperimente auf dem Hauptspielplatzaber denken Sie daran für andere KI-unterstützte Aufgaben wie das Erklären eines Codeabschnitts in einer Zelle oder dessen Transformation das Zauberstab-Image in einer Codezelle verfügbar – die auf der rechten Seite von Colab eine Gemini-Registerkarte für die weitere Interaktion öffnet – ist immer noch der beste und flexibelste Ansatz.

Zusammenfassung

Google Colab veröffentlicht kontinuierlich neue KI-gestützte Codierungsfunktionen mit klaren Stärken, aber auch wichtigen Einschränkungen. In diesem Artikel haben wir die neuesten Funktionen besprochen, mit besonderem Fokus auf die KI-Eingabeaufforderungszelle als eine der neuesten Ergänzungen, und wir haben beschrieben, wie man sie am besten nutzt – und wann man für Aufgaben wie das Erklären oder Refactoring von vorhandenem Code auf andere Funktionen zurückgreifen sollte.

Aktie

Publish


Aktie

Dieser Leitfaden hilft Ihnen beim Einrichten einer sauberen, isolierten Umgebung zum Ausführen von Dataquest-Tutorials. Während viele Tutorials direkt auf Ihrem Pc einwandfrei funktionieren, können bei einigen (insbesondere solchen mit Datenverarbeitungstools wie PySpark) je nach Betriebssystem oder vorhandener Softwarekonfiguration Probleme auftreten. Die von uns erstellte Laborumgebung stellt sicher, dass alles konsistent mit den richtigen Versionen von Python und anderen Instruments läuft, ohne Ihr Hauptsystem zu beeinträchtigen.

Was ist eine Laborumgebung?

Sie können sich dieses „Labor“ als separaten Arbeitsbereich nur für Ihre Dataquest-Tutorials vorstellen. Es handelt sich um einen kontrollierten Bereich, in dem Sie experimentieren und Code testen können, ohne dass dies Auswirkungen auf Ihren Hauptcomputer hat. So wie Wissenschaftler Labore für Experimente nutzen, nutzen wir dieses Entwicklungslabor, um Tutorials sicher durchzuarbeiten.

Vorteile für alle:

• Home windows-/Mac-Benutzer: Vermeiden Sie Fehler aufgrund von Systemunterschieden. Kein „Befehl nicht gefunden“ mehr oder PySpark findet Dateien nicht mehr
• Linux-Benutzer: Holen Sie sich die genauen Versionen von Python und Java, die für Tutorials benötigt werden, ohne dass es zu Konflikten mit den Paketen Ihres Programs kommt
• Alle: Halten Sie Ihre Tutorialarbeit von persönlichen Projekten getrennt. Ihr Code und Ihre Dateien werden regular gespeichert, alle von Ihnen installierten Pakete oder Systemänderungen bleiben jedoch im Lab enthalten

Wir verwenden ein Device namens Docker um diesen isolierten Arbeitsbereich zu erstellen. Stellen Sie sich das so vor, als ob Sie in Ihrem normalen Pc einen speziellen Pc nur für Tutorials hätten. Ihre Dateien und Ihr Code werden wie gewohnt gespeichert (Sie können sie mit Ihrem bevorzugten Editor bearbeiten), aber die Tutorial-Umgebung selbst bleibt sauber und getrennt von allem anderen auf Ihrem System.

Der lab Der von Ihnen verwendete Befehl erstellt diese Umgebung und spiegelt echte Information-Engineering-Workflows wider (die meisten Unternehmen verwenden isolierte Umgebungen wie diese, um die Konsistenz ihrer Groups sicherzustellen).

Docker installieren

Docker erstellt isolierte Linux-Umgebungen auf jedem Betriebssystem. Das bedeutet, dass Sie einen konsistenten Linux-Arbeitsbereich erhalten, unabhängig davon, ob Sie Home windows, Mac oder sogar Linux selbst verwenden. Wir verwenden es als einfaches Device, sodass keine Kenntnisse in der Container-Orchestrierung oder Cloud-Bereitstellung erforderlich sind.

Unter Home windows:
Laden Sie Docker Desktop herunter von docker.com/merchandise/docker-desktop. Führen Sie das Installationsprogramm aus, starten Sie Ihren Pc neu, wenn Sie dazu aufgefordert werden, und öffnen Sie Docker Desktop. Während der Ausführung wird in der Taskleiste ein Walsymbol angezeigt.

Hinweis: Docker Desktop aktiviert automatisch erforderliche Home windows-Funktionen wie WSL 2. Wenn eine Fehlermeldung zur Virtualisierung angezeigt wird, müssen Sie diese möglicherweise in den BIOS-Einstellungen Ihres Computer systems aktivieren. Suchen Sie on-line nach Ihrem Computermodell und klicken Sie auf „Virtualisierung aktivieren“, um bestimmte Schritte anzuzeigen.

Auf dem Mac:
Laden Sie Docker Desktop für Ihren Chiptyp (Intel oder Apple Silicon) über denselben Hyperlink herunter. Ziehen Sie Docker in Ihren Anwendungsordner und starten Sie es. Sie sehen den Wal in Ihrer Menüleiste.

Unter Linux:
Sie verfügen wahrscheinlich bereits über Docker. Wenn nicht, führen Sie diesen Befehl in Ihrem Terminal aus:

curl -fsSL https://get.docker.com -o get-docker.sh && sh get-docker.sh

Überprüfen Sie, ob es funktioniert:
Öffnen Sie Ihr Terminal (PowerShell, Terminal oder Bash) und führen Sie Folgendes aus:

docker --version
docker compose model

Für beide Befehle sollten Versionsnummern angezeigt werden. Wenn die Meldung „Befehl nicht gefunden“ angezeigt wird, starten Sie Ihr Terminal oder Ihren Pc neu und versuchen Sie es erneut.

Holen Sie sich die Laborumgebung

Das Labor ist bereits im konfiguriert Datenquest tutorials Repository. Klonen oder herunterladen:

git clone https://github.com/dataquestio/tutorials.git
cd tutorials

Wenn Sie kein Git haben, laden Sie das Repository als ZIP-Datei von GitHub herunter und extrahieren Sie es.

Das Repository enthält alles, was Sie brauchen:

• Dockerfile – Konfiguriert die Linux-Umgebung mit Python 3.11 und Java (für Spark)
• docker-compose.yml – Definiert die Laboreinrichtung
• Tutorial-Ordner mit sämtlichem Code und Daten

Starten Sie Ihr Labor

Stellen Sie im Terminal Ihrer IDE sicher, dass Sie sich in der befinden tutorials Ordner und starten Sie das Labor:

docker compose run --rm lab

Beachten Sie, dass die Einrichtung bei der ersten Ausführung dieses Befehls 2–5 Minuten dauern kann.

Sie sind jetzt in Linux! Ihre Eingabeaufforderung ändert sich in etwas wie „ root@abc123:/tutorials#das ist Ihre Linux-Befehlszeile, in der alles wie erwartet funktioniert.

Der --rm Flag bedeutet, dass sich das Labor selbst bereinigt, wenn Sie es verlassen, und so Ihr System aufgeräumt hält.

Nutzung Ihres Labors

Sobald Sie sich in der Laborumgebung befinden, sehen Sie hier Ihren typischen Arbeitsablauf:

1. Navigieren Sie zu dem Tutorial, an dem Sie gerade arbeiten

# See all accessible tutorials
ls

# Enter a selected tutorial
cd pyspark-etl

2. Installieren Sie die Pakete nach Bedarf
Für jedes Tutorial sind möglicherweise unterschiedliche Pakete erforderlich:

# For PySpark tutorials
pip set up pyspark

# For information manipulation tutorials
pip set up pandas numpy

# For database connections
pip set up sqlalchemy psycopg2-binary

3. Führen Sie den Tutorial-Code aus

python <script-name>.py

Da der Code in einer standardisierten Linux-Umgebung ausgeführt wird, sollten keine Setup-Fehler auftreten.

4. Bearbeiten Sie die Dateien regular
Das Schöne an diesem Setup: Sie können weiterhin Ihren Lieblingseditor verwenden! Der tutorials Der Ordner auf Ihrem Pc wird mit dem Labor synchronisiert. Bearbeiten Sie Dateien in VS Code, PyCharm oder einem beliebigen Editor, und das Labor sieht Änderungen sofort.

5. Beenden Sie den Vorgang, wenn Sie fertig sind
Typ exit oder drücken Sie Strg+D, um das Labor zu verlassen. Die Umgebung reinigt sich automatisch.

Gängige Workflow-Beispiele

Ausführen eines PySpark-Tutorials:

docker compose run --rm lab
cd pyspark-etl
pip set up pyspark pandas
python principal.py

Arbeiten mit Jupyter-Notebooks:

docker compose run --rm -p 8888:8888 lab
pip set up jupyterlab
jupyter lab --ip=0.0.0.0 --allow-root --no-browser
# Open the URL it exhibits in your browser

Pakete zwischen Sitzungen installiert lassen:
Wenn Sie es satt haben, Pakete neu zu installieren, erstellen Sie eine Anforderungsdatei:

# After putting in packages, save them
pip freeze > necessities.txt

# Subsequent session, restore them
pip set up -r necessities.txt

Kurzreferenz

Der einzige Befehl, den Sie benötigen:

# From the tutorials folder
docker compose run --rm lab

Verlassen Sie das Labor:

exit # Or press Ctrl+D

Wo die Dinge sind:

• Tutorial-Code: Jeder Ordner in /tutorials
• Ihre Änderungen: Automatisch synchronisiert
• Datendateien: In jedem Tutorial information/ Ordner
• Ausgabedateien: Speichern Sie sie im Tutorial-Ordner, um sie auf Ihrem Pc anzuzeigen

Hinzufügen von Diensten (Datenbanken usw.):
Für Tutorials, die PostgreSQL, MongoDB oder andere Dienste benötigen, können wir das erweitern docker-compose.yml. Derzeit verwaltet das Foundation-Setup alle Python- und PySpark-Tutorials.

Fehlerbehebung

• „Es kann keine Verbindung zum Docker-Daemon hergestellt werden“

  • Docker Desktop muss ausgeführt werden. Starten Sie es von Ihren Anwendungen aus.

• „Docker Compose“ wurde nicht erkannt

• Langsame Leistung unter Home windows

  • Docker unter Home windows kann bei großen Datenmengen langsam sein. Für eine bessere Leistung speichern Sie Datendateien im Container und nicht im bereitgestellten Ordner.

• „Berechtigung verweigert“ unter Linux

  • Fügen Sie Ihren Benutzer zur Docker-Gruppe hinzu:

    sudo usermod -aG docker $USER

    Dann melden Sie sich ab und wieder an.

Du bist bereit

Sie verfügen nun über eine Linux-Laborumgebung, die zu Produktionssystemen passt. Viel Spaß beim Experimentieren!

Bild von Autor | Leinwand

# Einführung

Gemini Cli ist Googles neuer AI-Assistent von Open-Supply, der in Ihrem Terminal ausgeführt wird. Es bringt das Gemini -Sprachmodell (Gemini 2.5 Professional) direkt in Ihre Shell, damit Sie Fragen stellen, Code generieren, Fehler beheben oder Dokumentation erstellen können, ohne die Befehlszeile zu verlassen. „Gemini“ selbst ist ein LLM und „Gemini Cli“ ist im Grunde ein Benutzerwerkzeug, das das Modell in Ihren Workflows interaktiv macht. Kurz gesagt, es ist wie Chatgpt für Entwickler. Google hat im Juni 2025 Gemini Cli veröffentlicht, und es ist FREI für Einzelpersonen. Sie müssen sich nur mit Ihrem persönlichen Google-Konto anmelden, und es erhalten Sie auf Gemini 2.5 Professional mit einem riesigen Kontextfenster von 1 Million kostenlos (bis zu 60 Anfragen/Minute und 1.000/Tag). Es ist eine großartige kostenlose und Open -Supply -Various zu KI -Codierungsassistenten wie dem Claude -Code von Anthropic.

Lassen Sie mich Ihnen beim Setup helfen und Sie durch einige Beispiele führen, um die Bedeutung hervorzuheben.

# Einrichten von Gemini CLI in Ihrem System

Um Gemini CLI zu installieren, benötigen Sie eine Befehlszeilenumgebung (Terminal auf MacOS/Linux, PowerShell oder ähnlichem unter Home windows) und entweder Homebrew oder Node.js. Auf macOS ist die einfachste Methode über Homebrew:

1. Installieren Sie Gemini CLI über Homebrew: Führen Sie den folgenden Befehl in Ihrem Terminal aus
2. Alternativ installieren Sie über Knoten (jedes Betriebssystem): Wenn Sie Homebrew bevorzugen oder nicht verwenden, installieren Sie Node.js (Model 20 oder höher. Dann rennen Sie:

npm set up -g @google/gemini-cli

oder

npx https://github.com/google-gemini/gemini-cli

Dies installiert die CLI weltweit auf MacOS, Linux oder Home windows. Node.js v20+ ist erforderlich; Sie können es herunterladen nodejs.org Oder verwenden Sie NVM, um Versionen zu verwalten.

Nach der Set up können Sie einfach den folgenden Befehl ausführen, um die Gemini-CLI zu starten:

Das sollte Starten Sie die CLI (Wenn Sie das „Gemini Cli“ ASCII -Banner sehen, sind Sie festgelegt). Wenn Gemini nicht gefunden wird, müssen Sie möglicherweise ein neues Terminal öffnen oder Ihrem Weg den globalen Bin von NPM hinzufügen. Sie werden so etwas sehen:

Screenshot des Gemini CLI -Begins

Im ersten Lauf fordert die Gemini CLI auf, ein Farbthema (hell oder dunkel) auszuwählen und sich dann mit Ihrem Google -Konto anzumelden. Befolgen Sie die Anweisungen im Browser (oder der CLI) zur Genehmigung. Wenn Sie es vorziehen, einen API -Schlüssel anstelle von Anmeldung zu verwenden, können Sie festlegen Gemini_api_key = „your_key“ In Ihrer Umgebung (siehe Google AI Studio, um einen Schlüssel zu generieren). Nach der Authentifizierung bestätigt die CLI, dass sie verwendet werden kann.

# Führen Sie Ihre ersten Gemini CLI -Befehle aus

Mit der Einrichtung von Gemini CLI können Sie sofort mit natürlichen Sprachbefehlen beginnen. Es öffnet eine Eingabeaufforderung (markiert markiert >) wo Sie Fragen oder Aufgaben eingeben. Versuchen wir zum Beispiel eine einfache Eingabeaufforderung und fragen Sie: „Schreiben Sie einen kurzen Absatz darüber, warum Gemini Cli großartig ist.“ Hier ist Ausgabe:

Screenshot von Gemini CLI: Einfaches Absatzschreiben

// Aufgabe 1: Behebung von Fehler mit Gemini CLI

Gemini CLI kann sich in Instruments wie GitHub oder Ihr lokales Git integrieren, um Probleme zu finden. Lassen Sie uns beispielsweise das integrierte @Search-Device zum Abrufen einer GitHub-Drawback-URL verwenden und dann nach einem Fixplan bitten:

Immediate (Supply):

Right here’s a GitHub subject: (@search https://github.com/google-gemini/gemini-cli/points/4715). Analyze the code and recommend a 3-step repair plan.

Die CLI identifizierte die Grundursache und schlug vor, wie der Code geändert werden soll. Der folgende Screenshot zeigt, dass es einen 3-Stufen-Plan meldet. Sie können den Plan überprüfen und dann bestätigen, dass Gemini CLI die Änderungen automatisch auf Ihre Dateien anwendet.

Screenshot von Gemini CLI: Behebung von Fehler

// Aufgabe 2A: Arbeiten mit einem Projekt (einfaches Beispiel)

Ich habe einen Projektordner erstellt, indem ich das Gitdiagram -Repo kloniert habe. Wenn Sie mehr über dieses Repo erfahren möchten, besuchen Sie meinen Artikel: Machen Sie ein 10K+ Line Github Repo, ohne den Code zu lesen. Navigieren wir zu unserem Projektordner mit:

Jetzt rennen Zwillinge. Sie können Fragen zum Code stellen. Versuchen wir die folgende Eingabeaufforderung:

Immediate:
Clarify the principle parts of this codebase

Gemini CLI scannt die Dateien und verwendet das Gemini -Modell, um zusammenzufassen oder zu antworten, wie im folgenden Screenshot gezeigt:

Screenshot von Gemini CLI: Arbeit mit einem Projekt (einfaches Beispiel)

Es analysierte die Ordner und gab eine strukturierte Zusammenfassung zurück (Auflistungsverzeichnisse wie SRC/, Public/usw.). Dies ist praktisch für das Onboarding in neuen Projekten oder die Generierung von Dokumentationen.

// Aufgabe 2B: Arbeiten mit einem Projekt (erweitertes Beispiel)

Die Erkundung der Codebasis ist einfach. Lassen Sie uns nun eine technische Aufgabe geben, um zu sehen, wie sich die Ausgabe entwickelt. Wir werden Gemini die folgende Aufforderung zur Verfügung stellen:

Immediate:
Analyze this repo for frequent efficiency anti-patterns.

Screenshot von Gemini CLI: Arbeit mit einem Projekt (Superior Beispiel)

Die Antwort struggle so detailliert, dass ich den Startteil nur in den Screenshot aufgenommen habe. Gemini CLI hat einen detaillierten Plan erstellt und dann jede Datei unabhängig voneinander gelesen. Am Ende teilte es eine Zusammenfassung der potenziellen Leistungs-Anti-Muster zusammen mit den empfohlenen nächsten Schritten:

Abstract of potential efficiency anti-patterns based mostly on preliminary evaluation:
   1. Massive Frontend Bundle Measurement:
       * Mermaid Library: The mermaid library is probably going a major contributor to the bundle measurement. If it is not
         lazy-loaded, it's going to impression preliminary web page load efficiency.
       * `react-icons`: Relying on the way it's imported, it may possibly additionally contribute to bundle measurement if not tree-shaken
         successfully.
   2. Unoptimized Picture Utilization: Whereas Subsequent.js has subsequent/picture, with out inspecting the precise picture utilization in parts,
      it is laborious to say if pictures are correctly optimized (e.g., right sizes, codecs, lazy loading).
   3. Potential Backend Efficiency Points (Python & Node.js):
       * N+1 Queries: This can be a frequent database anti-pattern that may considerably decelerate knowledge retrieval.
       * Lack of Caching: If regularly accessed knowledge is just not cached on the utility or database degree, it may possibly lead
         to redundant computations and database hits.
       * Synchronous Operations: Blocking I/O in both backend may result in efficiency bottlenecks underneath heavy load.
   4. `reactStrictMode: false`: Whereas not a direct anti-pattern, it may possibly cover potential efficiency points associated to
      React's rendering habits throughout improvement.
   5. Growth-like Docker Quantity Mount: Mounting all the backend listing within the Docker container is much less
      optimum for manufacturing builds in comparison with copying solely crucial recordsdata.

  To substantiate these, additional investigation can be wanted, together with:

   * Bundle Evaluation: Utilizing instruments like @subsequent/bundle-analyzer to establish giant modules within the frontend.
   * Efficiency Profiling: Working the applying and utilizing browser developer instruments (for frontend) and backend
     profiling instruments to establish bottlenecks.
   * Code Overview: Deep diving into the src/ and backend/ code to establish particular situations of the anti-patterns
     talked about.

Diese Beispiele zeigen, wie Gemini CLI einfache Eingabeaufforderungen in echte Aktionen verwandelt. Sie können Code abfragen, es generieren oder refaktorieren, Fehler beheben und die Leistung verbessern, alles aus Ihrem Terminal.

# Einpacken

Gemini Cli ist ein leistungsstarkes neues Werkzeug für Entwickler. Sobald Sie es auf MacOS (oder einem beliebigen Betriebssystem) installiert haben, können Sie mit Googles Gemini LLM von Google so einfach interagieren wie bei jedem lokalen Befehl. Einige der wichtigsten Funktionen, die es anders machen, sind:

1. React Agent Loop: Innen wird eine React Agent -Schleife mit Ihrer lokalen Umgebung durchgeführt. Dies bedeutet, dass Sie entscheiden können, wann Sie ein Device (suchen, ausführen, Shell ausführen, Datei bearbeiten) anrufen sollen, und wann direkt beantwortet werden soll. Zum Beispiel hat es bei Bedarf eine URL mit @search abgerufen.
2. Integrierte Werkzeuge: Es verfügt über integrierte „Instruments“ wie GREP, Echo, Datei lesen/schreiben und Sie können Websuche oder Dateisystemabfragen von Eingabeaufforderungen aufrufen.
3. Multimodale Funktionen: Gemini CLI kann sogar mit Bildern/PDFs arbeiten (da Gemini multimodal ist). Es unterstützt die Integration mit dem externen Modellkontext -Protokoll (MCP) -Server, z. Auf diese Weise können Sie Dinge wie „Code aus dieser Skizze generieren“ oder „einen PDF zusammenfassen“ tun.

Probieren Sie es aus: Öffnen Sie nach dem Befolgen des oben genannten Setups ein Terminal in einem Projektordner, geben Sie Gemini ein und beginnen Sie mit dem Experimentieren. Sie werden schnell sehen, wie ein KI -Begleiter in Ihrer Hülle Ihre Produktivität dramatisch steigern kann!

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und technischer Schriftsteller mit einer tiefgreifenden Leidenschaft für die Datenwissenschaft und die Schnittstelle von KI mit Medizin. Sie hat das eBook „Produktivität mit Chatgpt maximieren“. Als Google -Technology -Gelehrte 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie wird auch als Teradata -Vielfalt in Tech Scholar, MITACS Globalink Analysis Scholar und Harvard Wecode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter der Veränderung, nachdem er Femcodes gegründet hat, um Frauen in STEM -Bereichen zu stärken.

Bild von Editor | Chatgpt

# Einführung

Das maschinelle Lernen ist ein wesentlicher Bestandteil vieler Unternehmen geworden, und Unternehmen, die es nicht nutzen, wird das Risiko zurückgelassen. Angesichts der Tatsache, dass kritische Modelle einen Wettbewerbsvorteil bieten, ist es natürlich, dass viele Unternehmen sie in ihre Systeme integrieren möchten.

Es gibt viele Möglichkeiten, ein Pipeline -System für maschinelles Lernen einzurichten, um ein Unternehmen zu unterstützen, und eine Choice besteht darin, es mit einem Cloud -Anbieter zu hosten. Die Entwicklung und Bereitstellung maschineller Lernmodelle in der Cloud haben viele Vorteile, einschließlich Skalierbarkeit, Kosteneffizienz und vereinfachter Prozesse im Vergleich zum Aufbau der gesamten Pipeline im Haus.

Die Auswahl der Cloud -Anbieter liegt beim Unternehmen. In diesem Artikel werden wir jedoch untersuchen, wie eine Pipeline für maschinelles Lernen auf der Google Cloud -Plattform (GCP) eingerichtet wird.

Fangen wir an.

# Vorbereitung

Sie müssen ein Google -Konto haben, bevor Sie fortfahren, da wir die GCP verwenden werden. Wenn Sie ein Konto erstellt haben, greifen Sie auf die zu Google Cloud Console.

Erstellen Sie in der Konsole ein neues Projekt.

Dann müssen Sie vor allem Ihre Abrechnungskonfiguration einrichten. Auf der GCP -Plattform müssen Sie Ihre Zahlungsinformationen registrieren, bevor Sie die meisten Dinge auf der Plattform tun können, auch mit einem kostenlosen Testkonto. Sie müssen sich jedoch keine Sorgen machen, da das Beispiel, das wir verwenden, nicht viel von Ihrem kostenlosen Kredit verbraucht.

Bitte geben Sie alle für den Begin des Projekts erforderlichen Abrechnungsinformationen an. Möglicherweise benötigen Sie auch Ihre Steuerinformationen und eine Kreditkarte, um sicherzustellen, dass sie fertig sind.

Lassen Sie uns bei allem mit GCP unsere Pipeline für maschinelles Lernen aufbauen.

# Pipeline für maschinelles Lernen mit Google Cloud -Plattform

Um unsere Pipeline für maschinelles Lernen aufzubauen, benötigen wir einen Beispiel -Datensatz. Wir werden die verwenden Herzinfarktvorhersage Datensatz von Kaggle für dieses Tutorial. Laden Sie die Daten herunter und speichern Sie sie für den Second irgendwo.

Als nächstes müssen wir den Datenspeicher für unseren Datensatz einrichten, den die Pipeline für maschinelles Lernen verwendet. Dazu müssen wir einen Speicherbucker für unseren Datensatz erstellen. Suchen Sie nach „Cloud -Speicher“, um einen Eimer zu erstellen. Es muss einen eindeutigen globalen Namen haben. Im Second müssen Sie keine der Standardeinstellungen ändern. Klicken Sie einfach auf die Schaltfläche Erstellen.

Wenn der Eimer erstellt wurde, laden Sie Ihre CSV -Datei darauf hoch. Wenn Sie dies richtig gemacht haben, sehen Sie den Datensatz im Eimer.

Als nächstes erstellen wir eine neue Tabelle, die wir mit dem BigQuery -Service abfragen können. Suchen Sie nach „BigQuery“ und klicken Sie auf „Daten hinzufügen“. Wählen Sie ‚Google Cloud Storage‘ und wählen Sie die CSV -Datei aus dem zuvor erstellten Bucket aus.

Füllen Sie die Informationen, insbesondere das Projektziel, das Datensatzformular aus (erstellen Sie einen neuen Datensatz oder wählen Sie einen vorhandenen) und den Tabellennamen. Wählen Sie für das Schema „automatische Erkennung“ und erstellen Sie dann die Tabelle.

Wenn Sie es erfolgreich erstellt haben, können Sie die Tabelle abfragen, um festzustellen, ob Sie auf den Datensatz zugreifen können.

Suchen Sie als Nächstes nach Scheitelpunkt AI und aktivieren Sie alle empfohlenen APIs. Sobald dies fertig ist, wählen Sie ‚Colab Enterprise‘.

Wählen Sie ‚Pocket book erstellen‘, um das Notizbuch zu erstellen, das wir für unsere einfache Pipeline für maschinelles Lernen verwenden.

Wenn Sie mit Google Colab vertraut sind, sieht die Schnittstelle sehr ähnlich aus. Sie können ein Notizbuch aus einer externen Quelle importieren, wenn Sie möchten.

Stellen Sie mit dem Pocket book eine Laufzeit her. Derzeit reicht der Standardmaschinenart aus, da wir nicht viele Ressourcen benötigen.

Beginnen wir unsere Entwicklung von maschinellem Lernen, indem wir Daten aus unserer BigQuery -Tabelle abfragen. Zunächst müssen wir den BigQuery -Consumer mit dem folgenden Code initialisieren.

from google.cloud import bigquery

shopper = bigquery.Consumer()

Fragen wir dann unseren Datensatz in der BigQuery -Tabelle mit dem folgenden Code ab. Ändern Sie die Projekt -ID, den Datensatz und den Tabellennamen so, dass sie dem, was Sie zuvor erstellt haben, übereinstimmen.

# TODO: Change along with your venture ID, dataset, and desk identify
question = """
SELECT *
FROM `your-project-id.your_dataset.heart_attack`
LIMIT 1000
"""
query_job = shopper.question(question)

df = query_job.to_dataframe()

Die Daten befinden sich jetzt in einem Pandas -Datenframe in unserem Pocket book. Lassen Sie uns unsere Zielvariable (‚Ergebnis‘) in ein numerisches Etikett verwandeln.

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

df('Final result') = df('Final result').apply(lambda x: 1 if x == 'Coronary heart Assault' else 0)

Als nächstes bereiten wir unser Trainings- und Testen von Datensätzen vor.

df = df.select_dtypes('quantity')

X = df.drop('Final result', axis=1)
y = df('Final result')

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

Notiz: df = df.select_dtypes('quantity') wird verwendet, um das Beispiel zu vereinfachen, indem alle nicht numerischen Spalten fallen gelassen werden. In einem realen Szenario ist dies ein aggressiver Schritt, der nützliche kategorische Merkmale verwerfen könnte. Dies geschieht hier zum Einfachheit halber und normalerweise wird in der Regel technische oder codierende Codierung berücksichtigt.

Sobald die Daten fertig sind, schulen wir ein Modell und bewerten Sie seine Leistung.

mannequin = LogisticRegression()
mannequin.match(X_train, y_train)

y_pred = mannequin.predict(X_test)
print(f"Mannequin Accuracy: {accuracy_score(y_test, y_pred)}")

Die Modellgenauigkeit beträgt nur etwa 0,5. Dies könnte sicherlich verbessert werden, aber für dieses Beispiel werden wir mit diesem einfachen Modell fortfahren.

Verwenden wir nun unser Modell, um Vorhersagen zu treffen und die Ergebnisse vorzubereiten.

result_df = X_test.copy()
result_df('precise') = y_test.values
result_df('predicted') = y_pred
result_df.reset_index(inplace=True)

Schließlich werden wir die Vorhersagen unseres Modells in einer neuen BigQuery -Tabelle speichern. Beachten Sie, dass der folgende Code die Zieltabelle überschreibt, wenn sie bereits vorhanden ist, anstatt sich daran anzuschließen.

# TODO: Change along with your venture ID and vacation spot dataset/desk
destination_table = "your-project-id.your_dataset.heart_attack_predictions"
job_config = bigquery.LoadJobConfig(write_disposition=bigquery.WriteDisposition.WRITE_TRUNCATE)
load_job = shopper.load_table_from_dataframe(result_df, destination_table, job_config=job_config)
load_job.outcome()

Damit haben Sie in einem Scheitelpunkt -AI -Pocket book eine einfache Pipeline für maschinelles Lernen erstellt.

Um diesen Vorgang zu optimieren, können Sie das Pocket book so planen, dass sie automatisch ausgeführt werden. Gehen Sie zu den Aktionen Ihres Notebooks und wählen Sie „Zeitplan“.

Wählen Sie die Frequenz aus, die das Notizbuch benötigt, um beispielsweise jeden Dienstag oder am ersten Tag des Monats auszuführen. Dies ist eine einfache Möglichkeit, um sicherzustellen, dass die Pipeline für maschinelles Lernen nach Bedarf ausgeführt wird.

Das ist es, eine einfache Pipeline für maschinelles Lernen auf GCP einzurichten. Es gibt viele andere, produktionsbereitere Möglichkeiten, eine Pipeline einzurichten, z.

# Abschluss

Die Google Cloud -Plattform bietet den Benutzern eine einfache Möglichkeit, eine Pipeline für maschinelles Lernen einzurichten. In diesem Artikel haben wir gelernt, wie man eine Pipeline mit verschiedenen Cloud -Diensten wie Cloud -Speicher, BigQuery und Vertex AI einrichtet. Durch das Erstellen der Pipeline in Pocket book -Type und das Planen, um sie automatisch auszuführen, können wir eine einfache funktionale Pipeline erstellen.

Ich hoffe das hat geholfen!

Cornellius Yudha Wijaya ist ein Information Science Assistant Supervisor und Datenautor. Während er in Vollzeit bei Allianz Indonesien arbeitet, liebt er es, Python- und Datentipps über soziale Medien und das Schreiben von Medien zu teilen. Cornellius schreibt über eine Vielzahl von KI- und maschinellen Lernthemen.

Einführung

Stellen Sie sich vor, Sie wären ein Datenprofi, der mit der Erstellung einer effizienten Datenpipeline beauftragt ist, um Prozesse zu optimieren und Echtzeitinformationen zu generieren. Klingt herausfordernd, oder? Hier kommt Mage AI ins Spiel, um sicherzustellen, dass die on-line tätigen Kreditgeber einen Wettbewerbsvorteil erlangen. Stellen Sie sich Folgendes vor: Im Gegensatz zu vielen anderen Erweiterungen, die eine gründliche Einrichtung und ständiges Codieren erfordern, verfügt Mage AI über eine klare und anspruchslose Schritt-für-Schritt-Einrichtung, und Sie können die übersichtliche Benutzeroberfläche gerne verwenden, ohne Elemente ziehen und ablegen zu müssen. Ich werde Ihnen auch zeigen, wie Sie Mage AI importieren mit PostgreSQL damit Sie Ihre erste Datenpipeline mit Mage AI erstellen können. Lassen Sie mich Ihnen die Schritte vorstellen, mit denen Sie Ihre Datenverarbeitung noch besser machen können!

Lernergebnisse

• Erfahren Sie, wie Sie Mage AI für eine nahtlose Integration mit PostgreSQL konfigurieren.
• Erfahren Sie, wie Sie Rohdaten in PostgreSQL hochladen und mit pgAdmin4 Schemata erstellen.
• Meistern Sie den Prozess des Erstellens und Verwaltens von Datenpipelines in Mage AI.
• Erfahren Sie, wie Sie automatisierte Set off und Zeitpläne für Datenpipelines einrichten.
• Erhalten Sie Einblicke in die erweiterten Funktionen von Mage AI wie Echtzeitverarbeitung und -überwachung.

Dieser Artikel erschien im Rahmen der Information Science-Blogathon.

Was ist Mage AI?

Mage AI vereinfacht als Open-Supply-Instrument die Integration wachsender Daten-Workflows. Mit seinem klaren Design und der app-ähnlichen Oberfläche können Dateningenieure und -analysten ganz einfach Datenpipelines mit Ein-Klick-Optionen erstellen, ohne dass Programmieren erforderlich ist. Das Importieren, Analysieren und Bearbeiten großer Datenmengen ist mit Mage AI, das unter anderem Funktionen wie Drag & Drop, Datentransformation und Datenquellenkompatibilität bietet, viel einfacher. Ersteres ermöglicht es Benutzern, ihre Zeit mit der Analyse zu verbringen, anstatt sich Gedanken über die einzurichtenden zugrunde liegenden Infrastrukturen machen zu müssen. Mage AI unterstützt auch Python-Skripting, mit dem man benutzerdefinierte Transformationen definieren kann, wodurch es sowohl für technische als auch für nicht-technische Benutzer geeignet ist.

Vorteile der Verwendung von Mage AI mit PostgreSQL

Sehen wir uns die Vorteile der Verwendung von Mage AI mit PostgreSQL an.

• Optimiertes Datenmanagement: Mage AI vereinfacht die Erstellung von Datenpipelines mit seiner Drag-and-Drop-Oberfläche und erleichtert das Laden, Transformieren und Exportieren von Daten aus PostgreSQL ohne manuelle Codierung.
• Verbesserte Automatisierung: Automatisieren Sie wiederkehrende Datenaufgaben, wie ETL-Prozesse, indem Sie Set off und geplante Pipelines einrichten und so den Bedarf an ständigen manuellen Eingriffen reduzieren.
• Nahtlose Integration: Mage AI lässt sich nahtlos in PostgreSQL integrieren und ermöglicht es Benutzern, große Datensätze effizient zu verwalten und komplexe Datenoperationen im selben Workflow durchzuführen.
• Anpassbare Transformationen: Nutzen Sie Python-Skripting in Mage AI, um benutzerdefinierte Datentransformationen an PostgreSQL-Daten durchzuführen und so Flexibilität für die erweiterte Datenverarbeitung zu erhalten.
• Skalierbar und zuverlässig: Mage AI verwaltet Pipelines effizient und gewährleistet eine reibungslose Handhabung sowohl kleiner als auch großer Datensätze, während die Skalierbarkeit von PostgreSQL das Unternehmenswachstum ohne Leistungsengpässe unterstützt.
• Benutzerfreundlich: Die intuitive Benutzeroberfläche macht es für Benutzer mit unterschiedlichem technischen Kenntnisstand zugänglich und ermöglicht ein schnelleres Lernen und eine schnellere Bereitstellung von Datenlösungen.

Richten Sie Mage AI mit Postgres ein, um Ihre Datenpipeline zu erstellen und zu verwalten

Durch das Einrichten von Mage AI mit Postgres können Sie leistungsstarke Datenpipelines nahtlos erstellen und verwalten, Arbeitsabläufe automatisieren und komplexe Datenaufgaben vereinfachen, um effiziente Erkenntnisse zu gewinnen. Sehen wir uns die Schritte an, die zum Einrichten von Mage AI mit Postgres erforderlich sind.

Schritt 1: Vorbereiten Ihrer Postgres-Datenbank

Bevor Sie sich in Mage AI vertiefen, laden Sie Ihre Rohdatendateien mit pgAdmin4 in Postgres hoch und erstellen Sie für jede Datei das richtige Schema. So können Sie beginnen:

Hochladen von Rohdateien zu Postgres über pgAdmin4

• Öffnen Sie pgAdmin4 und stellen Sie eine Verbindung zu Ihrem Postgres-Server her.
• Erstellen Sie eine neue Datenbank oder verwenden Sie eine vorhandene.
• Stellen Sie sicher, dass Sie für jede Rohdatendatei das richtige Schema hinzufügen.
• Laden Sie Ihre Datendateien in die entsprechenden Tabellen innerhalb dieses Schemas hoch/exportieren Sie sie.

import pandas as pd
import chardet

# Open the file in binary mode and skim a pattern
with open("expensemaster.csv", 'rb') as file:
    pattern = file.learn(10000)  # Learn first 10,000 bytes as a pattern

# Detect encoding
detected = chardet.detect(pattern)
print(detected('encoding'))

# Use the detected encoding to learn the CSV
strive:
    df = pd.read_csv("expensemaster.csv", encoding=detected('encoding'))
besides UnicodeDecodeError:
    # If studying fails, strive with a standard encoding like UTF-8
    df = pd.read_csv("expensemaster.csv", encoding="utf-8")

# Infer knowledge varieties
dtype_mapping = {
    'object': 'TEXT',
    'int64': 'BIGINT',
    'float64': 'DOUBLE PRECISION',
    'datetime64(ns)': 'TIMESTAMP',
    'bool': 'BOOLEAN'
}

column_definitions=", ".be part of((f'"{col}" {dtype_mapping(str(df(col).dtype))}' for col in df.columns))

# Generate the CREATE TABLE SQL
table_name="expensemaster"
create_table_sql = f'CREATE TABLE {table_name} ({column_definitions});'
print(create_table_sql)

Klicken Sie bei „Tabellen“ auf „Aktualisieren“, um die neu erstellte Tabelle zu erhalten.

Starten Sie den Postgres-Dienst

Stellen Sie sicher, dass der Postgres-Dienst ausgeführt wird. Sie können dies in pgAdmin4 oder mithilfe des psql-Terminals überprüfen.

Schritt 2: Erfassen der Postgres-Konfigurationsdetails

Sie benötigen bestimmte Particulars, um Mage AI mit Postgres zu konfigurieren. Hier erfahren Sie, was Sie brauchen und wie Sie es finden:

• POSTGRES_DBNAME: Der Identify Ihrer Postgres-Datenbank.
• POSTGRES_SCHEMA: Das Schema, in das Ihre Datendateien hochgeladen werden.
• POSTGRES_USER: Der Benutzername für Ihre Postgres-Datenbank.
• POSTGRES_PASSWORD: Das Passwort für Ihre Postgres-Datenbank.
• POSTGRES_HOST: Die Host-IP-Adresse Ihres Postgres-Servers.
• POSTGRES_PORT: Normalerweise 5432 für Postgres.

Schritt 3: Mage AI mit Docker in VS Code installieren

Um Mage AI zu installieren, verwenden wir die Docker-Erweiterung in Visible Studio Code (VS Code). Stellen Sie sicher, dass Sie Docker Desktop und die Docker-Erweiterung für VS Code installiert haben.

Installieren Sie Docker Desktop

Laden Sie Docker Desktop von hier herunter, installieren Sie es und initialisieren Sie es.

Installieren Sie die Docker-Erweiterung für VS Code:

• Öffnen Sie VS Code und wechseln Sie zur Erweiterungsansicht, indem Sie auf das Erweiterungssymbol in der Aktivitätsleiste an der Seite des Fensters klicken oder Strg+Umschalt+X drücken.
• Suchen Sie nach „Docker“ und installieren Sie die Docker-Erweiterung von Microsoft.

Ziehen Sie das Mage AI Docker Picture

• Öffnen Sie ein Terminal in VS Code und navigieren Sie zu Ihrem Projektordner.
• Führen Sie den folgenden Befehl aus, um das neueste Mage AI Docker-Picture abzurufen:

docker pull mageai/mageai:newest

Führen Sie das Mage AI Docker Picture aus

• Sobald das Mage AI-Picture heruntergeladen wurde, gehen Sie zur Registerkarte „Docker“ in VS Code.
• Suchen Sie das Mage AI-Picture und führen Sie es aus. Dadurch wird ein neuer Container erstellt.
• Klicken Sie mit der rechten Maustaste auf den neu erstellten Container und wählen Sie „Im Browser öffnen“.
• Die Mage AI-Schnittstelle sollte jetzt in Ihrem Standardwebbrowser geladen werden.

Schritt 4: Konfigurieren von Mage AI für die Verbindung mit Postgres

Konfigurieren Sie die Datenbankverbindung in io_config.yaml:

• Navigieren Sie zum Abschnitt „Alle Dateien“ Ihrer Pipeline.
• Suchen und öffnen Sie die Datei io_config.yaml.
• Fügen Sie Ihre Postgres-Verbindungsdetails wie folgt hinzu

Mage AI den Zugriff auf die Postgres-Datenbank gestatten

• Um Ihrer IP-Adresse Zugriff auf die Datenbank zu gewähren, müssen Sie die Datei pg_hba.conf ändern.
• Suchen Sie die Datei pg_hba.conf unter C:ProgrammePostgreSQL16data.
• Öffnen Sie die Datei und fügen Sie die Zeile unter dem Abschnitt #IPv4-lokale Verbindungen hinzu, wie in Abb. 4 gezeigt.

Schritt 5: Erstellen Sie Ihre erste Datenpipeline

Nachdem Mage AI nun für die Verbindung mit Postgres konfiguriert ist, können wir unsere erste Datenpipeline erstellen. Wir beginnen mit der Einrichtung von Datenladeblöcken für jeden Datensatz und verwenden die Drag-and-Drop-Funktion, um sie in einem Flussdiagramm zu verbinden.

Information Loader-Blöcke erstellen

• Erstellen Sie für jeden Datensatz einen separaten Datenladeblock.
• Ziehen Sie in der Mage AI-Schnittstelle für jeden Datensatz, den Sie aus Postgres laden müssen, einen Datenladeblock auf die Arbeitsfläche und legen Sie ihn dort ab.
• Konfigurieren Sie jeden Datenladeblock mit den entsprechenden Verbindungsdetails und Abfragen, um die Daten von Postgres abzurufen.

Verbinden Sie die Information Loader Blöcke mit dem Transformer Block

Verwenden Sie die Drag-and-Drop-Funktion, um die Datenladeblöcke im Flussdiagramm mit dem nächsten Transformator-Codeblock zu verbinden. Diese visuelle Darstellung hilft beim Verständnis des Datenflusses und stellt sicher, dass alle Schritte richtig verbunden sind.

Erstellen von Datenexportblöcken

• Nachdem Sie in der Mage AI-Schnittstelle Ihren Datenlader und Ihre Transformationsblöcke konfiguriert haben, fügen Sie der Zeichenfläche einen Datenexportblock hinzu.
• Wählen Sie unter Python „Postgres“ als Ziel für die Daten.
• Geben Sie die erforderlichen Verbindungsdetails zu Ihrer Postgres-Datenbank an. Schreiben Sie den Code, um die transformierten Daten zurück in die PostgreSQL-Datenbank zu exportieren.

Schritt 6: Set off erstellen und Pipelines planen

Mage AI bietet die Möglichkeit, Set off für die Ausführung Ihrer Pipeline zu erstellen und sie für die regelmäßige Ausführung einzuplanen. Dadurch wird sichergestellt, dass Ihre Daten ohne manuelles Eingreifen immer auf dem neuesten Stand sind.

Erstellen eines Triggers

• In Mage AI können Sie Set off einrichten, um Ihre Pipeline basierend auf bestimmten Ereignissen oder Bedingungen auszuführen. Sie können beispielsweise die Ausführung einer Pipeline auslösen, wenn Ihrer Postgres-Datenbank neue Daten hinzugefügt werden.
• Um einen Set off zu erstellen, navigieren Sie zu den Pipeline-Einstellungen und konfigurieren Sie die Set off-Bedingungen nach Bedarf.

Planen der Pipeline

• Mage AI unterstützt die Planung von Pipelines, die in regelmäßigen Abständen ausgeführt werden. Dies kann über die Planungseinstellungen im Mage AI-Dashboard erfolgen.
• Sie können die Häufigkeit (täglich, wöchentlich usw.) und die Ausführungszeit der Pipeline angeben.

Zusätzliche Funktionen von Mage AI

Mage AI bietet mehrere leistungsstarke Funktionen zur Automatisierung und Verbesserung Ihrer Datenpipelines:

• Integration mit mehreren Datenquellen: Mage AI akzeptiert außerdem zahlreiche Arten von Dateneingaben: Datenbanken, Cloud-Speicher und APIs, sodass Sie vielfältige und umfangreiche Datenflüsse erstellen können.
• Erweiterte Transformationsfunktionen: Basierend auf Python bietet Ihnen Mage AI die Möglichkeit, benutzerdefinierte Transformationen mit Hilfe von Dekoratoren zu implementieren, was den Realisierungsprozess verschiedener Datentransformationsalgorithmen erleichtert.
• Skalierbarkeit: Mage AI optimiert Ihren Durchsatz für Large Information und ermöglicht die Verarbeitung zunehmender Datenmengen, während diese wachsen.
• Überwachung und Warnungen: Mage AI bietet eine leistungsstarke Überwachungs- und Warnfunktion und ermöglicht es, den Arbeitsablauf der Pipeline zu überwachen sowie Benachrichtigungen bei Fehlern zu erhalten.
• Benutzerfreundliche Oberfläche: Dank des grafischen Layouts der Datenpipelines müssen sich Benutzer nicht mit komplizierter Codierung befassen, um ihre Daten zu bearbeiten und zu transformieren.

Sie machen Mage AI zu einem Instrument zur Automatisierung der Daten-Workflows sowie der Dateninfrastruktur, sodass Sie nicht viel Zeit darauf verwenden müssen.

Abschluss

Heutzutage sind Informationen ein wertvolles Intestine, weshalb Datenmanagement für Unternehmen unverzichtbar ist. Dieser Artikel bietet klare Anleitungen zur Konfiguration von Mage AI mit PostgreSQL und hilft Ihnen beim Aufbau einer robusten Datenpipeline, die nicht nur mehrere Prozesse rationalisiert, sondern auch die Produktivität deutlich steigert. Mit der Software program-Affiliate ermöglicht die Nutzung von Mage AI zusammen mit robusten Datenbanken wie PostgreSQL Benutzern, in kürzester Zeit die richtigen Entscheidungen zu treffen, zu analysieren und zu verarbeiten. Da Unternehmen ihre Bemühungen um datengesteuerte Methoden und Frameworks verstärkt haben, sind Technologien wie Mage AI im Begriff, die dominierenden Modelle für die Datenverwaltung zu werden.

Häufig gestellte Fragen

Die in diesem Artikel gezeigten Medien sind nicht Eigentum von Analytics Vidhya und werden nach Ermessen des Autors verwendet.