Erstellen Sie Ihren eigenen lokalen KI-Coding-Agenten mit Gemma 4 und OpenCode

gehören mittlerweile zur normalen Entwicklungsarbeit.

Viele Menschen nutzen sie über in der Cloud gehostete Modelle, da dies einfach praktisch ist und sehr leistungsfähige Modelle verwendet werden können.

Wenn es jedoch um die Kostenkontrolle geht, Sie Ihren Code aus Datenschutzgründen nicht in die Cloud senden möchten oder Sie experimentieren und besser verstehen möchten, wie der Agent-Stack tatsächlich funktioniert, sollten Sie es vielleicht mit einer lokalen Einrichtung versuchen.

Darum geht es in diesem Beitrag. Hier richten wir einen lokalen Codierungsagenten mit drei Teilen ein:

• Ollamaum dem Modell zu dienen;
• Gemma 4als lokales LLM;
• OpenCodeals Agentenschnittstelle.

Am Ende werden wir OpenCode mit einem lokalen LLM verbunden haben.

1. Installieren Sie Ollama

Wir beginnen mit der Set up von Ollama, das das Gemma 4-Modell lokal bedienen wird.

Wenn Sie es noch nicht verwendet haben: Ollama ist eine Laufzeit zum Herunterladen, Ausführen und Bereitstellen lokaler Sprachmodelle von Ihrem eigenen Pc. Sobald es eingerichtet ist, stellt Ollama einen lokalen API-Endpunkt bereit. Auf diese Weise können andere Instruments (z. B. OpenCode) direkt mit dem Modell kommunizieren.

Auf Home windows-Rechnern können Sie dies über das offizielle Installationsprogramm tun:

https://ollama.com/obtain

Alternativ können Sie es auch über PowerShell installieren winget:

winget set up Ollama.Ollama

Nach der Set up sollten Sie Ollama im Home windows-Startmenü sehen können. Sie können es wie jede andere App starten. Sobald es ausgeführt wird, sollten Sie das Ollama-Image in der Taskleiste sehen. Dies bedeutet, dass der lokale Ollama-Dienst im Hintergrund ausgeführt wird.

Darüber hinaus können Sie ein neues PowerShell-Fenster öffnen und prüfen, ob die Ollama-CLI verfügbar ist:

ollama --version

Wenn Sie einen Linux-Rechner verwenden, können Sie Ollama wie folgt installieren:

"curl ‒fsSL https://ollama.com/set up.sh | sh"

Überprüfen Sie nach der Set up, ob Ollama verfügbar ist:

ollama --version

Sobald Ollama installiert ist, wird ein lokaler Server auf Ihrem Pc ausgeführt. Später wird OpenCode mit diesem lokalen Ollama-Server kommunizieren, anstatt einen Cloud-Modellanbieter anzurufen.

2. Laden Sie Gemma 4 herunter

Als nächstes bereiten wir ein lokales LLM vor. Für diesen Beitrag verwenden wir Gemma 4.

Gemma 4 ist ein neues offenes Modell, das am 2. April 2026 von Google veröffentlicht wurde. Dieses Modell ist für Argumentation, Codierung, multimodales Verständnis und Agenten-Workflows konzipiert.

Es ist in mehreren Größen erhältlich, darunter kleinere kantenorientierte Varianten und größere arbeitsstationsorientierte Varianten. Da es in diesem Beitrag darum geht, das Modell lokal auf einem Laptop computer auszuführen, richten wir die Edge-freundlichen Varianten ein, additionally das E2B (gemma4:e2b) und E4B (gemma4:e4b) Varianten.

In Ollamas Namensgebung ist das E steht für „effektive“ Parameter.

Für diese exemplarische Vorgehensweise verwende ich das E4B-Modell, da es mehr Möglichkeiten bietet. In PowerShell:

ollama pull gemma4:e4b

Verwenden Sie unter Linux denselben Befehl:

ollama pull gemma4:e4b

Sie können das heruntergeladene Modell überprüfen:

ollama checklist

Auf meinem Rechner meldet Ollama Folgendes:

gemma4:e4b    9.6 GB

Als Referenz: Mein Laptop computer verfügt über eine Intel i7-13800H-CPU, 32 GB RAM und eine NVIDIA RTX 2000 Ada Laptop computer-GPU mit etwa 8 GB VRAM. Sie können wählen gemma4:e2b stattdessen, wenn sich E4B zu langsam anfühlt.

Hier ein paar technische Hinweise. Die Model von gemma4:e4b Das, was wir zuvor heruntergeladen haben, ist ein 4-Bit-quantisiertes Modell mit GGUF als lokales Modellformat, das von Ollama-Laufzeiten verwendet wird. Auf meiner Maschine berichtet Ollama gemma4:e4b unterstützt mit einer Kontextlänge von 128 KB.

Bevor wir zum nächsten Schritt übergehen, können wir einen kurzen Check durchführen:

ollama run gemma4:e4b "what is the capital of France?"

Wenn Sie „Paris“ zurückbekommen, dann herzlichen Glückwunsch, Gemma 4 ist jetzt über Ollama auf Ihrem lokalen Rechner verfügbar.

Beachten Sie, dass der erste Aufruf langsam sein kann, da Ollama das Modell laden muss. Sobald das Modell heat ist, sollten die nächsten Eingabeaufforderungen schneller reagieren.

3. Installieren Sie OpenCode

Als nächstes benötigen wir eine Agentenschnittstelle. Wir werden dafür OpenCode verwenden.

Wenn Sie Instruments wie Claude Code oder Codex verwendet haben, gehört OpenCode zu derselben breiten Kategorie. Sie können es sich als eine Agent-Laufzeitumgebung vorstellen, die innerhalb eines lokalen Repositorys arbeiten, Dateien prüfen, Befehle ausführen und verschiedene Aufgaben ausführen kann.

Ein wichtiger Unterschied, der für uns von Bedeutung ist, besteht darin, dass OpenCode Open Supply und agnostisch gegenüber LLM-Anbietern ist. Sie können es mit Cloud-Modellen (z. B. Claude/GPT/Gemini-Modellen) oder mit einem lokalen Modell verbinden, das von Ollama bereitgestellt wird.

Genau das werden wir hier tun.

Wenn Sie einen Home windows-Pc verwenden, müssen Sie zuerst Node.js installieren. Sie können dies tun über:

winget set up OpenJS.NodeJS.LTS

Unter Linux können Sie Folgendes tun:

sudo apt replace
sudo apt set up -y nodejs npm

Nach der Set up sollten Sie ein neues PowerShell-Fenster öffnen und überprüfen, ob sowohl Node als auch NPM verfügbar sind:

node --version
npm --version

Jetzt können wir OpenCode installieren:

npm set up -g opencode-ai

Überprüfen Sie dann die Set up:

opencode --version

Zu diesem Zeitpunkt ist OpenCode installiert. Sie können die interaktive OpenCode-TUI (Terminal-UI) einfach von jedem Projektordner aus starten, indem Sie Folgendes ausführen:

opencode

4. Verbinden Sie OpenCode mit Gemma 4

Standardmäßig weiß OpenCode nicht, welches Modell wir verwenden möchten. Daher müssen wir es auf das Gemma 4-Modell verweisen, das von Ollama bereitgestellt wird.

Erstellen wir zunächst ein Ollama-Modell-Tag mit aktiviertem Vollkontextfenster (128 KB). Dies ist wichtig, da wir sicherstellen möchten, dass der Agent ordnungsgemäß funktionieren kann, ohne dass er im Kontext abgeschnitten wird.

Das können wir mit einem kleinen Ollama machen Modelfile. Konkret können wir eine Datei mit dem Namen erstellen gemma4-e4b-128k.Modelfile im Ordner/Repo, mit dem wir arbeiten möchten:

FROM gemma4:e4b
PARAMETER num_ctx 131072

Dann erstellen wir in der Befehlszeile ein neues Ollama-Tag durch:

ollama create gemma4:e4b-128k -f gemma4-e4b-128k.Modelfile

Bitte beachten Sie: Dies würde keinen Obtain eines neuen Modells auslösen! Es wird lediglich ein Ollama-Profil erstellt, das dasselbe Gemma 4 E4B-Modell verwendet, das Laufzeitkontextfenster jedoch explizit auf 128 KB festlegt.

Okay, wir können damit fortfahren, OpenCode mit dem Gemma 4-Modell zu verbinden. Dafür müssen wir eine erstellen opencode.json Datei im Projektordner:

{
  "$schema": "https://opencode.ai/config.json",
  "supplier": {
    "ollama": {
      "npm": "@ai-sdk/openai-compatible",
      "identify": "Ollama (native)",
      "choices": {
        "baseURL": "http://localhost:11434/v1"
      },
      "fashions": {
        "gemma4:e4b-128k": {
          "identify": "Gemma 4 E4B 128K"
        }
      }
    }
  },
  "mannequin": "ollama/gemma4:e4b-128k"
}

Zwei wichtige Teile hier:

Zunächst kommuniziert OpenCode mit Ollama über den lokalen OpenAI-kompatiblen Endpunkt von Ollama:

http://localhost:11434/v1

Beachten Sie zweitens, dass wir den Modellnamen festlegen, indem wir dem Anbieter-/Modellformat von OpenCode folgen:

ollama/gemma4:e4b-128k

Sie verwenden oben unser neu erstelltes Mannequin-Tag.

Wenn Sie nun OpenCode aus demselben Projektordner starten über:

opencode

Das solltest du sehen gemma4:e4b-128k aufgeführt.

Jetzt sind wir fertig!

5. Was können Sie mit diesem Setup tun?

Wenn OpenCode TUI gestartet ist, können Sie Ihr Setup testen, indem Sie den Agenten bitten, einige Aufgaben zu erledigen. Sie können den Agenten beispielsweise bitten, eine README-Datei zu schreiben, bestimmte Funktionen zu erklären, Testskripte zu erstellen usw.

Tatsächlich können Sie den Agenten über das Codieren hinaus auch mit vielen Aufgaben im Arbeitsbereich beauftragen, beispielsweise Dateimanipulationen, Inhaltsextraktionen usw.

OpenCode gibt Ihnen auch Raum, das Setup zu erweitern. Sie können auch Instruments mit dem Agenten verbinden, Agentenfähigkeiten mit SKILL.md installieren und spezialisierte Agenten mit AGENTS.md definieren.

Darüber hinaus können Sie Aufgaben über die Befehlszeile ausführen mit:

opencode run "Summarize this repository."

Für eine eher programmatische Nutzung kann OpenCode auch als Server ausgeführt werden, sodass die TUI nicht die einzige Schnittstelle ist.

Und das Wichtigste: Alle Ihre Daten bleiben vollständig lokal.

Relevante OpenCode-Dokumente finden Sie hier:

CLI: https://opencode.ai/docs/cli/

Fähigkeiten: https://opencode.ai/docs/expertise/

MCP: https://opencode.ai/docs/mcp-servers/

Servermodus: https://opencode.ai/docs/server/

Referenz

(1) Gemma-Dokumentation: https://ai.google.dev/gemma/docs

(2) Ollama-Dokumentation: https://docs.ollama.com/

(3) OpenCode-Dokumentation: https://opencode.ai/docs/