Wie laufe ich Deepseek -Modelle vor Ort?

Deepseek hat die KI -Neighborhood im Sturm erobert, wobei bis heute 68 Modelle auf dem Umarmungsgesicht erhältlich sind. Auf diese Familie von Open-Supply-Modellen kann durch Umarmung Gesicht oder Ollama zugegriffen werden, während Deepseek-R1 und Deepseek-V3 direkt für Inferenz verwendet werden können Deepseek Chat. In diesem Weblog werden wir die Modellaufstellung von Deepseek untersuchen und Sie durch das Ausführen dieser Modelle mithilfe von Google Colab und Ollama führen.

Überblick über Deepseek -Modelle

Deepseek bietet eine Vielzahl von Modellen, die jeweils für verschiedene Aufgaben optimiert werden. Im Folgenden finden Sie eine Aufschlüsselung, von der das Modell Ihren Bedürfnissen am besten entspricht:

• Für Entwickler und Programmierer: Der Deepseek-Coder Und Deepseek-Coder-V2 Modelle sind für die ausgelegt für Codierungsaufgaben wie das Schreiben und Debuggencode.
• Für allgemeine Benutzer: Der Deepseek-V3 Modell ist a Vielseitige Choice in der Lage, eine breite Palette von Abfragen abzuwickeln, von Gelegenheitsgespräche Zu Komplexe Inhaltsgenerierung.
• Für Forscher und fortschrittliche Benutzer: Der Deepseek-R1 Modell spezialisiert auf Erweiterte Argumentation und logische Analysesuperb für Problemlösung und Forschungsanwendungen.
• Für Visionsaufgaben: Der Deepseek-Janus Familie und Deepseek-vl Modelle sind auf multimodale Aufgaben zugeschnitteneinschließlich Bildung und Verarbeitung.

Lesen Sie auch: Bauen von AI-Anwendung mit Deepseek-V3

Laufen Deepseek R1 auf Ollama

Schritt 1: Installieren Sie Ollama

Um Deepseek -Modelle auf Ihrem lokalen Pc auszuführen, müssen Sie Ollama installieren:

• Obtain Ollama: Klicken Sie hier, um herunterzuladen
• Für Linux -Benutzer: Führen Sie den folgenden Befehl in Ihrem Terminal aus: bashcopyedit

curl -fsSL https://ollama.com/set up.sh | sh

Schritt 2: Ziehen Sie das Deepseek R1 -Modell ab

Sobald Ollama installiert ist, öffnen Sie Ihre Befehlszeilenschnittstelle (CLI) und ziehen Sie das Modell an:

ollama pull deepseek-r1

Hier können Sie andere Deepseek -Modelle erkunden, die hier auf Ollama verfügbar sind: Ollama Mannequin Search.

Dieser Schritt kann einige Zeit dauern. Warten Sie additionally, bis der Obtain abgeschlossen ist.

Schritt 3: Führen Sie das Modell lokal aus

Sobald das Modell heruntergeladen wurde, können Sie es mit dem Befehl ausführen:

ollama run deepseek-r1:1.5b

Das Modell kann jetzt auf dem lokalen Pc verwendet werden und beantwortet meine Fragen ohne Schluckauf.

Ausführen von Deepseek-Janus-Professional-1b auf Google Colab

In diesem Abschnitt werden wir Deepseek-Janus-Professional-1b mit Google Colab ausprobieren. Stellen Sie vor dem Begin die Laufzeit auf die T4 -GPU ein, um eine optimale Leistung zu erzielen.

Schritt 1: Klonen Sie das Deepseek-Janus-Repository klonen

Führen Sie den folgenden Befehl in einem Colab -Notizbuch aus:

!git clone https://github.com/deepseek-ai/Janus.git

🔗 Erforschen Sie mehr Deepseek -Modelle auf GitHub: Deepseek Ai Github Repository

Schritt 2: Abhängigkeiten installieren

Navigieren Sie zum geklonten Verzeichnis und installieren Sie die erforderlichen Pakete:

%cd Janus
!pip set up -e .
!pip set up flash-attn

Schritt 3: Laden Sie das Modell und verschieben Sie es in die GPU

Jetzt importieren wir die notwendigen Bibliotheken und laden das Modell auf CUDA (GPU):

import torch
from transformers import AutoModelForCausalLM
from janus.fashions import MultiModalityCausalLM, VLChatProcessor
from janus.utils.io import load_pil_images

# Outline mannequin path
model_path = "deepseek-ai/Janus-Professional-1B"

# Load processor and tokenizer
vl_chat_processor = VLChatProcessor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer

# Load mannequin with distant code enabled
vl_gpt = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True)

# Transfer mannequin to GPU
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()

Schritt 4: Übergeben Sie ein Bild zur Verarbeitung

Nun, lasst uns eine verabschieden Bild zum Modell und generieren Sie eine Antwort.

📷 Eingabebild

Initialisierung der Eingabeaufforderung und der Systemrolle

image_path = "/content material/snapshot.png"
query = "What's within the picture?"

dialog = (
    {"function": "<|Consumer|>", "content material": f"<image_placeholder>n{query}", "photos": (image_path)},
    Assistant
)

Verarbeitung der Eingabe

# Load picture
pil_images = load_pil_images(dialog)

# Put together inputs for the mannequin
prepare_inputs = vl_chat_processor(conversations=dialog, photos=pil_images, force_batchify=True).to(vl_gpt.system)
inputs_embeds = vl_gpt.prepare_inputs_embeds(**prepare_inputs)

# Generate response
outputs = vl_gpt.language_model.generate(
    inputs_embeds=inputs_embeds,
    attention_mask=prepare_inputs.attention_mask,
    pad_token_id=tokenizer.eos_token_id,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=512,
    do_sample=False,
    use_cache=True,
)

# Decode and print response
reply = tokenizer.decode(outputs(0).cpu().tolist(), skip_special_tokens=True)
print(f"{prepare_inputs('sft_format')(0)}", reply)

Ausgabe:

<| Benutzer |>:
Was ist im Bild?

<| Assistant |>: Das Bild bietet einen Abschnitt mit dem Titel „Neueste Artikel“ mit einem Fokus auf einen Weblog -Beitrag. In dem Weblog -Beitrag wird erläutert: „Wie kann man Deepseek Janus Professional 7b zugreifen?“ und unterstreicht seine multimodalen KI-Fähigkeiten in Bezug auf Argumentation, Textual content-zu-Picture und Anweisungen. Das Bild enthält auch das Deekseek -Emblem (ein Delphin) und ein sechseckiges Muster im Hintergrund.

Wir können sehen, dass das Modell den Textual content im Bild lesen und auch das Emblem von Deepseek im Bild erkennen kann. Erste Eindrücke, es funktioniert intestine.

Lesen Sie auch: Wie kann man Deepseek Janus Professional 7b zugreifen?

Abschluss

Deepseek entwickelt sich schnell zu einer starken Kraft in der KI und bietet eine breite Palette von Modellen für Entwickler, Forscher und allgemeine Nutzer. Da es mit Branchenriesen wie Openai und Gemini konkurriert, werden seine kostengünstigen und leistungsstarken Modelle wahrscheinlich eine weit verbreitete Akzeptanz gewinnen.

Die Anwendungen von Deekseek -Modellen sind unbegrenzt und reicht von der Codierungshilfe bis hin zu fortschrittlichen Argumentation und multimodalen Funktionen. Mit nahtloser lokaler Ausführung über Ollama und Cloud-basierte Inferenzoptionen ist Deepseek bereit, ein Spielveränderer in der KI-Forschung und -entwicklung zu werden.

Wenn Sie Fragen oder Fragen haben, können Sie im Kommentarbereich gerne im Kommentarbereich gefragt!

Ich bin ein Tech -Fanatic und habe das Vellore Institute of Expertise abgeschlossen. Ich arbeite gerade als Knowledge Science Trainee. Ich interessiere mich sehr für tiefes Lernen und generative KI.