Mit ChatGPT generiertes Bild
Das Neue Lama 3.2 Modelle sind mit Leichtbau- und Imaginative and prescient-Varianten erhältlich. Die Visionsmodelle sind intestine im Bilddenken. Sie nehmen Bilder und Eingabeaufforderungen auf, um eine Antwort zu generieren, während die leichten Modelle sich intestine für die Generierung mehrsprachiger Texte und den Device-Name für Randfälle eignen.
In diesem Tutorial erfahren Sie, wie Sie mit der Msty-Anwendung auf die Modelle Light-weight und Imaginative and prescient Llama 3.2 zugreifen. Msty ist eine kostenlose Chatbot-Desktopanwendung mit zahlreichen Funktionen. Sie können das Open-Supply-Modell herunterladen und verwenden oder über den API-Schlüssel eine Verbindung zu einem On-line-Modell herstellen.
Laden Sie das Msty and Llama 3.2-Modell herunter
Um die Llama 3.2-Modelle lokal auf Ihrem Laptop computer nutzen zu können, müssen wir sie zunächst herunterladen und installieren Msty. Anschließend laden wir das Llama 3.2-Modell herunter.
- Gehen Sie zur Web site msty.app und laden Sie die Msty-Anwendung herunter.
- Installieren Sie es mit den Standardoptionen.
Screenshot von Msty
- Klicken Sie unten hyperlinks auf die Schaltfläche „Einstellungen“, wählen Sie die Registerkarte „Lokale KI“, klicken Sie auf die Schaltfläche „Lokale KI-Modelle verwalten“ und dann auf „On-line-Modelle durchsuchen und herunterladen“.
- Ändern Sie die Registerkarte „Modellanbieter“ in „Hugging Face“ und geben Sie den folgenden Modell-Repository-Hyperlink ein: „bartowski/Llama-3.2-3B-Instruct-GGUF“.
- Wählen Sie die Model „Q4_k_M.gguf“ der Modelldatei aus und klicken Sie auf den Obtain-Button. Der Obtain des vollständigen Modells dauert einige Minuten.
Lokale Verwendung von Llama 3.2 3B Instruct
Nach Abschluss des Downloads navigieren wir zum Chat-Menü und wählen das Modell „Llama-3.2-3B-Instrcut“, um mit der Verwendung zu beginnen.
Schreiben Sie die Beispielaufforderung in die Chatbox und drücken Sie die Eingabetaste.
Eingabeaufforderung: „Was ist der schnellste und beliebteste Sortieralgorithmus? Bitte geben Sie das Codebeispiel an.“
Die Ergebnisse sind recht genau und werden ausführlich erklärt. Ich bin beeindruckt. Das hätte ich von kleineren KI-Modellen nicht erwartet.
Die Antwort warfare mit 99,16 Token professional Sekunde superschnell. Ich bin beeindruckt von der Geschwindigkeit.
Verwendung des Llama 3.2 Imaginative and prescient-Modells mit der Groq-API
Wir werden nun über die Groq-API auf das Llama 3.2-Imaginative and prescient-Modell zugreifen. Derzeit ist keine GGUF-Datei für das Imaginative and prescient-Modell verfügbar, daher müssen wir über den Distant-KI-Modellanbieter auf das Imaginative and prescient-Modell zugreifen.
- Erstellen Sie das Konto auf GroqCloud und generieren Sie den API-Schlüssel.
- Gehen Sie zu den Msty-Einstellungen und klicken Sie auf die Registerkarte „Distant-Modellanbieter“ und dann auf die Schaltfläche „+ Neuen Anbieter hinzufügen“.
- Wählen Sie den Modellanbieter „Groq AI“ aus, fügen Sie dann den API-Schlüssel ein und klicken Sie auf die Schaltfläche „+ Benutzerdefiniertes Modell hinzufügen“. Geben Sie als Nächstes den Modellnamen „llama-3.2-11b-vision-preview“ ein.
- Gehen Sie zum Chat-Menü und wählen Sie das Imaginative and prescient-Modell Groq AI Llama 3.2 aus.
- Fügen Sie das Bild Ihrer Wahl hinzu und geben Sie dann die Eingabeaufforderung in das Chatfeld ein.
Immediate: „Erklären Sie das Bild im Element.“
Das Sehmodell Llama 3.2 beschreibt das Bild recht genau.
Sie können alle Groq AI-Modelle ausprobieren, indem Sie sie einzeln über die Schaltfläche „+ Benutzerdefiniertes Modell hinzufügen“ hinzufügen. Particulars zu den Modellen finden Sie unter GroqCloud.
Abschluss
Die lokale Verwendung von Open-Supply- und Closed-Supply-Chatbot-Desktopanwendungen mit großen Sprachmodellen ist recht einfach und machbar geworden. Auch ohne Internetverbindung können Sie diese Modelle verwenden, um Code zu generieren, Code zu debuggen oder Probleme jeglicher Artwork zu lösen.
In diesem kurzen Tutorial haben wir etwas über die Msty-Desktopanwendung und deren Verwendung für den Zugriff auf lokale und entfernte Llama 3.2-Modelle gelernt. Bitte lassen Sie mich in den Kommentaren wissen, wenn bei der Ausführung dieser Modelle Probleme auftreten.
Abid Ali Awan (@1abidaliawan) ist ein zertifizierter Datenwissenschaftler, der gerne Modelle für maschinelles Lernen erstellt. Derzeit konzentriert er sich auf die Erstellung von Inhalten und das Schreiben technischer Blogs zu maschinellem Lernen und Datenwissenschaftstechnologien. Abid verfügt über einen Grasp-Abschluss in Technologiemanagement und einen Bachelor-Abschluss in Telekommunikationstechnik. Seine Imaginative and prescient ist es, ein KI-Produkt mithilfe eines graphischen neuronalen Netzwerks für Schüler mit psychischen Erkrankungen zu entwickeln.
Unsere Prime 3 Partnerempfehlungen
1. Bestes VPN für Ingenieure – 3 Monate kostenlos – Bleiben Sie on-line sicher mit einer kostenlosen Testversion
2. Bestes Projektmanagement-Device für Tech-Groups – Steigern Sie noch heute die Effizienz Ihres Groups
4. Bestes Passwortverwaltungstool für Tech-Groups – Zero-Belief- und Zero-Information-Sicherheit