3 Methoden zum Ausführen von Llama 3.2

Einführung

Meta hat kürzlich Llama 3.2 auf den Markt gebracht, sein neuestes multimodales Modell. Diese Model bietet ein verbessertes Sprachverständnis, liefert genauere Antworten und generiert qualitativ hochwertigen Textual content. Es kann jetzt Bilder analysieren und interpretieren und ist damit noch vielseitiger beim Verstehen und Reagieren auf verschiedene Eingabetypen! Llama 3.2 ist ein leistungsstarkes Software, das Ihnen bei vielen Dingen helfen kann. Mit seiner blitzschnellen Entwicklung ist dieses neue LLM verspricht, beispiellose Kommunikationsmöglichkeiten freizuschalten. In diesem Artikel tauchen wir in die aufregende Welt von Llama 3.2 ein und erkunden seine drei einzigartigen Laufarten und die unglaublichen Funktionen, die es mit sich bringt. Von der Verbesserung von Edge-KI- und Imaginative and prescient-Aufgaben bis hin zum Angebot leichter Modelle für den Einsatz auf dem Gerät ist Llama 3.2 ein Kraftpaket!

Lernziel

• Verstehen Sie die wichtigsten Fortschritte und Funktionen von Llama 3.2 in der KI-Landschaft.
• Erfahren Sie, wie Sie über verschiedene Plattformen und Methoden auf Llama 3.2 zugreifen und es nutzen können.
• Entdecken Sie die technischen Innovationen, einschließlich Imaginative and prescient-Modellen und leichtgewichtiger Bereitstellungen für Edge-Geräte.
• Gewinnen Sie Einblicke in die praktischen Anwendungen von Llama 3.2, einschließlich Bildverarbeitung und KI-gestützter Kommunikation.
• Entdecken Sie, wie Llama Stack die Entwicklung von Anwendungen mithilfe von Llama-Modellen vereinfacht.

Dieser Artikel wurde im Rahmen der veröffentlicht Information Science-Blogathon.

Was sind Llama 3.2-Modelle?

Llama 3.2 ist Metas jüngster Versuch, die Grenzen der Innovation in der sich ständig verändernden Landschaft der künstlichen Intelligenz zu durchbrechen. Es handelt sich nicht um eine inkrementelle Model, sondern vielmehr um einen bedeutenden Fortschritt in Richtung bahnbrechender Fähigkeiten, der darauf abzielt, die Artwork und Weise, wie wir mit KI interagieren und sie nutzen, neu zu gestalten.

Bei Llama 3.2 geht es nicht darum, das Bestehende schrittweise zu verbessern, sondern die Grenzen der Möglichkeiten für Open-Supply-KI zu erweitern. Imaginative and prescient-Modelle, Edge-Computing-Funktionen und ein Bereich, der sich ausschließlich auf Sicherheit konzentriert, werden Llama 3.2 in eine neue Ära möglicher KI-Anwendungen einführen.

Meta AI erwähnte, dass Llama 3.2 eine Sammlung von ist große Sprachmodelle (LLMs), die vorab trainiert und in den Größen 1B und 3B für mehrsprachigen Textual content sowie in den Größen 11B und 90B für Textual content- und Bildeingaben und Textausgabe optimiert wurden.

Lesen Sie auch: Erste Schritte mit Meta Llama 3.2

Hauptfunktionen und Fortschritte in Llama 3.2

Llama 3.2 bringt eine Vielzahl bahnbrechender Updates mit sich, die die Landschaft der KI verändern. Von leistungsstarken Imaginative and prescient-Modellen bis hin zu optimierter Leistung auf Mobilgeräten – diese Model verschiebt die Grenzen dessen, was KI leisten kann. Hier ist ein Blick auf die wichtigsten Funktionen und Fortschritte, die diese Model auszeichnen.

• Edge- und cellular Bereitstellung: Llama 3.2 verfügt über eine große Auswahl an leichten Modellen, die für den Einsatz am Edge und auf Telefonen gedacht sind. Modelle mit 1B- bis 3B-Parametern bieten beeindruckende Funktionen und bleiben gleichzeitig effizient, und Entwickler können datenschutzfreundliche, persönliche Anwendungen erstellen, die auf dem Shopper ausgeführt werden. Dies könnte den Zugang zur KI endlich revolutionieren und uns ihre Macht entziehen.
• Sicherheit und Verantwortung: Meta bleibt seinem Engagement für eine verantwortungsvolle KI-Entwicklung treu. Llama 3.2 enthält Sicherheitsverbesserungen und bietet Instruments, die Entwicklern und Forschern helfen, potenzielle Risiken im Zusammenhang mit der KI-Bereitstellung zu mindern. Dieser Fokus auf Sicherheit ist von entscheidender Bedeutung, da KI zunehmend in unser tägliches Leben integriert wird.
• Open-Supply-Ethos: Die Offenheit von Llama 3.2 ist ein integraler Bestandteil der KI-Strategie von Meta, die weltweit gefördert werden sollte. Es ermöglicht Zusammenarbeit, Innovation und Demokratisierung in der KI und ermöglicht es Forschern und Entwicklern weltweit, zum weiteren Aufbau von Llama 3.2 beizutragen und so die Geschwindigkeit des KI-Fortschritts zu beschleunigen.

Eingehende technische Untersuchung

Die Architektur von Llama 3.2 führt hochmoderne Innovationen ein, darunter verbesserte Imaginative and prescient-Modelle und optimierte Leistung für Edge Computing. Dieser Abschnitt befasst sich mit den technischen Feinheiten, die diese Fortschritte ermöglichen.

• Imaginative and prescient-Modelle: Die Integration von Imaginative and prescient-Funktionen in Llama 3.2 erforderte eine neuartige Modellarchitektur. Das Staff verwendete Adaptergewichte, um einen vorab trainierten Bildencoder nahtlos mit dem vorab trainierten Sprachmodell zu verbinden. Dadurch kann das Modell sowohl Textual content- als auch Bildeingaben verarbeiten, was ein tieferes Verständnis des Zusammenspiels zwischen Sprache und visuellen Informationen ermöglicht.
• Lama-Stack-Verteilungen: Meta hat auch Llama Stack-Distributionen eingeführt, die eine standardisierte Schnittstelle zum Anpassen und Bereitstellen von Llama-Modellen bereitstellen. Dies vereinfacht den Entwicklungsprozess und ermöglicht es Entwicklern, Agentenanwendungen zu erstellen und RAG-Funktionen (Retrieval-Augmented Era) zu nutzen.

Leistungshighlights und Benchmarks

Llama 3.2 hat in einer Vielzahl von Benchmarks sehr intestine abgeschnitten und seine Fähigkeiten in allen möglichen Bereichen unter Beweis gestellt. Die Visionsmodelle schneiden bei visionsbezogenen Aufgaben wie dem Verstehen von Bildern und dem visuellen Denken außergewöhnlich intestine ab und übertreffen geschlossene Modelle wie Claude 3 Haiku bei einigen Benchmarks. Leichtere Modelle bieten in anderen Bereichen wie der Befolgung von Anweisungen, der Zusammenfassung und der Verwendung von Werkzeugen eine hohe Leistung.

Schauen wir uns nun die folgenden Benchmarks an:

Zugriff auf und Nutzung von Lama 3.2

Entdecken Sie, wie Sie über Downloads, Partnerplattformen oder direkte Integration in das KI-Ökosystem von Meta auf Llama 3.2-Modelle zugreifen und diese bereitstellen können.

• Herunterladen: Sie können die Llama 3.2-Modelle direkt von der offiziellen Llama-Web site (llama.com) oder bei Hugging Face herunterladen. Dadurch können Sie mit den Modellen auf Ihrer eigenen {Hardware} und Infrastruktur experimentieren.
• Partnerplattformen: Meta hat mit vielen Partnerplattformen, darunter großen Cloud-Anbietern und Hardwareherstellern, zusammengearbeitet, um Llama 3.2 für die Entwicklung und Bereitstellung leicht verfügbar zu machen. Diese Plattformen ermöglichen Ihnen den Zugriff auf die Modelle und deren Nutzung sowie deren Infrastruktur und Instruments.
• Meta-KI: Im Textual content wird auch erwähnt, dass Sie diese Modelle mit Metas intelligentem Assistenten Meta AI ausprobieren können. Dies könnte eine bequeme Möglichkeit bieten, mit den Modellen zu interagieren und deren Fähigkeiten zu erleben, ohne dass Sie eine eigene Umgebung einrichten müssen.

Verwendung von Llama 3.2 mit Ollama

Zuerst installieren wir Ollama von Hier. Führen Sie nach der Set up von Ollama Folgendes auf CMD aus:

ollama run llama3.2

#or

ollama run llama3.2:1b

Es lädt die 3B- und 1B-Modelle in Ihr System herunter

Code für Ollama

Installieren Sie diese Abhängigkeiten:

langchain

langchain-ollama

langchain_experimental

from langchain_core.prompts import ChatPromptTemplate

from langchain_ollama.llms import OllamaLLM

def major():

    print("LLama 3.2 ChatBot")

    template = """Query: {query}

    Reply: Let's assume step-by-step."""

    immediate = ChatPromptTemplate.from_template(template)

    mannequin = OllamaLLM(mannequin="llama3.2")

    chain = immediate | mannequin

    whereas True:

        query = enter("Enter your query right here (or kind 'exit' to give up): ")

        if query.decrease() == 'exit':

            break

        print("Pondering...")

        reply = chain.invoke({"query": query})

        print(f"Reply: {reply}")

if __name__ == "__main__":

    major()

Bereitstellung von Llama 3.2 über Groq Cloud

Erfahren Sie, wie Sie Groq Cloud nutzen können, um Llama 3.2 bereitzustellen und einfach und effizient auf seine leistungsstarken Funktionen zuzugreifen.

Besuchen Groq und generieren Sie einen API-Schlüssel.

Ausführen von Llama 3.2 auf Google Colab (llama-3.2-90b-text-preview)

Erfahren Sie, wie Sie Llama 3.2 auf Google Colab ausführen und so mit diesem erweiterten Modell in einer praktischen cloudbasierten Umgebung experimentieren können.

!pip set up groq

from google.colab import userdata

GROQ_API_KEY=userdata.get('GROQ_API_KEY')

from groq import Groq

consumer = Groq(api_key=GROQ_API_KEY)

completion = consumer.chat.completions.create(

    mannequin="llama-3.2-90b-text-preview",

    messages=(

        {

            "position": "consumer",

            "content material": " Why MLops is required. Clarify me like 10 years previous youngster"

        }

    ),

    temperature=1,

    max_tokens=1024,

    top_p=1,

    stream=True,

    cease=None,

)

For chunk in completion:
    print(chunk.selections(0).delta.content material or "", finish="")

Ausführen von Llama 3.2 auf Google Colab (llama-3.2-11b-vision-preview)

from google.colab import userdata

import base64

from groq import Groq

def image_to_base64(image_path):

    """Converts a picture file to base64 encoding."""

    with open(image_path, "rb") as image_file:

        return base64.b64encode(image_file.learn()).decode('utf-8')

# Guarantee you might have set the GROQ_API_KEY in your Colab userdata

consumer = Groq(api_key=userdata.get('GROQ_API_KEY'))

# Specify the trail of your native picture

image_path = "/content material/2.jpg"

# Load and encode your picture

image_base64 = image_to_base64(image_path)

# Make the API request

strive:

    completion = consumer.chat.completions.create(

        mannequin="llama-3.2-11b-vision-preview",

        messages=(

            {

                "position": "consumer",

                "content material": (

                    {

                        "kind": "textual content",

                        "textual content": "what is that this?"

                    },

                    {

                        "kind": "image_url",

                        "image_url": {

                            "url": f"information:picture/jpeg;base64,{image_base64}"

                        }

                    }

                )

            }

        ),

        temperature=1,

        max_tokens=1024,

        top_p=1,

        stream=True,

        cease=None,

    )

    # Course of and print the response

    for chunk in completion:

        if chunk.selections and chunk.selections(0).delta and chunk.selections(0).delta.content material:

            print(chunk.selections(0).delta.content material, finish="")

besides Exception as e:

    print(f"An error occurred: {e}")

Eingabebild

Ausgabe

Abschluss

Metas Llama 3.2 zeigt das Potenzial der Open-Supply-Zusammenarbeit und das unermüdliche Streben nach KI-Fortschritten. Meta erweitert die Grenzen von Sprachmodellen und trägt dazu bei, eine Zukunft zu gestalten, in der KI nicht nur leistungsfähiger, sondern auch zugänglicher, verantwortungsvoller und vorteilhafter für alle ist.

Wenn Sie on-line nach einem Generative AI-Kurs suchen, dann erkunden Sie: GenAI Pinnacle-Programm

Die in diesem Artikel gezeigten Medien sind nicht Eigentum von Analytics Vidhya und werden nach Ermessen des Autors verwendet.

Hallo, ich bin Gourav, ein Information-Science-Fanatic mit mittleren Kenntnissen in statistischer Analyse, maschinellem Lernen und Datenvisualisierung. Meine Reise in die Welt der Daten begann mit der Neugier, Erkenntnisse aus Datensätzen zu gewinnen.