Kimi K2 (von Moonshot AI) und Lama 4 (von Meta) basieren auf dem neuesten Stand der Technik (LLMs) auf der Foundation von offenen Großsprachenmodellen (LLMs) Mischung aus Experten (MOE) Architektur. Jedes Modell ist auf verschiedene Bereiche spezialisiert und richtet sich an fortschrittliche Anwendungsfälle mit unterschiedlichen Stärken und Philosophien. Bis vor einer Woche battle Lama 4 der unbestrittene König der Open-Supply-LLMsAber jetzt sagen viele Leute, dass Kimis neuestes Modell das Beste für sein Geld gibt. In diesem Weblog werden wir diese beiden Modelle für verschiedene Aufgaben testen, um herauszufinden, welches von Kimi K2 gegen Llama 4 das beste Open-Supply-Modell ist. Lassen Sie die Schlacht der Besten beginnen!

Kimi K2 gegen Lama 4: Modellvergleich

Kimi K2 von Moonshot AI ist eine Open-Supply-Mischung aus Experten (MOE) mit 1 Billionen Gesamtparametern mit 32 B aktiven Parametern. Das Modell verfügt über ein 128K -Token -Kontextfenster. Das Modell ist mit dem Myon-Optimierer und Excels bei Aufgaben wie Codierung, Argumentation und Agentenaufgaben wie Device-Integration und mehrstufigen Argumentation ausgebildet.

Lama 4 von Meta AI ist eine Familie von multimodalen Modellen mit Mischung aus Experten, die in drei verschiedenen Varianten veröffentlicht wurden: Scout, Maverick und Gige. Scout verfügt über 17B aktive Parameter & 10 m Token -Fenster. Maverick mit 17 B aktiven Parametern und 1 M Token -Fenster, während das Behemoth (immer noch im Coaching) 288 B aktive Parameter mit insgesamt über 2 Billionen Token anbieten soll! Die Modelle sind mit einer starken Kontextbearbeitung, einer verbesserten Verwaltung sensibler Inhalte und einer geringeren Ablehnungsraten ausgestattet

Um mehr über diese Modelle, ihre Benchmarks und Efficiency zu erfahren, lesen Sie unsere vorherigen Artikel:

Kimi K2 gegen Lama 4: Benchmark -Vergleich

Kimi K2 und Llama 4 sind beide Tischtopper in ihrer Leistung auf verschiedenen Benchmarks. Hier ist eine kurze Aufschlüsselung ihrer Leistung:

Kimi K2 und Lama 4: Wie kann man zugänglich machen?

Um diese Modelle für verschiedene Aufgaben zu testen, werden wir die Chat -Schnittstelle verwenden.

Wählen Sie das Modell aus dem Dropdown -Modell aus der oberen linken Seite des Bildschirms.

Kimi K2 gegen Lama 4: Leistungsvergleich

Nachdem wir verschiedene Modelle und Benchmark -Vergleiche zwischen Kimi K2 und Lama 4 gesehen haben, werden wir sie nun auf verschiedene Funktionen testen, wie:

1. Multimodalität
2. Agentenverhalten und Werkzeuggebrauch
3. Mehrsprachige Fähigkeiten

Aufgabe 1: Multimodalität

• Lama 4: Nativ multimodal (kann gemeinsam Bilder und Textual content verarbeiten), daher perfect für Dokumentanalysen, visuelle Erdung und datenreiche Szenarien.
• Kimi K2: Konzentrieren

Immediate: „Inhalt aus diesem Bild extrahieren“

Ausgabe:

Rezension:

Die von den beiden LLMs erzeugten Ausgänge sind stark unterschiedlich. Mit Lama 4 fühlt es sich so an, als würde es den gesamten Textual content des Bildes wie ein Profi durchlesen. Kimi K2 gibt jedoch an, dass die Handschrift unleserlich ist und nicht gelesen werden kann. Aber wenn Sie genau hinschauen, ist der von Lama bereitgestellte Textual content nicht der gleiche wie der Textual content, der im Bild da battle! Das Modell bildete Textual content an mehreren Stellen (Beispiel – Patientenname, sogar Diagnose), was das Spitzenniveau der LLM -Halluzination ist.

Auf dem Gesicht kann es sich so anfühlen, als würden wir eine detaillierte Bildanalyse erhalten, aber die Ausgabe von Lama 4 ist verpflichtet, Sie zu betrogen. Während Kimi K2 – von Anfang an – erwähnt, dass es nicht verstehen kann, was geschrieben ist, ist diese bittere Wahrheit viel besser als eine schöne Lüge.

Wenn es additionally um die Bildanalyse geht, kämpfen sowohl Kimi K2 als auch Lama 4 immer noch und können komplexe Bilder nicht richtig lesen.

Aufgabe 2: Agentenverhalten und Werkzeuggebrauch

• Kimi K2: Speziell nach agenten-Workflows nachgebildet-kann Absichten ausführen, Shell-Befehle unabhängig ausführen, Apps/Web sites erstellen, APIs aufrufen, Datenwissenschaft automatisieren und mehrstufige Workflows außerhalb der Field durchführen.
• Lama 4: Obwohl es intestine in Logik, Sehvermögen und Analyse ist, ist sein agentisches Verhalten nicht so stark oder offen (meist multimodales Denken).

Immediate: „Finden Sie heute die Prime 5 Aktien von NSE und sagen Sie mir, wie am 12. Januar 2025 ihr Aktienkurs battle?”

Ausgabe:

Rezension:

Lama 4 ist für diese Aufgabe nicht bereit. Es fehlen die agierenden Funktionen, und daher kann es nicht auf das Net -Search -Device zugreifen, um auf die für die Eingabeaufforderung erforderlichen Erkenntnisse zuzugreifen. Jetzt, als er auf den ersten Blick zu Kimi K2 kommt, scheint es, dass Kimi K2 den Job gemacht hat! Hier ist jedoch eine genauere Überprüfung erforderlich. Es ist in der Lage, verschiedene Instruments basierend auf der Aufgabe zu verwenden, die Aufgabe jedoch nicht richtig verstanden hat. Es wurde erwartet, dass es heute nach den Prime -Aktienkünstlern suchen und ihre Preise für den 12. Januar 2025 angibt. Stattdessen gab es nur eine Liste der Prime -Performer vom 12. Januar 2025. Agentic – ja! Aber klug – nicht so sehr – Kimi K2 ist einfach in Ordnung.

Aufgabe 3: Mehrsprachige Fähigkeiten

• Lama 4: Ausgebildet auf Daten für 200 verschiedene Sprachen, einschließlich solider multisprachiger und bringlicher Fähigkeiten.
• Kimi K2: Globale Unterstützung, aber besonders stark in Chinesisch und Englisch (höchste Punktzahlen für chinesische Sprachbenchmarks).

Immediate: „Übersetzen Sie den Inhalt des PDF in Hindi.PDF -Hyperlink“

Notiz: Um LLAMA 4 für diese Eingabeaufforderung zu testen, können Sie auch ein Bild des PDF aufnehmen und teilen, da die meisten kostenlosen LLM -Anbieter nicht zulassen, dass Dokumente in ihrem freien Plan hochgeladen werden.

Ausgabe:

Rezension:

Bei dieser Aufgabe wurden beide Modelle gleich intestine abgebildet. Sowohl Lama 4 als auch Kimi K2 übersetzen Französisch effizient in Hindi. Beide Modelle erkannten auch die Quelle des Gedichts. Die von beiden Modellen erzeugte Antwort battle gleich und korrekt. Wenn es additionally um mehrsprachige Unterstützung geht, ist Kimi K2 so intestine wie Lama 4.

Open-Supply-Natur und Kosten

Kimi K2: Vollständig offene Supply kann lokal eingesetzt werden, Gewichte und API stehen allen zur Verfügung. Die Kosten für Inferenz und API sind erheblich niedriger (0,15 bis 0,60 $/1m Enter-Token, 2,50 USD/1-Mio.-Ausgangs-Token).

Lama 4: Nur im Rahmen einer Group-Lizenz verfügbar (Beschränkungen können nach Area auftreten), etwas höhere Infrastrukturanforderungen aufgrund der Kontextgröße, und für selbst gehostete Produktionsnutzungsfälle manchmal weniger flexibel.

Abschlussfazit:

• Verwenden Sie Kimi K2: Wenn Sie eine Excessive-Finish-Codierung, Argumentation und Agentenautomatisierung wünschen, insbesondere wenn Sie die vollständige Verfügbarkeit von Open-Supply, extrem niedrige Kosten und lokale Bereitstellung bewerten. Kimi K2 steht derzeit bei wichtigen Maßnahmen voran, wenn Sie ein Entwickler sind, der Excessive-Finish-Instruments, Workflows oder LLMs mit einem Finances einsetzt.
• Verwenden Sie Lama 4: Wenn Sie ein extrem großes Kontextgedächtnis, ein großes Verständnis der Sprache und die Verfügbarkeit von Open Supply benötigen. Es unterscheidet sich in visuellen Analysen, Dokumentenverarbeitung und Cross-Modal Analysis/Enterprise-Aufgaben.

Abschluss

Zu sagen, Kimi K2 ist besser als Lama 4 könnte nur eine Überbeamte sein. Beide Modelle haben ihre Vor- und Nachteile. Lama 4 ist sehr schnell, während Kimi K2 ziemlich umfassend ist. Lama 4 ist anfälliger, sich die Dinge zu erfinden, während Kimi K2 sich vor dem Versuch scheuen könnte. Beide sind großartige Open-Supply-Modelle und bieten Benutzern eine Reihe von Funktionen, die mit denen von Closed-Supply-Modellen wie GPT 4O, Gemini 2.0 Flash und mehr vergleichbar sind. Eine von den beiden auszuwählen ist etwas schwierig, aber Sie können den Anruf basierend auf Ihrer Aufgabe entgegennehmen.

Oder probieren Sie sie beide und sehen Sie, welche Sie besser mögen?

Kleine Sprachmodelle (SLMs) haben einen erheblichen Einfluss auf die KI. Sie bieten eine starke Leistung und sind gleichzeitig effizient und kostengünstig. Ein herausragendes Beispiel ist der Llama 3.2 3B. Es schneidet bei Retrieval-Augmented Technology (RAG)-Aufgaben außergewöhnlich intestine ab und senkt die Rechenkosten und den Speicherverbrauch bei gleichzeitig hoher Genauigkeit. In diesem Artikel wird die Feinabstimmung des Llama 3.2 3B-Modells erläutert. Erfahren Sie, wie kleinere Modelle bei RAG-Aufgaben hervorragende Leistungen erbringen und die Grenzen dessen erweitern können, was kompakte KI-Lösungen leisten können.

Was ist Lama 3.2 3B?

Das von Meta entwickelte Llama 3.2 3B-Modell ist ein mehrsprachiges SLM mit 3 Milliarden Parametern, das für Aufgaben wie Fragenbeantwortung, Zusammenfassung und Dialogsysteme entwickelt wurde. Es übertrifft viele Open-Supply-Modelle bei Branchen-Benchmarks und unterstützt verschiedene Sprachen. Llama 3.2 ist in verschiedenen Größen erhältlich und bietet eine effiziente Rechenleistung sowie quantisierte Versionen für eine schnellere, speichereffiziente Bereitstellung in mobilen und Edge-Umgebungen.

Lesen Sie auch: Die 13 besten Small Language Fashions (SLMs)

Feinabstimmung von Lama 3.2 3B

Eine Feinabstimmung ist für die Anpassung von SLM oder LLMs an bestimmte Bereiche oder Aufgaben, beispielsweise medizinische, rechtliche oder RAG-Anwendungen, unerlässlich. Während das Vortraining es Sprachmodellen ermöglicht, Texte zu verschiedenen Themen zu generieren, trainiert die Feinabstimmung das Modell erneut auf domänen- oder aufgabenspezifischen Daten, um Relevanz und Leistung zu verbessern. Um den hohen Rechenaufwand für die Feinabstimmung aller Parameter zu bewältigen, konzentrieren sich Techniken wie Parameter Environment friendly Advantageous-Tuning (PEFT) darauf, nur eine Teilmenge der Parameter des Modells zu trainieren und so die Ressourcennutzung zu optimieren und gleichzeitig die Leistung aufrechtzuerhalten.

LoRA

Eine solche PEFT-Methode ist Low Rank Adaptation (LoRA).

In Lora wird die Gewichtsmatrix in SLM oder LLM in ein Produkt aus zwei Matrizen mit niedrigem Rang zerlegt.

W = WA * WB

Wenn W m Zeilen und n Spalten hat, kann es in WA mit m Zeilen und r Spalten und WB mit r Zeilen und n Spalten zerlegt werden. Hier ist r viel kleiner als m oder n. Anstatt additionally m*n Werte zu trainieren, können wir nur r*(m+n) Werte trainieren. r heißt Rang und ist der Hyperparameter, den wir wählen können.

def lora_linear(x):
h = x @ W # common linear
h += scale * (x @ W_A @ W_B) # low-rank replace
return h

Kasse: Parametereffiziente Feinabstimmung großer Sprachmodelle mit LoRA und QLoRA

Lassen Sie uns LoRA auf dem Llama 3.2 3B-Modell implementieren.

Bibliotheken erforderlich

• unsloth – 2024.12.9
• Datensätze – 3.1.0

Durch die Set up der oben genannten Sloth-Model werden auch die kompatiblen Pytorch-, Transformer- und Nvidia-GPU-Bibliotheken installiert. Wir können Google Colab verwenden, um auf die GPU zuzugreifen.

Schauen wir uns jetzt die Umsetzung an!

Importieren Sie die Bibliotheken

from unsloth import FastLanguageModel, is_bfloat16_supported, train_on_responses_only

from datasets import load_dataset, Dataset

from trl import SFTTrainer, apply_chat_template

from transformers import TrainingArguments, DataCollatorForSeq2Seq, TextStreamer

import torch

Initialisieren Sie das Modell und die Tokenizer

max_seq_length = 2048 
dtype = None # None for auto-detection.
load_in_4bit = True # Use 4bit quantization to cut back reminiscence utilization. May be False.

mannequin, tokenizer = FastLanguageModel.from_pretrained(
	model_name = "unsloth/Llama-3.2-3B-Instruct",
	max_seq_length = max_seq_length,
	dtype = dtype,
	load_in_4bit = load_in_4bit,
	# token = "hf_...", # use if utilizing gated fashions like meta-llama/Llama-3.2-11b
)

Weitere von Unsloth unterstützte Modelle finden Sie hier dieses Dokument.

Initialisieren Sie das Modell für PEFT

mannequin = FastLanguageModel.get_peft_model(
	mannequin,
	r = 16,
	target_modules = ("q_proj", "k_proj", "v_proj", "o_proj",
                  	"gate_proj", "up_proj", "down_proj",),
	lora_alpha = 16,
	lora_dropout = 0, 
	bias = "none",
	use_gradient_checkpointing = "unsloth",
	random_state = 42,
	use_rslora = False, 
	loftq_config = None,
)

Beschreibung für jeden Parameter

• r: Rang von LoRA; Höhere Werte verbessern die Genauigkeit, verbrauchen aber mehr Speicher (empfohlen: 8–128).
• target_modules: Module zur Feinabstimmung; Beziehen Sie alles ein, um bessere Ergebnisse zu erzielen
• lora_alpha: Skalierungsfaktor; typischerweise gleich oder doppelt so hoch wie der Rang r.
• lora_dropout: Abbrecherquote; Für optimiertes und schnelleres Coaching auf 0 setzen.
• Bias: Bias-Typ; „none“ ist auf Geschwindigkeit und minimale Überanpassung optimiert.
• use_gradient_checkpointing: Reduziert den Speicher für Langkontexttraining; „unsloth“ ist sehr zu empfehlen.
• random_state: Seed für deterministische Läufe, um reproduzierbare Ergebnisse sicherzustellen (z. B. 42).
• use_rslora: Automatisiert die Alpha-Auswahl; nützlich für rangstabilisiertes LoRA.
• loftq_config: Initialisiert LoRA mit High-r-Singulärvektoren für eine bessere Genauigkeit, obwohl speicherintensiv.

Datenverarbeitung

Wir werden die RAG-Daten zur Feinabstimmung verwenden. Laden Sie die Daten von Huggingface herunter.

dataset = load_dataset("neural-bridge/rag-dataset-1200", break up = "prepare")

Der Datensatz verfügt über die folgenden drei Schlüssel:

Datensatz({ Options: (‚Kontext‘, ‚Frage‘, ‚Antwort‘), num_rows: 960 })

Die Daten müssen je nach Sprachmodell in einem bestimmten Format vorliegen. Weitere Particulars lesen Hier.

Additionally konvertieren wir die Daten in das erforderliche Format:

def convert_dataset_to_dict(dataset):
    dataset_dict = {
        "immediate": (),
        "completion": ()
    }

    for row in dataset:
        user_content = f"Context: {row('context')}nQuestion: {row('query')}"
        assistant_content = row('reply')

        dataset_dict("immediate").append((
            {"function": "person", "content material": user_content}
        ))
        dataset_dict("completion").append((
            {"function": "assistant", "content material": assistant_content}
        ))
    return dataset_dict
    
    
converted_data = convert_dataset_to_dict(dataset)
dataset = Dataset.from_dict(converted_data)
dataset = dataset.map(apply_chat_template, fn_kwargs={"tokenizer": tokenizer})

Die Datensatznachricht lautet wie folgt:

Einrichten der Trainerparameter

Wir können den Coach für die Feinabstimmung des SLM initialisieren:

coach = SFTTrainer(
	mannequin = mannequin,
	tokenizer = tokenizer,
	train_dataset = dataset,
	max_seq_length = max_seq_length,
	data_collator = DataCollatorForSeq2Seq(tokenizer = tokenizer),
	dataset_num_proc = 2,
	packing = False, # Could make coaching 5x sooner for brief sequences.
	args = TrainingArguments(
    	per_device_train_batch_size = 2,
    	gradient_accumulation_steps = 4,
    	warmup_steps = 5,
    	# num_train_epochs = 1, # Set this for 1 full coaching run.
    	max_steps = 6, # utilizing small quantity to check
    	learning_rate = 2e-4,
    	fp16 = not is_bfloat16_supported(),
    	bf16 = is_bfloat16_supported(),
    	logging_steps = 1,
    	optim = "adamw_8bit",
    	weight_decay = 0.01,
    	lr_scheduler_type = "linear",
    	seed = 3407,
    	output_dir = "outputs",
    	report_to = "none", # Use this for WandB and so forth
	),
)

Beschreibung einiger Parameter:

• per_device_train_batch_size: Stapelgröße professional Gerät; erhöhen, um mehr GPU-Speicher zu nutzen, aber achten Sie auf Ineffizienzen beim Auffüllen (empfohlen: 2).
• gradient_accumulation_steps: Simuliert größere Stapelgrößen ohne zusätzliche Speichernutzung; Erhöhung für glattere Verlustkurven (empfohlen: 4).
• max_steps: Gesamte Trainingsschritte; Stellen Sie es für schnellere Läufe ein (z. B. 60) oder verwenden Sie „num_train_epochs“ für vollständige Datensatzdurchläufe (z. B. 1–3).
• learning_rate: Steuert Trainingsgeschwindigkeit und Konvergenz; Niedrigere Raten (z. B. 2e-4) verbessern die Genauigkeit, verlangsamen jedoch das Coaching.

Lassen Sie das Modell nur auf Antworten trainieren, indem Sie die Antwortvorlage angeben:

coach = train_on_responses_only(
	coach,
	instruction_part = "<|start_header_id|>person<|end_header_id|>nn",
	response_part = "<|start_header_id|>assistant<|end_header_id|>nn",
)

Feinabstimmung des Modells

trainer_stats = coach.prepare()

Hier sind die Trainingsstatistiken:

Testen und speichern Sie das Modell

Lassen Sie uns das Modell zur Schlussfolgerung verwenden:

FastLanguageModel.for_inference(mannequin)

messages = (
	{"function": "person", "content material": "Context: The sky is usually clear throughout the day. Query: What colour is the water?"},
)
inputs = tokenizer.apply_chat_template(
	messages,
	tokenize = True,
	add_generation_prompt = True,
	return_tensors = "pt",
).to("cuda")

text_streamer = TextStreamer(tokenizer, skip_prompt = True)
_ = mannequin.generate(input_ids = inputs, streamer = text_streamer, max_new_tokens = 128,
               	use_cache = True, temperature = 1.5, min_p = 0.1)

Um die trainierten Gewichte einschließlich LoRA zu speichern, verwenden Sie den folgenden Code

mannequin.save_pretrained_merged("mannequin", tokenizer, save_method = "merged_16bit")

Kasse: Leitfaden zur Feinabstimmung großer Sprachmodelle

Abschluss

Die Feinabstimmung von Llama 3.2 3B für RAG-Aufgaben zeigt die Effizienz kleinerer Modelle bei der Bereitstellung hoher Leistung bei reduzierten Rechenkosten. Techniken wie LoRA optimieren die Ressourcennutzung und wahren gleichzeitig die Genauigkeit. Dieser Ansatz ermöglicht domänenspezifische Anwendungen, macht fortschrittliche KI zugänglicher, skalierbarer und kostengünstiger, treibt Innovationen in der abrufgestützten Generierung voran und demokratisiert KI für reale Herausforderungen.

Lesen Sie auch: Erste Schritte mit Meta Llama 3.2

Häufig gestellte Fragen

Mit ChatGPT generiertes Bild

Das Neue Lama 3.2 Modelle sind mit Leichtbau- und Imaginative and prescient-Varianten erhältlich. Die Visionsmodelle sind intestine im Bilddenken. Sie nehmen Bilder und Eingabeaufforderungen auf, um eine Antwort zu generieren, während die leichten Modelle sich intestine für die Generierung mehrsprachiger Texte und den Device-Name für Randfälle eignen.

In diesem Tutorial erfahren Sie, wie Sie mit der Msty-Anwendung auf die Modelle Light-weight und Imaginative and prescient Llama 3.2 zugreifen. Msty ist eine kostenlose Chatbot-Desktopanwendung mit zahlreichen Funktionen. Sie können das Open-Supply-Modell herunterladen und verwenden oder über den API-Schlüssel eine Verbindung zu einem On-line-Modell herstellen.

Laden Sie das Msty and Llama 3.2-Modell herunter

Um die Llama 3.2-Modelle lokal auf Ihrem Laptop computer nutzen zu können, müssen wir sie zunächst herunterladen und installieren Msty. Anschließend laden wir das Llama 3.2-Modell herunter.

1. Gehen Sie zur Web site msty.app und laden Sie die Msty-Anwendung herunter.
2. Installieren Sie es mit den Standardoptionen.

Screenshot von Msty

3. Klicken Sie unten hyperlinks auf die Schaltfläche „Einstellungen“, wählen Sie die Registerkarte „Lokale KI“, klicken Sie auf die Schaltfläche „Lokale KI-Modelle verwalten“ und dann auf „On-line-Modelle durchsuchen und herunterladen“.

4. Ändern Sie die Registerkarte „Modellanbieter“ in „Hugging Face“ und geben Sie den folgenden Modell-Repository-Hyperlink ein: „bartowski/Llama-3.2-3B-Instruct-GGUF“.
5. Wählen Sie die Model „Q4_k_M.gguf“ der Modelldatei aus und klicken Sie auf den Obtain-Button. Der Obtain des vollständigen Modells dauert einige Minuten.

Lokale Verwendung von Llama 3.2 3B Instruct

Nach Abschluss des Downloads navigieren wir zum Chat-Menü und wählen das Modell „Llama-3.2-3B-Instrcut“, um mit der Verwendung zu beginnen.

Schreiben Sie die Beispielaufforderung in die Chatbox und drücken Sie die Eingabetaste.

Eingabeaufforderung: „Was ist der schnellste und beliebteste Sortieralgorithmus? Bitte geben Sie das Codebeispiel an.“

Die Ergebnisse sind recht genau und werden ausführlich erklärt. Ich bin beeindruckt. Das hätte ich von kleineren KI-Modellen nicht erwartet.

Die Antwort warfare mit 99,16 Token professional Sekunde superschnell. Ich bin beeindruckt von der Geschwindigkeit.

Verwendung des Llama 3.2 Imaginative and prescient-Modells mit der Groq-API

Wir werden nun über die Groq-API auf das Llama 3.2-Imaginative and prescient-Modell zugreifen. Derzeit ist keine GGUF-Datei für das Imaginative and prescient-Modell verfügbar, daher müssen wir über den Distant-KI-Modellanbieter auf das Imaginative and prescient-Modell zugreifen.

1. Erstellen Sie das Konto auf GroqCloud und generieren Sie den API-Schlüssel.
2. Gehen Sie zu den Msty-Einstellungen und klicken Sie auf die Registerkarte „Distant-Modellanbieter“ und dann auf die Schaltfläche „+ Neuen Anbieter hinzufügen“.
3. Wählen Sie den Modellanbieter „Groq AI“ aus, fügen Sie dann den API-Schlüssel ein und klicken Sie auf die Schaltfläche „+ Benutzerdefiniertes Modell hinzufügen“. Geben Sie als Nächstes den Modellnamen „llama-3.2-11b-vision-preview“ ein.

4. Gehen Sie zum Chat-Menü und wählen Sie das Imaginative and prescient-Modell Groq AI Llama 3.2 aus.
5. Fügen Sie das Bild Ihrer Wahl hinzu und geben Sie dann die Eingabeaufforderung in das Chatfeld ein.

Immediate: „Erklären Sie das Bild im Element.“

Das Sehmodell Llama 3.2 beschreibt das Bild recht genau.

Sie können alle Groq AI-Modelle ausprobieren, indem Sie sie einzeln über die Schaltfläche „+ Benutzerdefiniertes Modell hinzufügen“ hinzufügen. Particulars zu den Modellen finden Sie unter GroqCloud.

Abschluss

Die lokale Verwendung von Open-Supply- und Closed-Supply-Chatbot-Desktopanwendungen mit großen Sprachmodellen ist recht einfach und machbar geworden. Auch ohne Internetverbindung können Sie diese Modelle verwenden, um Code zu generieren, Code zu debuggen oder Probleme jeglicher Artwork zu lösen.

In diesem kurzen Tutorial haben wir etwas über die Msty-Desktopanwendung und deren Verwendung für den Zugriff auf lokale und entfernte Llama 3.2-Modelle gelernt. Bitte lassen Sie mich in den Kommentaren wissen, wenn bei der Ausführung dieser Modelle Probleme auftreten.

Abid Ali Awan (@1abidaliawan) ist ein zertifizierter Datenwissenschaftler, der gerne Modelle für maschinelles Lernen erstellt. Derzeit konzentriert er sich auf die Erstellung von Inhalten und das Schreiben technischer Blogs zu maschinellem Lernen und Datenwissenschaftstechnologien. Abid verfügt über einen Grasp-Abschluss in Technologiemanagement und einen Bachelor-Abschluss in Telekommunikationstechnik. Seine Imaginative and prescient ist es, ein KI-Produkt mithilfe eines graphischen neuronalen Netzwerks für Schüler mit psychischen Erkrankungen zu entwickeln.

1. Bestes VPN für Ingenieure – 3 Monate kostenlos – Bleiben Sie on-line sicher mit einer kostenlosen Testversion

2. Bestes Projektmanagement-Device für Tech-Groups – Steigern Sie noch heute die Effizienz Ihres Groups

4. Bestes Passwortverwaltungstool für Tech-Groups – Zero-Belief- und Zero-Information-Sicherheit

Einführung

Meta hat kürzlich Llama 3.2 auf den Markt gebracht, sein neuestes multimodales Modell. Diese Model bietet ein verbessertes Sprachverständnis, liefert genauere Antworten und generiert qualitativ hochwertigen Textual content. Es kann jetzt Bilder analysieren und interpretieren und ist damit noch vielseitiger beim Verstehen und Reagieren auf verschiedene Eingabetypen! Llama 3.2 ist ein leistungsstarkes Software, das Ihnen bei vielen Dingen helfen kann. Mit seiner blitzschnellen Entwicklung ist dieses neue LLM verspricht, beispiellose Kommunikationsmöglichkeiten freizuschalten. In diesem Artikel tauchen wir in die aufregende Welt von Llama 3.2 ein und erkunden seine drei einzigartigen Laufarten und die unglaublichen Funktionen, die es mit sich bringt. Von der Verbesserung von Edge-KI- und Imaginative and prescient-Aufgaben bis hin zum Angebot leichter Modelle für den Einsatz auf dem Gerät ist Llama 3.2 ein Kraftpaket!

Lernziel

• Verstehen Sie die wichtigsten Fortschritte und Funktionen von Llama 3.2 in der KI-Landschaft.
• Erfahren Sie, wie Sie über verschiedene Plattformen und Methoden auf Llama 3.2 zugreifen und es nutzen können.
• Entdecken Sie die technischen Innovationen, einschließlich Imaginative and prescient-Modellen und leichtgewichtiger Bereitstellungen für Edge-Geräte.
• Gewinnen Sie Einblicke in die praktischen Anwendungen von Llama 3.2, einschließlich Bildverarbeitung und KI-gestützter Kommunikation.
• Entdecken Sie, wie Llama Stack die Entwicklung von Anwendungen mithilfe von Llama-Modellen vereinfacht.

Dieser Artikel wurde im Rahmen der veröffentlicht Information Science-Blogathon.

Was sind Llama 3.2-Modelle?

Llama 3.2 ist Metas jüngster Versuch, die Grenzen der Innovation in der sich ständig verändernden Landschaft der künstlichen Intelligenz zu durchbrechen. Es handelt sich nicht um eine inkrementelle Model, sondern vielmehr um einen bedeutenden Fortschritt in Richtung bahnbrechender Fähigkeiten, der darauf abzielt, die Artwork und Weise, wie wir mit KI interagieren und sie nutzen, neu zu gestalten.

Bei Llama 3.2 geht es nicht darum, das Bestehende schrittweise zu verbessern, sondern die Grenzen der Möglichkeiten für Open-Supply-KI zu erweitern. Imaginative and prescient-Modelle, Edge-Computing-Funktionen und ein Bereich, der sich ausschließlich auf Sicherheit konzentriert, werden Llama 3.2 in eine neue Ära möglicher KI-Anwendungen einführen.

Meta AI erwähnte, dass Llama 3.2 eine Sammlung von ist große Sprachmodelle (LLMs), die vorab trainiert und in den Größen 1B und 3B für mehrsprachigen Textual content sowie in den Größen 11B und 90B für Textual content- und Bildeingaben und Textausgabe optimiert wurden.

Lesen Sie auch: Erste Schritte mit Meta Llama 3.2

Hauptfunktionen und Fortschritte in Llama 3.2

Llama 3.2 bringt eine Vielzahl bahnbrechender Updates mit sich, die die Landschaft der KI verändern. Von leistungsstarken Imaginative and prescient-Modellen bis hin zu optimierter Leistung auf Mobilgeräten – diese Model verschiebt die Grenzen dessen, was KI leisten kann. Hier ist ein Blick auf die wichtigsten Funktionen und Fortschritte, die diese Model auszeichnen.

• Edge- und cellular Bereitstellung: Llama 3.2 verfügt über eine große Auswahl an leichten Modellen, die für den Einsatz am Edge und auf Telefonen gedacht sind. Modelle mit 1B- bis 3B-Parametern bieten beeindruckende Funktionen und bleiben gleichzeitig effizient, und Entwickler können datenschutzfreundliche, persönliche Anwendungen erstellen, die auf dem Shopper ausgeführt werden. Dies könnte den Zugang zur KI endlich revolutionieren und uns ihre Macht entziehen.
• Sicherheit und Verantwortung: Meta bleibt seinem Engagement für eine verantwortungsvolle KI-Entwicklung treu. Llama 3.2 enthält Sicherheitsverbesserungen und bietet Instruments, die Entwicklern und Forschern helfen, potenzielle Risiken im Zusammenhang mit der KI-Bereitstellung zu mindern. Dieser Fokus auf Sicherheit ist von entscheidender Bedeutung, da KI zunehmend in unser tägliches Leben integriert wird.
• Open-Supply-Ethos: Die Offenheit von Llama 3.2 ist ein integraler Bestandteil der KI-Strategie von Meta, die weltweit gefördert werden sollte. Es ermöglicht Zusammenarbeit, Innovation und Demokratisierung in der KI und ermöglicht es Forschern und Entwicklern weltweit, zum weiteren Aufbau von Llama 3.2 beizutragen und so die Geschwindigkeit des KI-Fortschritts zu beschleunigen.

Eingehende technische Untersuchung

Die Architektur von Llama 3.2 führt hochmoderne Innovationen ein, darunter verbesserte Imaginative and prescient-Modelle und optimierte Leistung für Edge Computing. Dieser Abschnitt befasst sich mit den technischen Feinheiten, die diese Fortschritte ermöglichen.

• Imaginative and prescient-Modelle: Die Integration von Imaginative and prescient-Funktionen in Llama 3.2 erforderte eine neuartige Modellarchitektur. Das Staff verwendete Adaptergewichte, um einen vorab trainierten Bildencoder nahtlos mit dem vorab trainierten Sprachmodell zu verbinden. Dadurch kann das Modell sowohl Textual content- als auch Bildeingaben verarbeiten, was ein tieferes Verständnis des Zusammenspiels zwischen Sprache und visuellen Informationen ermöglicht.
• Lama-Stack-Verteilungen: Meta hat auch Llama Stack-Distributionen eingeführt, die eine standardisierte Schnittstelle zum Anpassen und Bereitstellen von Llama-Modellen bereitstellen. Dies vereinfacht den Entwicklungsprozess und ermöglicht es Entwicklern, Agentenanwendungen zu erstellen und RAG-Funktionen (Retrieval-Augmented Era) zu nutzen.

Leistungshighlights und Benchmarks

Llama 3.2 hat in einer Vielzahl von Benchmarks sehr intestine abgeschnitten und seine Fähigkeiten in allen möglichen Bereichen unter Beweis gestellt. Die Visionsmodelle schneiden bei visionsbezogenen Aufgaben wie dem Verstehen von Bildern und dem visuellen Denken außergewöhnlich intestine ab und übertreffen geschlossene Modelle wie Claude 3 Haiku bei einigen Benchmarks. Leichtere Modelle bieten in anderen Bereichen wie der Befolgung von Anweisungen, der Zusammenfassung und der Verwendung von Werkzeugen eine hohe Leistung.

Schauen wir uns nun die folgenden Benchmarks an:

Zugriff auf und Nutzung von Lama 3.2

Entdecken Sie, wie Sie über Downloads, Partnerplattformen oder direkte Integration in das KI-Ökosystem von Meta auf Llama 3.2-Modelle zugreifen und diese bereitstellen können.

• Herunterladen: Sie können die Llama 3.2-Modelle direkt von der offiziellen Llama-Web site (llama.com) oder bei Hugging Face herunterladen. Dadurch können Sie mit den Modellen auf Ihrer eigenen {Hardware} und Infrastruktur experimentieren.
• Partnerplattformen: Meta hat mit vielen Partnerplattformen, darunter großen Cloud-Anbietern und Hardwareherstellern, zusammengearbeitet, um Llama 3.2 für die Entwicklung und Bereitstellung leicht verfügbar zu machen. Diese Plattformen ermöglichen Ihnen den Zugriff auf die Modelle und deren Nutzung sowie deren Infrastruktur und Instruments.
• Meta-KI: Im Textual content wird auch erwähnt, dass Sie diese Modelle mit Metas intelligentem Assistenten Meta AI ausprobieren können. Dies könnte eine bequeme Möglichkeit bieten, mit den Modellen zu interagieren und deren Fähigkeiten zu erleben, ohne dass Sie eine eigene Umgebung einrichten müssen.

Verwendung von Llama 3.2 mit Ollama

Zuerst installieren wir Ollama von Hier. Führen Sie nach der Set up von Ollama Folgendes auf CMD aus:

ollama run llama3.2

#or

ollama run llama3.2:1b

Es lädt die 3B- und 1B-Modelle in Ihr System herunter

Code für Ollama

Installieren Sie diese Abhängigkeiten:

langchain

langchain-ollama

langchain_experimental

from langchain_core.prompts import ChatPromptTemplate

from langchain_ollama.llms import OllamaLLM

def major():

    print("LLama 3.2 ChatBot")

    template = """Query: {query}

    Reply: Let's assume step-by-step."""

    immediate = ChatPromptTemplate.from_template(template)

    mannequin = OllamaLLM(mannequin="llama3.2")

    chain = immediate | mannequin

    whereas True:

        query = enter("Enter your query right here (or kind 'exit' to give up): ")

        if query.decrease() == 'exit':

            break

        print("Pondering...")

        reply = chain.invoke({"query": query})

        print(f"Reply: {reply}")

if __name__ == "__main__":

    major()

Bereitstellung von Llama 3.2 über Groq Cloud

Erfahren Sie, wie Sie Groq Cloud nutzen können, um Llama 3.2 bereitzustellen und einfach und effizient auf seine leistungsstarken Funktionen zuzugreifen.

Besuchen Groq und generieren Sie einen API-Schlüssel.

Ausführen von Llama 3.2 auf Google Colab (llama-3.2-90b-text-preview)

Erfahren Sie, wie Sie Llama 3.2 auf Google Colab ausführen und so mit diesem erweiterten Modell in einer praktischen cloudbasierten Umgebung experimentieren können.

!pip set up groq

from google.colab import userdata

GROQ_API_KEY=userdata.get('GROQ_API_KEY')

from groq import Groq

consumer = Groq(api_key=GROQ_API_KEY)

completion = consumer.chat.completions.create(

    mannequin="llama-3.2-90b-text-preview",

    messages=(

        {

            "position": "consumer",

            "content material": " Why MLops is required. Clarify me like 10 years previous youngster"

        }

    ),

    temperature=1,

    max_tokens=1024,

    top_p=1,

    stream=True,

    cease=None,

)

For chunk in completion:
    print(chunk.selections(0).delta.content material or "", finish="")

Ausführen von Llama 3.2 auf Google Colab (llama-3.2-11b-vision-preview)

from google.colab import userdata

import base64

from groq import Groq

def image_to_base64(image_path):

    """Converts a picture file to base64 encoding."""

    with open(image_path, "rb") as image_file:

        return base64.b64encode(image_file.learn()).decode('utf-8')

# Guarantee you might have set the GROQ_API_KEY in your Colab userdata

consumer = Groq(api_key=userdata.get('GROQ_API_KEY'))

# Specify the trail of your native picture

image_path = "/content material/2.jpg"

# Load and encode your picture

image_base64 = image_to_base64(image_path)

# Make the API request

strive:

    completion = consumer.chat.completions.create(

        mannequin="llama-3.2-11b-vision-preview",

        messages=(

            {

                "position": "consumer",

                "content material": (

                    {

                        "kind": "textual content",

                        "textual content": "what is that this?"

                    },

                    {

                        "kind": "image_url",

                        "image_url": {

                            "url": f"information:picture/jpeg;base64,{image_base64}"

                        }

                    }

                )

            }

        ),

        temperature=1,

        max_tokens=1024,

        top_p=1,

        stream=True,

        cease=None,

    )

    # Course of and print the response

    for chunk in completion:

        if chunk.selections and chunk.selections(0).delta and chunk.selections(0).delta.content material:

            print(chunk.selections(0).delta.content material, finish="")

besides Exception as e:

    print(f"An error occurred: {e}")

Eingabebild

Ausgabe

Abschluss

Metas Llama 3.2 zeigt das Potenzial der Open-Supply-Zusammenarbeit und das unermüdliche Streben nach KI-Fortschritten. Meta erweitert die Grenzen von Sprachmodellen und trägt dazu bei, eine Zukunft zu gestalten, in der KI nicht nur leistungsfähiger, sondern auch zugänglicher, verantwortungsvoller und vorteilhafter für alle ist.

Wenn Sie on-line nach einem Generative AI-Kurs suchen, dann erkunden Sie: GenAI Pinnacle-Programm

Wichtige Erkenntnisse

• Die Einführung von Visionsmodellen in Llama 3.2, additionally Bildverständnis und Argumentation, neben Textverarbeitungsanwendungen bringt einige neue Möglichkeiten mit sich, wie z. B. Bildunterschriften, visuelle Fragenbeantwortung und Dokumentverständnis mit Diagrammen oder Grafiken.
• Die leichten Modelle dieses Modells sind für Edge-Geräte und Mobiltelefone optimiert und bringen KI-Funktionen direkt zu den Benutzern, während gleichzeitig die Privatsphäre gewahrt bleibt.
• Die Einführung von Llama Stack-Distributionen rationalisiert den Prozess der Erstellung und Bereitstellung von Anwendungen mit Llama-Modellen und erleichtert Entwicklern die Nutzung ihrer Fähigkeiten.

Die in diesem Artikel gezeigten Medien sind nicht Eigentum von Analytics Vidhya und werden nach Ermessen des Autors verwendet.

Häufig gestellte Fragen

Q1. Was sind die Hauptunterschiede zwischen Llama 3.2 und früheren Versionen?

A. Llama 3.2 führt Imaginative and prescient-Modelle für das Bildverständnis, leichtgewichtige Modelle für Edge-Geräte und Llama-Stack-Verteilungen für eine vereinfachte Entwicklung ein.

Q2. Wie kann ich auf Llama 3.2 zugreifen und es verwenden?

A. Sie können die Modelle herunterladen, auf Partnerplattformen verwenden oder über Meta AI ausprobieren.

Q3. Was sind einige mögliche Anwendungen der Visionsmodelle in Llama 3.2?

A. Bildunterschriften, visuelle Beantwortung von Fragen, Dokumentverständnis mit Diagrammen und Grafiken und mehr.

This autumn. Was ist Llama Stack und welchen Nutzen haben Entwickler davon?

A. Llama Stack ist eine standardisierte Schnittstelle, die die Entwicklung und Bereitstellung von Llama-basierten Anwendungen, insbesondere Agenten-Apps, erleichtert.

Die in diesem Artikel gezeigten Medien sind nicht Eigentum von Analytics Vidhya und werden nach Ermessen des Autors verwendet.

Einführung

In der vergangenen Woche hat sich die künstliche Intelligenz (KI) rasant weiterentwickelt, mit wichtigen Updates von wichtigen Akteuren wie OpenAI, Google, Meta und Microsoft. Von neuen KI-Modellen und -Werkzeugen bis hin zu Führungswechseln und politischen Diskussionen prägen diese Entwicklungen die Artwork und Weise, wie Unternehmen, Forscher und politische Entscheidungsträger die Zukunft der KI angehen. Vor allem die generative KI bleibt ein heißes Thema, wobei neue Modelle das Interesse von Technikexperten und Entscheidungsträgern wecken.

Dieser Artikel fasst die neuesten Nachrichten im Bereich KI zusammen und bietet Einblicke in die Schlüsselmomente, die diese Woche geprägt haben.

Neueste KI-Modellversionen und Leistungsverbesserungen

Metas Lama 3.2

Metas Lama 3.2 wird die KI mit seinen kommenden multimodalen Funktionen transformieren, die für Edge-Machine-Anwendungen entwickelt wurden, die Bildverarbeitung und Sprachverarbeitung integrieren. Diese neueste Model bietet erhebliche Verbesserungen bei Effizienz, Genauigkeit und Leistung sowie einen größeren Parameterraum, der viele bestehende Modelle in Benchmark-Exams übertrifft. Llama 3.2 ist außerdem Open Supply, wodurch es einer größeren Gemeinschaft von Forschern und Entwicklern zugänglich gemacht wird, und verfügt über verbesserte Dokumentations- und Integrationstools, die Metas Wettbewerbsposition in der KI-Landschaft festigen.

Googles Gemini 1.5-Updates

Das neueste Angebot von Google, Zwillinge 1.5erregt aufgrund seiner erheblichen Upgrades in den Varianten Gemini 1.5 Professional und Flash Aufmerksamkeit. Diese Modelle sind für Hochgeschwindigkeitsverarbeitung und Energieeffizienz optimiert und erfüllen die unterschiedlichen Branchenanforderungen. Benchmarks haben beeindruckende Ergebnisse gezeigt und überragende Leistung und Kosteneffizienz bewiesen, die Google zu einem wichtigen Akteur in der KI-Entwicklung machen.

Vergleiche zwischen Gemini 1.5 und anderen Modellen wie Llama 3.2 zeigen Wettbewerbsvorteile bei bestimmten Aufgaben und positionieren Google als herausragenden Participant in der KI-Landschaft.

Molmo-Launch von Allen AI

Das Allen Institute for AI hat vorgestellt Molmoein hochmodernes multimodales Modell, das eine Reihe von Aufgaben im Zusammenhang mit der Textual content-, Bild- und Sprachverarbeitung bewältigen kann. Die Leistungsmetriken von Molmo zeigen eine Leistungsfähigkeit, die mit proprietären Systemen vergleichbar ist, und bieten eine robuste Different im Open-Supply-Bereich.

Ovis 1.6

Ovis 1.6 ist ein von Alibaba Worldwide entwickeltes multimodales großes Sprachmodell, das sowohl visuelle als auch textuelle Daten effektiv verarbeiten soll. Diese Model führt bedeutende Verbesserungen ein, darunter eine erlernbare visuelle Einbettungstabelle und einen visuellen Tokenizer, die das Bildverständnis und die hochauflösende Bildverarbeitung verbessern. Mit 10 Milliarden Parametern übertrifft Ovis 1.6 die Konkurrenz in verschiedenen Benchmarks und zeichnet sich bei Aufgaben wie mathematischem Denken, Objekterkennung und Textextraktion aus.

Dieses Modell wird auf einem größeren und vielfältigeren Datensatz trainiert, was eine bessere Abstimmung der Anweisungen und eine bessere Gesamtleistung ermöglicht. Um mit Ovis 1.6 zu beginnen, können Benutzer die erforderlichen Bibliotheken einfach mit pip installieren.

Abruftechniken

Die Einführung des SFR-RAG Das Modell stellt einen bedeutenden Meilenstein in der Retrieval-Technik dar und entspricht der Leistung größerer Sprachmodelle (LLMs). Diese Entwicklung unterstreicht das Potenzial für effizientere und genauere KI-Modelle und ebnet den Weg für verbesserte Datenabruf- und Wissensmanagementsysteme.

Durch die Überbrückung von Leistungslücken erweitern Abruftechniken wie SFR-RAG den Nutzen von KI in verschiedenen Anwendungen. Dieser Ansatz verbessert die Fähigkeit, große Informationsmengen effektiver zu verwalten und verbessert Entscheidungsprozesse und betriebliche Effizienz.

Saleforce xLAM-1b

Auch Salesforce hat damit für Aufsehen gesorgt xLAM-1b-Modelldas Berichten zufolge GPT-3.5 beim Funktionsaufruf übertrifft. Dies stellt einen bedeutenden Sprung in den Fähigkeiten zur Verarbeitung natürlicher Sprache dar und führt zu genaueren und zuverlässigeren KI-Anwendungen.

OpenRouter-Integration mit neuen Modellen

OpenRouter hat seine Fähigkeiten durch die Integration neuer Modelle wie Qwen 2.5 und Mistral Pixtral 12B erweitert. Diese neue Unterstützung erhöht die Flexibilität und Leistung von KI-Systemen und ermöglicht eine bessere Interoperabilität und Anwendung über verschiedene Domänen hinweg. Benutzer können diese Modelle nun für effizientere Datenweiterleitungs- und -verarbeitungsaufgaben nutzen.

Aider und PocketPal

Revolutionary Instruments wie Helfer und PocketPal demokratisieren KI und machen sie für Benutzer im gesamten Technologiespektrum zugänglicher. Aider vereinfacht die KI-Integration für Geschäftsanalysen und bietet intuitive Schnittstellen und leistungsstarke Verarbeitungsfunktionen.

PocketPal hingegen ist für persönliche KI-Assistenten konzipiert und bietet Funktionalitäten, die alltägliche Aufgaben nahtlos erledigen können. Diese Fortschritte verschieben die Grenzen der KI-Benutzerfreundlichkeit und -Zugänglichkeit.

PDF2Audio-Instrument

Abdul Khaliq enthüllte das PDF2Audio Instrument, das PDF-Dokumente in Audioformate umwandelt. Dieses Instrument hat zahlreiche Anwendungsfälle, insbesondere zur Verbesserung der Zugänglichkeit für sehbehinderte Benutzer und zur Erleichterung des Multitaskings für Personen, die Audioinhalte bevorzugen.

Open-Supply-KI-Starterkit

SV Pino stellte einen vor Open-Supply-KI-Starterkit Entwickelt für Low-Code-Entwicklung. Dieses Package enthält wesentliche Komponenten und Instruments, die Entwicklern helfen, KI-Anwendungen schnell zu erstellen und bereitzustellen, wobei der Schwerpunkt auf Benutzerfreundlichkeit und Zugänglichkeit für Personen mit begrenzter Programmiererfahrung liegt.

OpenMusic Textual content-to-Music-Generierung

Der OpenMusic Das auf Hugging Face verfügbare Projekt stellt einen Fortschritt in der Textual content-zu-Musik-Generierung dar. Dieses Projekt folgt QA-MDT. Diese modern Anwendung von KI hat das Potenzial, die Musikindustrie zu revolutionieren, indem sie es Benutzern ermöglicht, nahtlos Musikkompositionen aus Textbeschreibungen zu erstellen.

KI in der Robotik

Im Bereich der Robotik machen Institutionen wie Disney Analysis und die ETH Zürich mit ihren RobotMDMwas erweiterte Roboterbewegungen ermöglicht.

Diese Innovationen erweitern den praktischen Einsatz der Robotik und eröffnen neue Möglichkeiten in Branchen wie Unterhaltung und Gesundheitswesen.

KI-Industrie

Veränderungen in der Führung von OpenAI

In einer überraschenden VeränderungChief Expertise Officer von OpenAI, Mira Muratihat das Unternehmen verlassen, was angesichts der bedeutenden Beiträge von Murati zur Forschung und Entwicklung von OpenAI Fragen über die zukünftige Ausrichtung der OpenAI-Projekte aufwirft. Während das Unternehmen seinen Nachfolger noch nicht bekannt gegeben hat, warten die Stakeholder gespannt auf Hinweise auf strategische Weichenstellungen oder neue Schwerpunktbereiche.

Collectively Enterprise-Plattform

Der Collectively Enterprise-Plattformeingeführt von Collectively Compute, bietet umfassende Lösungen für das Administration generativer KI-Prozesse. Diese Plattform zeichnet sich durch ihre Fähigkeit aus, Arbeitsabläufe zu rationalisieren und die Effizienz des KI-Projektmanagements zu steigern, was sie zu einem wertvollen Gewinn für Unternehmen macht, die KI-Technologie nutzen möchten.

Bewertung und Finanzierung von Anthropic

Anthropisch sammelt Mittel im Wert von bis zu 40 Milliarden US-Greenback. Diese enorme Investition ist ein Beweis für den erheblichen Einfluss, den Anthropic voraussichtlich auf die Branche haben wird und den Wettbewerb und die Innovation innerhalb der Branche weiter intensivieren wird.

Diese beträchtliche Finanzierung zeigt ein starkes Vertrauen in die Imaginative and prescient von Anthropic und seine Fähigkeit, bedeutende Fortschritte in der KI voranzutreiben. Es spiegelt auch den allgemeinen Development der Branche zu Großinvestitionen wider, die darauf abzielen, den technologischen Fortschritt zu beschleunigen und den Wettbewerbsvorteil bei KI-Innovationen aufrechtzuerhalten.

Die KI-Investition von Microsoft und BlackRock

Microsoft und BlackRock sammeln 30 Milliarden US-Greenback mit dem Ziel, diese Investition möglicherweise auf 100 Milliarden US-Greenback zu steigern. Dieses Kapital ist für die Entwicklung von KI-Rechenzentren vorgesehen und zeigt das Engagement für den Aufbau der Infrastruktur, die zur Unterstützung groß angelegter KI-Operationen und -Forschung erforderlich ist.

Forschung und Entwicklung

Benchmarks und Modelloptimierung

Der Drang, bessere Benchmarks zu erreichen, treibt weiterhin die Innovation in der KI voran. Es wurden neue Maßstäbe für multimodale Modelle festgelegt, darunter solche, die verschiedene Arten von Medien verarbeiten und generieren können. Gleichzeitig werden fortschrittliche Techniken zur Optimierung der Modellleistung – wie Hyperparameter-Tuning und effiziente Trainingsalgorithmen – verfolgt, um der wachsenden Nachfrage nach leistungsstarken KI-Anwendungen gerecht zu werden.

KI-Sicherheit und ethische Überlegungen

Mit der rasanten Weiterentwicklung der KI-Fähigkeiten sind Sicherheits- und ethische Überlegungen in den Vordergrund gerückt. Die Diskussionen rund um die KI-Sicherheit haben an Dynamik gewonnen, insbesondere da jede neue Modellversion leistungsstarke Funktionen mit sich bringt. Unternehmen sind heute mehr denn je dazu verpflichtet, robuste Schutzmaßnahmen und ethische Rahmenbedingungen zu implementieren, um den verantwortungsvollen Einsatz von KI-Technologien sicherzustellen. Dazu gehören transparente Datenpraktiken, Equity bei der KI-Entscheidungsfindung und die Abmilderung potenzieller Verzerrungen.

PlanBench-Bewertung

Die Auswertung der PlanBench System präsentiert eine vergleichende Analyse zwischen großen Sprachmodellen (LLMs) und klassischen Planungsalgorithmen. Die bereitgestellten Erkenntnisse bieten einen klaren Überblick über den Stand aktueller Modelle und ihr Potenzial für zukünftige Verbesserungen.

Mehrsprachiger MMLU-Datensatz

Der Mehrsprachiger MMLU-Datensatzdie ein breites Spektrum an Sprachen und Kategorien umfasst. Dieser Datensatz ist ein wichtiger Schritt zur Schaffung integrativerer KI-Modelle, die mehrere Sprachen problemlos verstehen und verarbeiten können.

RAG-Forschungsstandardisierung

Wir stellen vor RAGLAB Framework hat die Bewertung von Retrieval-Augmented Era (RAG)-Algorithmen standardisiert. Dieses Framework bietet einen gründlichen Vergleich von sechs verschiedenen RAG-Algorithmen in zehn Benchmarks und liefert so ein klares Verständnis ihrer Leistung und Anwendungen.

Auswirkungen der KI-Vorschriften

EU-KI-Verordnungen

Die strengen KI-Vorschriften der Europäischen Union haben den Modellentwicklungs- und Einsatzstrategien eine neue Dimension verliehen. Diese Vorschriften zielen darauf ab, Innovation mit ethischen Überlegungen in Einklang zu bringen, stellen aber auch Herausforderungen für die Modellverfügbarkeit in der Area dar. Beispielsweise können für die Llama 3.2-Modelle von Meta Einschränkungen gelten, die sich auf ihren Einsatz auf europäischen Märkten auswirken. Die Regulierungslandschaft erfordert daher strategische Anpassungen von KI-Entwicklern und -Forschern, die sich an die Vorschriften halten und gleichzeitig weiterhin Innovationen vorantreiben müssen.

Debatte über den kalifornischen AI-Gesetzentwurf SB 1047

Die anhaltende Debatte um den kalifornischen KI-Gesetzentwurf SB 1047 verdeutlicht das komplexe Zusammenspiel zwischen technologischem Fortschritt und Regulierung. Befürworter argumentieren, dass Regulierung für die Gewährleistung ethischer Praktiken und gesellschaftlicher Sicherheit unerlässlich sei, während Gegner befürchten, dass sie Innovation und technologischen Fortschritt behindern könnte. Diese Diskussion ist von entscheidender Bedeutung für die Gestaltung der zukünftigen Landschaft der KI-Politik und -Entwicklung.

Sam Altmans Blogbeitrag – „Das Zeitalter der Intelligenz“

Sam Altmans zum Nachdenken anregender Blogbeitrag“,Das Zeitalter der Intelligenz„erforscht das transformative Potenzial der KI für die menschlichen Fähigkeiten und die Gesellschaft insgesamt. Altman befasst sich mit den ethischen Überlegungen und langfristigen Auswirkungen von KI und fordert verantwortungsvolle und achtsame Entwicklungspraktiken.

Abschluss

Zusammenfassend lässt sich sagen, dass die rasanten Fortschritte in der KI weiterhin Branchen verändern und neue Diskussionen über Innovation, Ethik und Regulierung anstoßen. Von hochmodernen Modellveröffentlichungen wie Metas Llama 3.2 und Googles Gemini 1.5 bis hin zu neuen Instruments, die KI zugänglicher machen – die Technologiewelt steckt voller Möglichkeiten. Mit der Ausweitung der KI-Fähigkeiten wächst jedoch auch der Bedarf an robusten Governance- und ethischen Rahmenbedingungen, wie die Regulierungsdebatten in der EU und in Kalifornien deutlich machen. Auf unserem weiteren Weg wird das Gleichgewicht zwischen technologischem Fortschritt und verantwortungsvoller Umsetzung entscheidend sein, um das volle Potenzial der KI auszuschöpfen und gleichzeitig sicherzustellen, dass ihre Vorteile gerecht verteilt werden.

Folgen Sie uns weiter Google Information für das Replace nächste Woche, während wir die neuesten Entwicklungen in der KI-Landschaft verfolgen.

Einführung

Am 23. Juli 2024 veröffentlichte Meta sein neuestes Flaggschiffmodell, Llama 3.1 405B, zusammen mit kleineren Varianten: Llama 3.1 70B und Llama 3.1 8B. Diese Veröffentlichung erfolgte nur drei Monate nach der Einführung von Llama 3. Während Llama 3.1 405B übertrifft GPT-4 Und Claude 3 Opus Es hat in den meisten Benchmarks abgeschnitten und ist damit das leistungsstärkste verfügbare Open-Supply-Modell. Aufgrund der langsamen Generierungszeit und der hohen Time to First Token (TTFT) ist es jedoch möglicherweise für viele reale Anwendungen nicht die optimale Wahl.

Für Entwickler, die diese Modelle in die Produktion integrieren oder selbst hosten möchten, stellt Llama 3.1 70B eine praktischere Different dar. Aber wie schlägt es sich im Vergleich zu seinem Vorgänger, Llama 3 70B? Lohnt sich ein Improve, wenn Sie Llama 3 70B bereits in der Produktion verwenden?

In diesem Blogbeitrag vergleichen wir Llama 3.1 70B und Llama 3 70B im Element und untersuchen ihre Leistung, Effizienz und Eignung für verschiedene Anwendungsfälle. Unser Ziel ist es, Ihnen dabei zu helfen, eine fundierte Entscheidung darüber zu treffen, welches Modell Ihren Anforderungen am besten entspricht.

Lesen Sie auch: Meta Llama 3.1: Neuestes Open-Supply-KI-Modell übernimmt GPT-4o mini

Überblick

• Lama 3.1 70B: Am besten für Aufgaben geeignet, die einen umfassenden Kontext, die Generierung umfangreicher Inhalte und eine komplexe Dokumentanalyse erfordern.
• Lama 3 70B: Überzeugt durch seine Geschwindigkeit und ist daher splendid für Echtzeit-Interaktionen und Anwendungen mit schneller Reaktion.
• Benchmark-Leistung: Llama 3.1 70B übertrifft Llama 3 70B in den meisten Benchmarks, insbesondere im Bereich mathematisches Denken.
• Geschwindigkeitskompromiss: Llama 3 70B ist deutlich schneller, mit geringerer Latenz und schnellerer Token-Generierung.

Llama 3 70B gegen Llama 3.1 70B

Grundlegender Vergleich

Hier ist ein grundlegender Vergleich zwischen den beiden Modellen.

	Lama 3.1 70B	Lama 3 70B
Parameter	70 Milliarden	70 Milliarden
Preis-Eingabetoken-Ausgabetoken	0,9 $ / 1 Mio. Token0,9 $ / 1 Mio. Token	0,9 $ / 1 Mio. Token0,9 $ / 1 Mio. Token
Kontextfenster	128.000	8K
Maximale Ausgabetoken	4096	2048
Unterstützte Eingänge	Textual content	Textual content
Funktionsaufruf	Ja	Ja
Stichtag für Wissensstand	Dezember 2023	Dezember 2023

Einführung

Hallo, KI-Enthusiasten!

Willkommen bei The AV Bytes, Ihrer freundlichen Nachbarschaftsquelle für alles rund um KI. Schnall dich an, denn diese Woche battle eine wilde Reise in die Welt der KI! Wir haben einige umwerfende Sachen, die wir mit dir teilen möchten.

Erinnern Sie sich, als wir dachten, Suchmaschinen könnten nicht besser werden? Nun, OpenAI hat mit seinem neuen SearchGPT die Messlatte höher gelegt. Und Meta? Mit Llama 3.1 haben sie die Dinge auf ein ganz neues Niveau gebracht. Um nicht übertroffen zu werden, hat sich Mistral AI mit seinem beeindruckenden Modell Massive 2 der Social gathering angeschlossen.

Aber das ist noch nicht alles! Wir haben KIs, die bei Mathe-Olympiaden die Nase vorn haben und Ärzten in der Diagnostik Konkurrenz machen. Es ist, als würde Science-Fiction direkt vor unseren Augen zur wissenschaftlichen Realität! Und glauben Sie uns, wir fangen gerade erst an – diese Woche battle vollgepackt mit KI-Güte.

Additionally lasst uns anfangen!

Highlights

• SearchGPT von OpenAI: Ein neuer Suchmaschinen-Prototyp mit erweiterter natürlicher Sprachverarbeitung für eine effizientere Informationsbeschaffung.
• Metas Lama 3.1: Ein Improve mit 405 Milliarden Parametern und mehrsprachiger Unterstützung, das neue Maßstäbe in der KI setzt.
• Mistral AI’s Massive 2: Ein Modell mit 123 Milliarden Parametern, das für effiziente Einzelknoten-Inferenz entwickelt wurde und sich bei verschiedenen Aufgaben auszeichnet.
• DeepMinds Silbermedaille: Erfolg bei der Internationalen Mathematik-Olympiade, bei der fortgeschrittene Denkfähigkeiten zur Schau gestellt wurden.
• Googles KI in der Diagnostik: Übertrifft menschliche Ärzte mit einer Genauigkeit von 98 % bei der US-amerikanischen medizinischen Zulassungsprüfung.
• KI übertrifft den Menschen: KI-Modelle übertreffen die menschliche Leistung bei verschiedenen grundlegenden Aufgaben und lösen Debatten über Arbeitsplatzverluste aus.
• Elon Musks Grok 2 und 3: xAI wird Grok 2 und 3 veröffentlichen, mit dem Ziel, Voreingenommenheit zu reduzieren und das logische Denken zu verbessern.

Veröffentlichungen und Innovationen im Bereich KI-Modelle

SearchGPT von OpenAI

OpenAI hat eingeführt SucheGPTein neuer Prototyp, der den Suchmaschinenmarkt verändern und die KI-gesteuerte Informationssuche verbessern soll. Dieses Modell nutzt erweiterte Funktionen zur Verarbeitung natürlicher Sprache, um schnelle, genaue und kontextbezogen relevante Antworten zu liefern und so ein effizienteres Sucherlebnis als herkömmliche Suchmaschinen zu bieten.

SearchGPT wurde entwickelt, um bestehende Suchmethoden herauszufordern, indem es präzise Ergebnisse mit klarer Quellenangabe liefert und so Transparenz und Glaubwürdigkeit verbessert. Durch die Kombination von Geschwindigkeit, Relevanz und ausgefeiltem Sprachverständnis soll die neueste Kreation von OpenAI die Artwork und Weise ändern, wie Benutzer on-line mit Informationen interagieren und diese abrufen, und möglicherweise die aktuelle Suchmaschinenlandschaft umgestalten.

Metas Lama 3.1

Meta hat enthüllt Lama 3.1ein beeindruckendes Improve der Vorgängermodelle, mit gewaltigen 405 Milliarden Parametern, einem 128k-Kontextfenster und mehrsprachigen Funktionen. Dieses neue Modell hat in Benchmarks erhebliche Verbesserungen gezeigt und übertrifft bei verschiedenen Aufgaben viele bestehende Modelle. Dank seiner verbesserten Leistung kann Llama 3.1 komplexe Aufgaben besser bewältigen und differenziertere Antworten liefern.

Die Veröffentlichung von Llama 3.1 unterstreicht nicht nur Metas Engagement für Open-Supply-KI und fördert Innovation und Zusammenarbeit innerhalb der Group, sondern hat auch bei KI-Experten und -Enthusiasten für große Begeisterung gesorgt. Viele erwarten mit Spannung die möglichen Auswirkungen dieses leistungsstarken neuen Modells auf den Bereich der künstlichen Intelligenz und ihrer Anwendungen.

Mistral AIs Massive 2: Ein neues Kraftpaket in der KI

Mistral AI hat mit der Einführung von Mistral Massive 2, einem leistungsstarken 123-Milliarden-Parameter-Modell, das für effiziente Einzelknoten-Inferenz entwickelt wurde, einen bedeutenden Einfluss auf die KI-Landschaft gehabt. Dieses fortschrittliche Modell verfügt über ein 128.000-Token-Kontextfenster und beeindruckende mehrsprachige Funktionen, was es für eine breite Palette von Anwendungen außergewöhnlich vielseitig macht.

Mistral Massive 2 zeichnet sich in kritischen Bereichen wie Codegenerierung und Mathematik aus und zeigt auch bei akademischen, Chat- und Feinabstimmungs-Benchmarks eine starke Leistung. Darüber hinaus unterstreicht die Entscheidung von Mistral AI, das Modell unter der Apache 2.0-Lizenz zu veröffentlichen, sein Engagement für Zugänglichkeit und fördert das Potenzial für eine breite Akzeptanz und Innovation. Mit seinem umfassenden Funktionsumfang und seiner positiven Aufnahme erweist sich Mistral Massive 2 als beeindruckender Konkurrent im sich entwickelnden KI-Ökosystem und bietet Forschern, Entwicklern und Organisationen gleichermaßen neue Möglichkeiten.

Erfolge und Benchmarks im Bereich KI

Silbermedaille für DeepMind AI bei der Internationalen Mathematik-Olympiade

DeepMind AI hat mit der Silbermedaille bei der Internationalen Mathematik-Olympiade einen wichtigen Meilenstein erreicht. Diese Leistung unterstreicht die fortgeschrittenen Denk- und Problemlösungsfähigkeiten des Modells und verdeutlicht das Potenzial der KI, in hochkompetitiven und intellektuell anspruchsvollen Umgebungen zu glänzen.

Googles KI übertrifft menschliche Ärzte in der Diagnostik

Die KI von Google hat im Vergleich zu menschlichen Ärzten bessere Diagnosefähigkeiten bewiesen und bei der US-amerikanischen Zulassungsprüfung für Ärzte eine bemerkenswerte Genauigkeit von 98 % erreicht. Dieser Fortschritt hat erhebliche Auswirkungen auf die Gesundheitsbranche und kann möglicherweise die Diagnosegenauigkeit und die Behandlungsergebnisse verbessern. Er wirft auch wichtige Fragen zur zukünftigen Rolle der KI im Gesundheitswesen und zur Notwendigkeit auf, die Lehrpläne der medizinischen Ausbildung anzupassen, um KI-Technologien zu integrieren.

KI übertrifft Menschen bei grundlegenden Aufgaben

Aktuelle Benchmarks zeigen, dass KI-Modelle bei verschiedenen grundlegenden Aufgaben die menschliche Leistung übertreffen, was die rasanten Fortschritte bei den KI-Fähigkeiten unterstreicht. Dieser Development hat eine Debatte in der Group über die Auswirkungen auf Arbeitsplatzverluste und die Zusammenarbeit zwischen Mensch und KI ausgelöst und gleichzeitig das Potenzial der KI aufgezeigt, die menschliche Leistung in Bereichen von routinemäßiger Verwaltungsarbeit bis hin zu komplexen Analysen zu steigern.

Branchentrends und Beobachtungen

Elon Musks Grok 2 und 3

Elon Musks xAI soll Grok 2 im August 2024 veröffentlichen, Grok 3 folgt bis Ende des Jahres. Grok 2 wird 24.000 Nvidia H100 GPUs verwenden und zielt darauf ab, Verzerrungen in Trainingsdaten zu reduzieren und originellere Ergebnisse zu liefern. Grok 3 soll noch leistungsfähiger sein und ein Setup mit 100.000 Nvidia H100 GPUs nutzen. Diese Modelle sind Teil von Musks Strategie, mit etablierten KI-Playern wie OpenAI zu konkurrieren, wobei der Schwerpunkt auf der Verbesserung der Denkfähigkeiten und der Steigerung der Interaktivität durch Humor liegt.

Open-Supply-KI und Gemeinschaftsanstrengungen

• Instruments für die Zusammenarbeit: Es entstehen neue Instruments und Bibliotheken zur Unterstützung der kollaborativen KI-Entwicklung, wie z. B. stack-pr für die Verwaltung gestapelter Pull Requests.
• Group-Beiträge: Die Open-Supply-Group spielt weiterhin eine entscheidende Rolle bei der Weiterentwicklung der KI-Technologie und liefert wertvolle Erkenntnisse und Innovationen.

Unser Kommentar

Was für eine spannende Zeit, um KI zu verfolgen! Die Durchbrüche, die wir diese Woche erlebt haben, sind nur der Anfang. Während sich KI weiterentwickelt, verändert sie Branchen und eröffnet Möglichkeiten, von denen wir nur geträumt haben. Aber denken Sie daran: Die wahre Macht der KI liegt darin, wie wir sie nutzen. Halten Sie additionally die Augen offen und bleiben Sie aufgeschlossen, Leute! Die KI-Revolution findet gerade statt und wir sind alle Teil davon.

Folge uns auf Google Nachrichten für das Replace der nächsten Woche, da wir die neuesten Entwicklungen in der KI-Landschaft verfolgen.

Einführung

Das Trainieren und Feinabstimmen von Sprachmodellen kann komplex sein, insbesondere wenn Effizienz und Effektivität angestrebt werden. Ein effektiver Ansatz besteht in der Verwendung von parametereffizienten Feinabstimmungstechniken wie Low-Rank-Adaption (LoRA) in Kombination mit Feinabstimmung von Anweisungen. Dieser Artikel beschreibt die wichtigsten Schritte und Überlegungen zur Feinabstimmung des großen Sprachmodells LlaMa 2 mithilfe dieser Methode. Er untersucht die Verwendung des Unsloth-KI Framework, um den Feinabstimmungsprozess noch schneller und effizienter zu gestalten.

Wir werden Schritt für Schritt vorgehen, um das Thema besser zu verstehen!

Was ist Unsloth?

Unsloth AI ist eine bahnbrechende Plattform, die die Feinabstimmung und das Coaching von Sprachmodellen (Llama 2) rationalisiert und sie schneller und effizienter macht. Dieser Artikel basiert auf einer praktischen Sitzung von Daniel Han, dem Mitbegründer von Unsloth AI. Daniel ist leidenschaftlich daran interessiert, Innovationen an ihre Grenzen zu bringen. Mit umfangreicher Erfahrung bei Nvidiaer hat die KI- und maschinelle Lernbranche maßgeblich beeinflusst. Lassen Sie uns den Alpaca-Datensatz einrichten, um die Feinabstimmung von Llama 2 mit Unsloth zu verstehen.

Einrichten des Datensatzes

Der Alpaca-Datensatz ist aufgrund seiner Einfachheit und Effektivität beliebt zum Trainieren von Sprachmodellen. Er umfasst 52.000 Zeilen, die jeweils drei Spalten enthalten: Anweisung, Eingabe und Ausgabe. Der Datensatz ist auf Hugging Face verfügbar und wird vorbereinigt geliefert, was Zeit und Aufwand bei der Datenaufbereitung spart.

Der Alpaca-Datensatz hat drei Spalten: Anweisung, Eingabe und Ausgabe. Die Anweisung gibt die Aufgabe vor, die Eingabe liefert den Kontext oder die Frage und die Ausgabe ist die erwartete Antwort. Eine Anweisung könnte beispielsweise lauten: „Geben Sie drei Tipps, um gesund zu bleiben“, wobei die Ausgabe drei relevante Gesundheitstipps sind. Nun formatieren wir den Datensatz, um sicherzustellen, dass der Datensatz kompatibel ist.

Formatieren des Datensatzes

Wir müssen es richtig formatieren, um sicherzustellen, dass der Datensatz mit unserem Trainingscode übereinstimmt. Die Formatierungsfunktion fügt eine zusätzliche Spalte (Textual content) hinzu, die Anweisung, Eingabe und Ausgabe in einer einzigen Eingabeaufforderung kombiniert. Diese Eingabeaufforderung wird zum Coaching in das Sprachmodell eingespeist.

Hier ist ein Beispiel, wie ein formatierter Datensatzeintrag aussehen könnte:

• Auftrag: „Geben Sie drei Tipps, um gesund zu bleiben.“
• Eingabe: „“
• Ausgabe: „1. Ernähren Sie sich ausgewogen. 2. Treiben Sie regelmäßig Sport. 3. Schlafen Sie ausreichend.“
• Textual content: „Nachfolgend finden Sie eine Anweisung, die eine Aufgabe beschreibt. Schreiben Sie eine Antwort, die die Anforderung angemessen ergänzt. nn Anweisung: Geben Sie drei Tipps, um gesund zu bleiben. nn Antwort: 1. Ernähren Sie sich ausgewogen. 2. Treiben Sie regelmäßig Sport. 3. Schlafen Sie ausreichend. “

Der <EOS> Token ist entscheidend, da es das Ende der Sequenz anzeigt und verhindert, dass das Modell endlosen Textual content generiert. Lassen Sie uns das Modell für eine bessere Leistung trainieren.

Trainieren des Modells

Sobald das Datensatz richtig formatiert ist, fahren wir mit der Trainingsphase fort. Wir verwenden die Unsloth Rahmen, der die Effizienz des Trainingsprozesses steigert.

Schlüsselparameter zum Trainieren des Modells

• Batchgröße: Bestimmt, wie viele Proben verarbeitet werden, bevor die Modellparameter aktualisiert werden. Eine typische Batchgröße ist 2.
• Gradientenakkumulation: Gibt an, wie viele Batches akkumuliert werden sollen, bevor ein Rückwärtsdurchlauf durchgeführt wird. Normalerweise auf 4 eingestellt.
• Aufwärmschritte: Erhöhen Sie zu Beginn des Trainings die Lernrate schrittweise. Häufig wird ein Wert von 5 verwendet.
• Max. Schritte: Begrenzt die Anzahl der Trainingsschritte. Zu Demonstrationszwecken kann dies auf 3 eingestellt werden, aber normalerweise würden Sie eine höhere Zahl wie 60 verwenden.
• Lernrate: Steuert die Schrittweite während der Optimierung. Ein Wert von 2e-4 ist Normal.
• Optimierer: AdamW 8-bit wird empfohlen, um den Speicherverbrauch zu reduzieren.

Durchführen des Trainings

Das Trainingsskript verwendet den formatierten Datensatz und die angegebenen Parameter zur Feinabstimmung Lama 2. Das Skript enthält Funktionen zum Umgang mit dem EOS-Token und zum Sicherstellen einer ordnungsgemäßen Sequenzbeendigung während des Trainings und der Inferenz.

Inferenz um die Fähigkeiten des Modells zu überprüfen

Nach dem Coaching testen wir die Fähigkeit des Modells, auf der Grundlage neuer Eingabeaufforderungen geeignete Antworten zu generieren. Wenn wir das Modell beispielsweise mit „Setzen Sie die Fibonacci-Folge fort: 0, 1, 1, 2, 3, 5, 8, 13“ auffordern, sollte das Modell „21“ generieren.

# alpaca_prompt = Copied from above

FastLanguageModel.for_inference(mannequin) # Allow native 2x quicker inference

inputs = tokenizer(

(

   alpaca_prompt.format(

       "Proceed the fibonnaci sequence.", # instruction

       "1, 1, 2, 3, 5, 8", # enter

       "", # output - depart this clean for era!

   )

), return_tensors = "pt").to("cuda")

outputs = mannequin.generate(**inputs, max_new_tokens = 64, use_cache = True)

tokenizer.batch_decode(outputs)

Sie können auch einen TextStreamer für kontinuierliche Inferenz verwenden – so können Sie die Generierung Token für Token verfolgen, anstatt die ganze Zeit zu warten!

# alpaca_prompt = Copied from above
FastLanguageModel.for_inference(mannequin) # Allow native 2x quicker inference
inputs = tokenizer(
(
   alpaca_prompt.format(
       "Proceed the fibonnaci sequence.", # instruction
       "1, 1, 2, 3, 5, 8", # enter
       "", # output - depart this clean for era!
   )
), return_tensors = "pt").to("cuda")


from transformers import TextStreamer
text_streamer = TextStreamer(tokenizer)
_ = mannequin.generate(**inputs, streamer = text_streamer, max_new_tokens = 128)

Nachfolgend finden Sie eine Anweisung, die eine Aufgabe beschreibt, gepaart mit einer Eingabe, die weiteren Kontext liefert. Schreiben Sie eine Antwort, die die Anfrage angemessen ergänzt.

Anweisung:

Setzen Sie die Fibonacci-Folge fort.

Eingang:

1, 1, 2, 3, 5, 8

Antwort:

13, 21, 34, 55, 89, 144

LoRa-Modellintegration

Zusätzlich zu herkömmlichen Feinabstimmungstechniken kann die Einbindung des LoRa-Modells (Log-odds Ratio Consideration) die Effizienz und Effektivität des Sprachmodelltrainings weiter verbessern. Das LoRa-Modell, das für seinen Aufmerksamkeitsmechanismus bekannt ist, nutzt Log-Odds-Ratios, um Token-Abhängigkeiten zu erfassen und das Kontextverständnis zu verbessern.

Hauptvorteile des LoRa-Modells:

1. Verbessertes Kontextverständnis: Der LoRa-Modelle Durch den Aufmerksamkeitsmechanismus können Token-Abhängigkeiten innerhalb der Eingabesequenz besser erfasst werden, was zu einem verbesserten Kontextverständnis führt.
2. Effiziente Aufmerksamkeitsberechnung: Das LoRa-Modell optimiert die Aufmerksamkeitsberechnung mithilfe von Log-Odds-Ratios, was zu schnelleren Trainings- und Inferenzzeiten als bei herkömmlichen Aufmerksamkeitsmechanismen führt.
3. Verbesserte Modellleistung: Die Integration des LoRa-Modells in die Trainingspipeline kann die Modellleistung verbessern, insbesondere bei Aufgaben, die weitreichende Abhängigkeiten und ein differenziertes Kontextverständnis erfordern.

Speichern und Laden des Modells

Nach dem Coaching kann das Modell lokal gespeichert oder hochgeladen werden auf Umarmendes Gesicht für einfaches Teilen und Bereitstellen. Das gespeicherte Modell umfasst:

• adapter_config.json
• adapter_model.bin

Diese Dateien sind für das Neuladen des Modells und die Fortsetzung der Inferenz oder des weiteren Trainings unerlässlich.

Um das endgültige Modell als LoRA-Adapter zu speichern, verwenden Sie Huggingfaces „push_to_hub“ für eine On-line-Speicherung oder „save_pretrained“ für eine lokale Speicherung.

mannequin.save_pretrained("lora_model") # Native saving

tokenizer.save_pretrained("lora_model")

# mannequin.push_to_hub("your_name/lora_model", token = "...") # On-line saving

# tokenizer.push_to_hub("your_name/lora_model", token = "...") # On-line saving

Now, if you wish to load the LoRA adapters we simply saved for inference, set False to True:

if False:

   from unsloth import FastLanguageModel

   mannequin, tokenizer = FastLanguageModel.from_pretrained(

       model_name = "lora_model", # YOUR MODEL YOU USED FOR TRAINING

       max_seq_length = max_seq_length,

       dtype = dtype,

       load_in_4bit = load_in_4bit,

   )

   FastLanguageModel.for_inference(mannequin) # Allow native 2x quicker inference

# alpaca_prompt = You MUST copy from above!

inputs = tokenizer(

(

   alpaca_prompt.format(

       "What's a well-known tall tower in Paris?", # instruction

       "", # enter

       "", # output - depart this clean for era!

   )

), return_tensors = "pt").to("cuda")

outputs = mannequin.generate(**inputs, max_new_tokens = 64, use_cache = True)

tokenizer.batch_decode(outputs)

Feinabstimmung unstrukturierter Protokolle

Ja, Feinabstimmung kann für unstrukturierte Protokolle verwendet werden, die in Blob-Dateien gespeichert sind. Der Schlüssel liegt darin, den Datensatz richtig vorzubereiten, was einige Zeit dauern kann, aber machbar ist. Es ist wichtig zu beachten, dass das Verschieben in niedrigere Bits im Modell normalerweise die Genauigkeit verringert, wenn auch oft nur um etwa 1 %.

Bewertung der Modellleistung

Wenn die Leistung eines Modells nach der Feinabstimmung nachlässt, ist häufig Überanpassung der Grund. Um dies zu beurteilen, sollten Sie sich den Bewertungsverlust ansehen. Anleitungen zur Bewertung des Verlusts finden Sie auf unserer Wiki-Seite auf GitHub. Um zu vermeiden, dass während der Bewertung der Speicher ausgeht, verwenden Sie eine Genauigkeit von Float 16 und verringern Sie die Batchgröße. Die Normal-Batchgröße liegt normalerweise bei etwa 8, aber Sie müssen sie für die Bewertung möglicherweise weiter verringern.

Auswertung und Überanpassung

Überwachen Sie den Auswertungsverlust, um zu prüfen, ob Ihr Modell überangepasst ist. Wenn der Verlust zunimmt, ist Überanpassung wahrscheinlich, und Sie sollten in Erwägung ziehen, den Trainingslauf abzubrechen.

Tipps und Techniken zur Feinabstimmung

Hier sind die Tipps und Techniken, die Sie kennen müssen:

Speicherverwaltung

• Verwenden Sie während der Auswertung die Genauigkeit Float 16, um Speicherprobleme zu vermeiden.
• Für die Feinabstimmung ist häufig weniger Speicher erforderlich als für andere Vorgänge, z. B. das Speichern des Modells, insbesondere bei optimierten Arbeitsabläufen.

Bibliotheksunterstützung für Batch-Inferenz

• Bibliotheken wie Unsloft ermöglichen Batch-Inferenz und erleichtern so die gleichzeitige Verarbeitung mehrerer Eingabeaufforderungen.

Zukünftige Richtungen

• Als Modelle wie GPT-5 und auch in Zukunft wird die Feinabstimmung weiterhin related bleiben, insbesondere für diejenigen, die keine Daten auf Dienste wie OpenAI hochladen möchten. Die Feinabstimmung bleibt entscheidend, um spezifisches Wissen und Fähigkeiten in Modelle einzubringen.

Weiterführende Themen

• Automatische Optimierung beliebiger Modelle: Wir arbeiten an der Optimierung jeder Modellarchitektur mithilfe eines automatischen Compilers mit dem Ziel, die Kompilierungsfunktionen von PyTorch nachzuahmen.
• Umgang mit großen Sprachmodellen: Mehr Daten und ein höherer Rang bei der Feinabstimmung können die Ergebnisse für groß angelegte Sprachmodelle verbessern. Darüber hinaus kann die Anpassung von Lernraten und Trainingsepochen die Modellleistung verbessern.
• Umgang mit Angst und Unsicherheit: Angesichts der Fortschritte bei Modellen wie GPT-4 und darüber hinaus gibt es häufig Bedenken hinsichtlich der Zukunft der Feinabstimmung. Die Feinabstimmung bleibt jedoch von entscheidender Bedeutung, insbesondere für Open-Supply-Modelle, die für die Demokratisierung der KI und den Widerstand gegen die Monopolisierung der KI-Fähigkeiten durch große Technologieunternehmen von entscheidender Bedeutung sind.

Abschluss

Die Feinabstimmung und Optimierung von Sprachmodellen sind entscheidende Aufgaben in der KI, die eine sorgfältige Datensatzvorbereitung, Speicherverwaltung und Auswertungstechniken erfordern. Die Verwendung von Datensätzen wie dem Alpaka Datensätze und Instruments wie die Modelle Unsloth und LoRa können die Modellleistung erheblich verbessern.

Um KI-Instruments effektiv nutzen zu können, ist es wichtig, über die neuesten Entwicklungen auf dem Laufenden zu bleiben. High-quality-tune Llama 2 ermöglicht die Anpassung von Modellen und verbessert so deren Anwendbarkeit in verschiedenen Bereichen. Wichtige Techniken wie Gradientenakkumulation, Aufwärmschritte und optimierte Lernraten verfeinern den Trainingsprozess für mehr Effizienz und Leistung. Fortgeschrittene Modelle wie LoRamit verbesserten Aufmerksamkeitsmechanismen und effektiven Speicherverwaltungsstrategien, wie z. B. der Verwendung von Float-16-Präzision während der Auswertung, tragen zur optimalen Ressourcennutzung bei. Überwachungstools wie NVIDIA SMI helfen, Probleme wie Überanpassung und Speicherüberlauf zu vermeiden.

Während sich die KI mit Modellen wie GPT-5 weiterentwickelt, bleibt die Feinabstimmung für die Einbringung spezifischer Kenntnisse in die Modelle von entscheidender Bedeutung, insbesondere für Open-Supply-Modelle, die die KI demokratisieren.

Häufig gestellte Fragen

Für ausführlichere Anleitungen zur Feinabstimmung von LLaMA 2 und anderen großen Sprachmodellen besuchen Sie unseren DataHour-Sitzung zum Thema LLM-Feintuning für Anfänger mit Unsloth.