# Einführung

Dieser Artikel ist Teil meiner Noob-Reihe, in der wir über die Fragen schreiben, die die Leute am häufigsten googeln, die sie aber aufgrund der komplexen Mathematik und dergleichen möglicherweise nicht intestine verstehen. Wenn Sie additionally hier sind, haben Sie vielleicht schon irgendwo von der Feinabstimmung im Zusammenhang mit großen Sprachmodellen (LLMs) gehört. Dieses Konzept gab es beim traditionellen maschinellen Lernen bereits seit Jahren, aber nach LLMs gewann es an Popularität, da nun plötzlich jeder Zugriff auf diese riesigen, allgemeinen vortrainierten Modelle hat, die Sie je nach Ihren Aufgaben, Ihren eigenen Bedürfnissen und in Ihrem eigenen Ton anpassen können. Dieser Anpassungsvorgang wird im Grunde als Feinabstimmung bezeichnetund es ist mittlerweile eines der häufigsten Dinge, die Menschen mit LLMs tun. Aber Sie können es nicht verstehen, bis Sie den Schritt verstanden haben, der davor steht, und das ist das „Vortraining“. Unter Feinabstimmung versteht man im wahrsten Sinne des Wortes das „Tuning“ von etwas, das bereits existiert, und dieses „Etwas“ ist ein vorab trainiertes Modell. Versuchen wir additionally, diese Konzepte aufzuschlüsseln, damit Sie es in Zukunft wissen, wenn Sie jemand danach fragt.

# Was ist Vortraining?

Wenn Sie mit einem frisch erstellten Modell beginnen, dem Millionen oder Milliarden von Parametern mit Zufallszahlen zugewiesen sind, und Sie versuchen, ihm direkt eine ganz bestimmte Aufgabe beizubringen – sagen wir, wie man Filme in verschiedene Kategorien einordnet –, muss es gleichzeitig die gesamte englische Sprache von Grund auf lernen, was unmöglich ist, insbesondere aufgrund des begrenzten Datensatzes, den Sie möglicherweise haben. Es ist so, als würde man einem Kleinkind Biologie beibringen, bevor es die Sprache oder grundlegende naturwissenschaftliche Konzepte verstehen kann.

Das Vortraining löst dieses Drawback, indem es die harten und allgemeinen Dinge einmalig aus einer riesigen Datenmenge lernt. Der Rechen- und Datenbedarf ist zu diesem Zeitpunkt recht hoch. Aber sobald Sie es trainieren, haben Sie ein Modell, das bereits Sprache versteht. In dieser Part bringen Sie ihm eine sehr einfache Fähigkeit bei: das nächste Wort vorherzusagen. Sie zeigen dem Modell einen Textabschnitt, bei dem das nächste Wort ausgeblendet ist, und es muss raten, was als nächstes kommt. Gute Vermutungen erleiden einen kleinen Verlust, schlechte Vermutungen einen großen, und das Modell passt sich an.

Wenn wir beispielsweise im obigen Diagramm den Satz angeben „Die Katze saß auf dem ____“das Modell lernt das „Matte“ ist weitaus wahrscheinlicher als „Auto“. Die Wiederholung dieses Trainings über Milliarden von Sätzen, Büchern und Artikeln hinweg macht das Modell zu einem sehr guten Prädiktor für das nächste Wort und zwingt es dazu, Grammatik, Fakten, Argumentationsmuster und mehr zu berücksichtigen. Nach dem Vortraining verfügen Sie über ein Modell, das bereits Sprache versteht. Jede Aufgabe, die Sie später erstellen, steht auf diesem Fundament und muss nicht bei Null beginnen. Deshalb werden diese auch oft genannt Fundamentmodelle.

Man trainiert quick nie selbst etwas vor. Sie laden das fertige Ergebnis herunter – ein vorab trainiertes Modell wie Lama, Mistraloder Qwen – und von dort aus beginnen. Damit sind wir schon beim eigentlichen Thema Feintuning.

# Was ist Feinabstimmung?

Viele Anfänger glauben, dass die Gewichte für immer eingefroren sind, sobald ein Modell trainiert wurde. In Wirklichkeit bedeutet ein vorab trainiertes Modell, dass die Gewichte auf „gute Werte“ eingestellt wurden, die Intelligenz kodieren und bei allgemeinen Aufgaben intestine funktionieren. Sobald Sie dieses Modell haben, Sie können diese Intelligenz mithilfe aufgabenspezifischer Daten an Ihre spezifischen Bedürfnisse anpassen – und dies wird als „Feinabstimmung“ bezeichnet. Auch der Datenbedarf ist in dieser Part deutlich geringer als im Vortraining, da Sie nur Beispiele für die Aufgabe benötigen, an der Sie interessiert sind.

Es ist sehr ähnlich, wie verschiedene Köche an derselben Kochschule ausgebildet werden und dann, wenn sie einem Restaurant beitreten, Restaurant-spezifische Fähigkeiten erlernen. Da wir hier nicht etwas von Grund auf aufbauen, ist es kostengünstiger – ähnlich wie die Idee, dass die Ausbildung einer völlig neuen Particular person für ein Restaurant weitaus aufwändiger ist als die Ausbildung einer Particular person, die bereits eine Kochschule besucht hat. Das folgende Diagramm fasst den Unterschied zwischen Vortraining und Feinabstimmung zusammen.

# Wie erfolgt die Feinabstimmung?

Wir haben die Vorhersage des nächsten Tokens und den Prozess des Vortrainings besprochen. Werfen wir nun einen Blick auf die Feinabstimmungsschleife.

Sie zeigen dem Modell ein Beispiel für aufgabenspezifische Daten – sagen wir einen Movie – und bitten es, den Movie zu kategorisieren und eine Vermutung anzustellen. Anschließend vergleichen Sie seine Antwort mit der idealen Antwort, verschieben die Gewichtungen ein wenig und wiederholen den Vorgang, bis er bei der nachgelagerten Aufgabe besser wird. Außerdem werden bei der Feinabstimmung im Vergleich zum Vortraining zwei wesentliche Dinge anders gemacht:

1. Daten → Kleine, hochwertige, aufgabenspezifische Daten statt des gesamten Internets.
2. Lernrate → Eine kleine Lernrate und wenige Durchgänge, da wir möchten, dass sich das Modell anpasst, ohne seine allgemeinen Fähigkeiten zu überschreiben.

# Zwei gängige Arten der Feinabstimmung

Obwohl Sie im Web unterschiedliche Definitionen finden, lässt sich die Feinabstimmung je nach Anzahl der Modellparameter, die Sie optimieren oder anpassen möchten, grob in zwei Kategorien einteilen:

1. Vollständige Feinabstimmung: In dieser Einstellung kann jeder Parameter in Ihrem Modell frei geändert werden. Sie führen die obige Schleife aus und alle Milliarden Zahlen verschieben sich ein wenig in Richtung Ihrer Aufgabe. Das Hauptproblem bei diesem Ansatz ist der Speicher – Sie benötigen genug, um das gesamte Modell zu speichern und zu aktualisieren, was für ein großes LLM ernsthafte {Hardware} bedeutet. Es besteht auch ein höheres Risiko des katastrophalen Vergessens, was einfach bedeutet, dass das Modell bei der spezifischen Aufgabe intestine wird, bei allen anderen jedoch seine allgemeinen Fähigkeiten verliert.
2. Parametereffiziente Feinabstimmung (PEFT): Anstatt jedes Gewicht im Netzwerk zu aktualisieren, frieren PEFT-Techniken das Basismodell ein – jede ursprüngliche Zahl bleibt gesperrt – und führen einen kleinen Satz brandneuer, trainierbarer Zahlen ein. nur solche trainieren. Es gibt verschiedene Techniken, um dies zu erreichen, wie z. B. LoRA, QLoRA und Immediate Tuning, deren Einzelheiten jedoch den Rahmen dieses Artikels sprengen würden. PEFT erfordert weniger Gedächtnis- und Trainingszeit und ein geringeres Risiko, bereits erlerntes Wissen zu vergessen. Für die meisten LLM-Feinabstimmungen ist dies die Standardauswahl.

# Ist Feinabstimmung immer die Antwort?

Die Feinabstimmung eignet sich hervorragend, um Modellen eine neue Fähigkeit, einen neuen Stil, ein neues Verhalten oder eine neue Aufgabe beizubringen, aber sie ist nicht das einzige Werkzeug – und oft auch nicht das erste, nach dem Sie greifen sollten. Eine bessere Eingabeaufforderung kann Ihr Drawback manchmal ohne jegliche Schulung lösen. Wenn es sinnvoller ist, Informationen entweder on-line oder in einer Datenbank zum Zeitpunkt der Abfrage nachzuschlagen, ist Retrieval-Augmented Era (RAG) die bessere Lösung, insbesondere wenn die Fakten umfangreich sind oder sich häufig ändern. Diese Ansätze sind keine Rivalen; In der Praxis verwenden die meisten Systeme sie zusammen. Es lohnt sich, dies im Hinterkopf zu behalten, bevor Sie sich zu einem vollständigen Feinabstimmungslauf begeben.

# Zusätzliche Ressourcen

Wenn Sie die Feinabstimmung speziell mit LoRA üben möchten, finden Sie hier einige empfohlene Ressourcen:

• Umarmendes Gesicht PEFT: Die Commonplace-Open-Supply-Bibliothek für LoRA, QLoRA, Immediate Tuning und mehr. Beginnen Sie mit den Dokumenten und dem Repo.
• Umarmendes Gesicht TRL: Lässt sich mit PEFT kombinieren und ergibt ein fertiges Produkt SFTTrainer für die überwachte Feinabstimmungsschleife.
• Unfault: Der einsteigerfreundlichste Weg zu LoRA/QLoRA, mit kostenlosen Colab- und Kaggle-Notebooks, ca. 2x schnellerem Coaching und viel weniger VRAM.
• Axolotl: Sobald Sie sich damit vertraut gemacht haben, ein beliebtes konfigurationsgesteuertes (YAML) Device zum Ausführen der Feinabstimmung von Pipelines, ohne viel Code schreiben zu müssen.
• Das Authentic-LoRA-Papier: „LoRA: Low-Rank-Anpassung großer Sprachmodelle.“
• Das QLoRA-Papier: „QLoRA: Effiziente Feinabstimmung von LLMs.“

Für ein gutes erstes Projekt schnappen Sie sich ein kleines Lehrmodell (etwa ein 8B Llama, Qwen oder Gemma), öffnen Sie ein Unsloth QLoRA-Notizbuch, verfeinern Sie es anhand einiger hundert sauberer Beispiele Ihrer Aufgabe und beobachten Sie, wie der Trainingsverlust sinkt. Sobald Sie es einmal gemacht haben, wird sich jeder Begriff in diesem Artikel viel konkreter anfühlen.

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und ein technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Era Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Variety in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.

# Feinabstimmung von Sprachmodellen auf Apple Silicon mit MLX

Die Feinabstimmung eines Sprachmodells bedeutete früher, Cloud-GPUs zu mieten und zu beobachten, wie der Zähler läuft. Wenn Sie einen Mac mit einem Apple Silicon-Chip besitzen, können Sie jetzt ein offenes Modell lokal und ohne Cloud-Kosten an Ihre eigenen Daten anpassen, indem Sie ein Framework verwenden, das speziell für die {Hardware} in Ihrem Laptop computer entwickelt wurde.

Ich bin 2014 von Home windows- und Dell-Rechnern auf den Mac umgestiegen und habe es nie bereut. Was als Neugier auf ein saubereres Betriebssystem begann, entwickelte sich zu einer tiefen Wertschätzung dafür, wie eng Apple {Hardware} und Software program integriert. Über ein Jahrzehnt später zahlt sich diese Integration aus, die ich nie erwartet hätte, zuletzt durch die Möglichkeit, Sprachmodelle vollständig auf dem Gerät zu optimieren, ohne dass eine Cloud-Rechnung oder ein einziges Datenbyte meinen Laptop verlässt.

Diese Fähigkeit wird unterstützt von MLXeine Open-Supply-Array-Bibliothek des Apple-Forschungsteams für maschinelles Lernen, und das Begleitpaket MLX LMdas über einen kleinen Befehlssatz die Textgenerierung und Feinabstimmung für Tausende offener Modelle ermöglicht. Dieses Tutorial führt Sie durch den gesamten Prozess: Set up der Instruments, Vorbereiten eines Datensatzes, Coaching eines LoRA-Adapters, Reduzierung der Speichernutzung durch Quantisierung, anschließendes Testen und Bereitstellen des Ergebnisses. Am Ende verfügen Sie über ein fein abgestimmtes Modell, das auf Ihrem eigenen Laptop ausgeführt wird, und über einen wiederholbaren Arbeitsablauf, den Sie auf jeden Datensatz verweisen können.

# Verstehen, warum MLX zu Apple Silicon passt

Die meisten lokalen Inferenztools begannen auf NVIDIA-{Hardware} und wurden später auf den Mac portiert. MLX ging den umgekehrten Weg. Das Forschungsteam von Apple hat es von Grund auf auf der Grundlage der einheitlichen Speicherarchitektur von Apple Silicon entwickelt, bei der sich CPU und GPU einen einzigen Speicherpool teilen.

Durch dieses Design entfällt der Kopierschritt, der normalerweise Daten zwischen dem Systemspeicher und dem dedizierten GPU-Speicher hin- und herbewegt. Auf einem 16-GB-Mac sind die Modellgewichte, der Optimierungsstatus und der Trainingsbatch alle im selben Bereich vorhanden, was genau das macht, was die Feinabstimmung auf dem Gerät praktisch und nicht erstrebenswert macht. Die API spiegelt NumPy genau, fügt automatische Differenzierung für Coaching und Verwendung hinzu Metall um die GPU-Arbeit zu beschleunigen und gleichzeitig die gemeinsame Sicht auf den Speicher beizubehalten.

Bevor Sie beginnen, benötigen Sie einen Apple Silicon Mac (M1 oder neuer), macOS Ventura 13.5 oder höher und Python 3.10 oder höher. Intel-Macs werden nicht unterstützt. Beim Versuch, auf einem zu installieren, wird der Fehler „Keine passende Distribution“ zurückgegeben.

Auf einer separaten GPU werden Trainingsdaten zwischen dem Systemspeicher und dem dedizierten GPU-Speicher kopiert. Apple Silicon verfügt über einen gemeinsamen Pool, der es einem 16-GB-Mac ermöglicht, Modelle lokal zu optimieren.

# Einrichten Ihrer Umgebung

Lassen Sie uns unter Berücksichtigung dieser Architektur die Instruments installieren. Beginnen Sie mit dem Paket und seinen Trainingsextras, die alles enthalten, was die Feinabstimmungsbefehle benötigen.

pip set up "mlx-lm(practice)"

Bestätigen Sie, dass die Set up mit einem schnellen Generierungstest anhand eines kleinen Modells funktioniert.

mlx_lm.generate 
--model mlx-community/Mistral-7B-Instruct-v0.3-4bit 
--prompt "Clarify LoRA in two sentences." 
--max-tokens 120

Beim ersten Durchlauf wird eine 4-Bit-Quantisierung heruntergeladen Mistral Modell aus der MLX-Neighborhood Organisation auf Umarmendes Gesichtspeichert es lokal zwischen und streamt dann eine Antwort. Die mlx-community-Organisation hostet Tausende vorkonvertierter Modelle, sodass Sie die Gewichtungen selten selbst konvertieren müssen.

Eine Einschränkung, die es zu beachten gilt: Für die MLX-Feinabstimmung sind Modelle im Hugging-Face-Safetensors-Format erforderlich. GGUF-Dateien, die in anderen lokalen Instruments üblich sind, dienen hier der Inferenz, aber nicht dem Coaching. Zu den unterstützten Architekturen gehören unter anderem Llama, Mistral, Qwen2, Phi, Gemma und Mixtral, sodass die beliebtesten offenen Modelle sofort verfügbar sind.

# Vorbereiten Ihres Datensatzes

Nachdem die Umgebung nun bereit ist, besteht der nächste Schritt darin, Ihre Daten in eine Type zu bringen, die der Coach verwenden kann. MLX LM liest Trainingsdaten aus einem Ordner mit drei Dateien: practice.jsonl, legitimate.jsonlund ein optionales take a look at.jsonl. Jede Zeile enthält ein JSON-Beispiel. Die Trainingsdatei ist erforderlich, die Validierungsdatei ermöglicht es dem Coach, während der Ausführung einen Validierungsverlust zu melden, und die Testdatei bewertet das Modell nach Abschluss des Trainings.

Drei Formate werden unterstützt: Chat, Vervollständigungen und Textual content. Das Chat-Format ist die robusteste Standardeinstellung. Es speichert mit Rollen versehene Nachrichten professional Zeile und ermöglicht MLX LM, die eigene Chat-Vorlage des Modells anzuwenden, sodass Ihre Daten mit der Artwork und Weise übereinstimmen, wie das Modell für den Umgang mit Gesprächen trainiert wurde.

{"messages": ({"function": "person", "content material": "What's LoRA?"}, {"function": "assistant", "content material": "An environment friendly option to fine-tune a mannequin."})}

Für einfache Eingabe- und Ausgabepaare ist das Vervollständigungsformat einfacher und eignet sich intestine für Aufgaben im Befehlsstil.

{"immediate": "Summarize: The market rose sharply right now.", "completion": "Markets gained."}
{"immediate": "Translate to French: good morning", "completion": "bonjour"}

Standardmäßig berechnet der Coach den Verlust über das gesamte Beispiel, was bedeutet, dass das Modell Mühe aufwendet, um sowohl die Eingabeaufforderung als auch die Antwort zu reproduzieren. Vorbeigehen --mask-prompt weist es an, den Verlust nur für den Abschluss zu berechnen, sodass sich das Coaching auf die Reaktion konzentriert, die Ihnen tatsächlich am Herzen liegt. Dies führt normalerweise zu einem Modell, das Anweisungen zuverlässiger befolgt und mit den Chat- und Vervollständigungsformaten funktioniert. Bei Chat-Daten wird die letzte Nachricht in der Liste als Abschluss behandelt.

Halten Sie jedes Beispiel in einer einzelnen Zeile ohne interne Zeilenumbrüche, da der Leser jede Zeile als separaten Datensatz behandelt. Teilen Sie Ihre Daten so auf, dass etwa 80 Prozent darin landen practice.jsonl und 10 bis 20 Prozent in legitimate.jsonl. Etwa 200 bis 500 Beispiele sind ein sinnvolles Minimal, um das Verhalten eines Modells zu ändern (wesentlich weniger neigen dazu, sich zu überanpassen und sich einzuprägen, statt zu verallgemeinern).

# Trainieren Sie Ihren ersten LoRA-Adapter

Wenn Ihre Daten vorhanden sind, wird es hier interessant. Anstatt jedes Gewicht im Modell zu aktualisieren, friert Low-Rank Adaptation (LoRA) die ursprünglichen Gewichte ein und trainiert neben ihnen kleine Adaptermatrizen. Dadurch sinkt der Speicher- und Speicherbedarf auf einen Bruchteil der vollständigen Feinabstimmung, während der Großteil der Qualität erhalten bleibt. Die Methode stammt aus der LoRA-Papier von Hu und Kollegen.

LoRA hält die großen vorab trainierten Gewichte eingefroren und trainiert nur die kleinen Matrizen A und B. Da nur diese beiden Adapter Updates erhalten, bleiben Speicher und Speicher gering.

Starten Sie einen Trainingslauf mit einem einzigen Befehl und richten Sie ihn auf ein Modell und Ihren Datenordner.

mlx_lm.lora 
--model mlx-community/Mistral-7B-Instruct-v0.3-4bit 
--train 
--data ./knowledge 
--iters 600 
--batch-size 1

Während der Ausführung gibt MLX LM Trainingsverluste, Validierungsverluste, verarbeitete Token und Iterationen professional Sekunde aus. Adaptergewichte sparen an adapters Ordner standardmäßig. Wichtige wissenswerte Flags: --fine-tune-type akzeptiert lora (die Standardeinstellung), doraoder full; --num-layers legt fest, wie viele Transformatorschichten Adapter empfangen (Customary: 16); Und --iters Steuert die Trainingsdauer.

Das Beispiel setzt --batch-size 1 mit Absicht, um den Speicherverbrauch so gering wie möglich zu halten. Dies verhindert Abstürze auf 16-GB-Maschinen. Wenn Sie über 64 GB oder mehr verfügen, verkürzt die Erhöhung auf 2 oder 4 die gesamte Trainingszeit. Wenn der Speicher knapp ist, Sie aber den Glättungseffekt einer größeren Cost wünschen, --grad-accumulation-steps Erhöht die effektive Stapelgröße, ohne die Speichernutzung zu erhöhen.

Wenn Sie Dwell-Diagramme gegenüber der Terminalausgabe bevorzugen, fügen Sie hinzu --report-to wandb um Metriken zu protokollieren Gewichte und Voreingenommenheiten. Wenn Sie auf Gedächtnisdruck stoßen, verringern Sie ihn --num-layers auf 8 oder 4, oder hinzufügen --grad-checkpoint um die Berechnung gegen weniger Speicher einzutauschen. Diese beiden Flaggen reichen normalerweise aus, um einen Job unterzubringen, bei dem andernfalls kein Platz mehr vorhanden wäre.

# Auswählen eines Basismodells und Adaptereinstellungen

Aufbauend auf den oben genannten Trainingsmechanismen prägen zwei frühe Entscheidungen den Relaxation Ihres Laufs: mit welchem ​​Modell Sie beginnen und wie viel davon Sie anpassen möchten. Für ein erstes Projekt ist ein 8B-Parametermodell in 4-Bit-Type der Candy Spot. Sobald sich der Arbeitsablauf angenehm anfühlt, können Sie auf 13B- oder 14B-Modelle umsteigen, die 14 bis 18 GB Arbeitsspeicher benötigen und bequem auf einem 32-GB-Rechner Platz finden.

Die Anzahl der trainierten Schichten und der Adapterrang steuern zusammen die Kapazität. Mehr Schichten und ein höherer Rang geben dem Adapter mehr Spielraum zum Lernen, allerdings auf Kosten von Speicher und Zeit. Ein üblicher Ausgangspunkt verwendet 16 Ebenen mit einem moderaten Rang und passt dann basierend darauf an, ob der Validierungsverlust immer noch sinkt. Wenn der Trainingsverlust sinkt, während der Validierungsverlust steigt, merkt sich der Adapter Ihre Beispiele.

Auch die Lerngeschwindigkeit ist wichtig. Werte im Bereich von 1e-5 bis 5e-5 funktionieren für die meisten LoRA-Läufe. Zu hoch und das Coaching wird instabil; zu niedrig und das Modell bewegt sich kaum. Ändern Sie jeweils eine Einstellung, damit Sie jede Verbesserung einer bestimmten Auswahl zuordnen können.

# Reduzieren der Speichernutzung durch Quantisierung

Beachten Sie, dass das obige Basismodell bereits mit endet 4bit. Das Coaching eines LoRA-Adapters auf der Grundlage eines quantisierten Modells wird als QLoRA bezeichnet und im beschrieben QLoRA-Papier. Da die Quantisierung in MLX integriert ist, gilt das Gleiche mlx_lm.lora Der Befehl trainiert Adapter direkt auf quantisierten Gewichten, ohne dass zusätzliche Einstellungen erforderlich sind.

Die Auszahlung ist konkret. Ein 4-Bit-7B-Modell reduziert den Gewichtsspeicher um etwa das 3,5-fache im Vergleich zu voller Präzision und bringt eine 7B-Feinabstimmung bequem in 8 GB Arbeitsspeicher. Auf einem 16-GB-MacBook bleibt dadurch ausreichend Spielraum für das Betriebssystem und Ihr Trainingspaket.

Wenn Sie ein Modell mit voller Präzision vor dem Coaching lieber selbst quantisieren möchten, übernimmt der Befehl „convert“ dies.

mlx_lm.convert 
--hf-path mistralai/Mistral-7B-Instruct-v0.3 
--mlx-path ./mistral-4bit 
-q

Dadurch wird eine 4-Bit-Model in einen lokalen Ordner geschrieben, den Sie dann übergeben --model.

# Testen und Generieren mit Ihrem Adapter

Nach Abschluss der Schulung ist es an der Zeit zu sehen, wie intestine der Adapter gelernt hat. Bewerten Sie es mit Ihrem durchgehaltenen Testsatz, um eine Zahl zu erhalten, die Sie über Experimente hinweg verfolgen können.

mlx_lm.lora 
--model mlx-community/Mistral-7B-Instruct-v0.3-4bit 
--adapter-path ./adapters 
--data ./knowledge 
--test

Um zu sehen, wie das Modell reagiert, übergeben Sie denselben Adapterpfad an den Befehl „generate“. MLX LM lädt das Basismodell und wendet Ihren Adapter darauf an.

mlx_lm.generate 
--model mlx-community/Mistral-7B-Instruct-v0.3-4bit 
--adapter-path ./adapters 
--prompt "Summarize: Our quarterly income grew twelve %."

Führen Sie dieselbe Eingabeaufforderung ohne den zu vergleichenden Adapter aus. Wenn Ihr Datensatz intestine mit der Zielaufgabe übereinstimmt, sollten die angepassten Antworten Ihre Trainingsbeispiele genauer verfolgen als das Basismodell.

# Das Modell verschmelzen und ihm dienen

Adapter sind beim Experimentieren praktisch, für die Bereitstellung benötigen Sie jedoch häufig ein einzelnes, eigenständiges Modell. Der Befehl „fuse“ fügt den Adapter wieder in die Basisgewichte ein.

mlx_lm.fuse 
--model mlx-community/Mistral-7B-Instruct-v0.3-4bit 
--adapter-path ./adapters 
--save-path ./fused-model

Der verschmolzene Ordner verhält sich wie jedes andere MLX-Modell. Sie können es über einen OpenAI-kompatiblen Endpunkt bereitstellen, der vorhandenen Shopper-Code nach nur einer Änderung der Foundation-URL mit Ihrem lokalen Modell kommunizieren lässt.

mlx_lm.server --model ./fused-model --port 8080

Für eine grafische Different: LM Studio führt MLX-Modelle mit einem lokalen Ein-Klick-Server und einer Chat-Schnittstelle aus, was besonders nützlich ist, wenn Sie Ihr fein abgestimmtes Modell nebeneinander mit anderen vergleichen möchten.

# Zusammenfassung

Sie verfügen nun über einen vollständigen lokalen Feinabstimmungsworkflow: Installieren Sie MLX LM, formatieren Sie einen Datensatz als JSONL, trainieren Sie einen LoRA- oder QLoRA-Adapter mit einem einzigen Befehl, testen Sie ihn, führen Sie dann eine Fusion durch und stellen Sie das Ergebnis bereit. Alles läuft auf dem Mac, den Sie bereits besitzen, ohne Cloud-Rechnung und ohne Daten, die Ihren Laptop verlassen.

Für mich fühlt sich das wie eine natürliche Fortsetzung der Reise an, die begann, als ich 2014 zum Mac wechselte. Die enge {Hardware}-Software program-Integration, die mich zunächst anzog, hat sich im Stillen zu etwas weitaus Leistungsstärkerem entwickelt, einer Maschine, die ernsthafte maschinelle Lernaufgaben am Küchentisch bewältigen kann.

Als nächstes lohnt es sich, einige Richtungen zu erkunden. Probieren Sie es aus dora Feinabstimmung des Typs und Vergleich der Ergebnisse mit normalem LoRA. Passen Sie die Anzahl der trainierten Schichten und die Anzahl der Iterationen an, um Qualität und Geschwindigkeit auszugleichen. Tauschen Sie eine andere Basisarchitektur aus. Lama, Qwen, Phi und Gemma arbeiten alle mit denselben Befehlen. Jedes Experiment ist kostengünstig, wenn die {Hardware} auf Ihrem Schreibtisch steht. Dies ist die praktische Änderung, die MLX bei der Anpassung von Sprachmodellen mit sich bringt.

Vinod Chugani ist ein KI- und Datenwissenschaftspädagoge, der die Lücke zwischen neuen KI-Technologien und der praktischen Anwendung für Berufstätige schließt. Zu seinen Schwerpunkten zählen Agentische KI, Anwendungen für maschinelles Lernen und Automatisierungsworkflows. Durch seine Arbeit als technischer Mentor und Ausbilder hat Vinod Datenprofis bei der Kompetenzentwicklung und bei Karriereübergängen unterstützt. Er bringt analytisches Fachwissen aus dem quantitativen Finanzwesen in seinen praxisorientierten Lehransatz ein. Sein Inhalt betont umsetzbare Strategien und Rahmenbedingungen, die Fachleute sofort anwenden können.

Die Feinabstimmung von LLMs ist dank Open-Supply-Instruments viel einfacher geworden. Sie müssen nicht mehr den gesamten Trainingsstapel von Grund auf neu aufbauen. Ganz gleich, ob Sie Low-VRAM-Coaching, LoRA, QLoRA, RLHF, DPO, Multi-GPU-Skalierung oder eine einfache Benutzeroberfläche wünschen, es gibt wahrscheinlich eine Bibliothek, die zu Ihrem Workflow passt.

Hier sind die beste Open-Supply-Bibliotheken Wissenswertes für die Feinabstimmung von LLMs vor Ort. Von höheren Geschwindigkeiten bis hin zu reduzierter Belastung haben sie alle etwas zu bieten.

1. Unfault

Unsloth ist für eine schnelle und speichereffiziente LLM-Feinabstimmung konzipiert. Dies ist nützlich, wenn Sie Modelle lokal, auf Colab, Kaggle oder auf Shopper-GPUs trainieren möchten. Das Projekt gibt an, Hunderte von Modellen schneller trainieren und ausführen zu können und dabei weniger VRAM zu verbrauchen.

Am besten für: Schnelle lokale Feinabstimmung, Low-VRAM-Setups, Hugging-Face-Modelle und schnelle Experimente.

Repository: github.com/unslothai/unsloth

2. LLaMA-Fabrik

LLaMA-Manufacturing facility ist ein Feinabstimmungs-Framework mit CLI- und Net-UI-Unterstützung. Es ist einsteigerfreundlich, aber dennoch leistungsstark genug für ernsthafte Experimente in vielen Modellfamilien. Kommt direkt vom L

Am besten für: UI-basierte Feinabstimmung, schnelle Experimente und Unterstützung mehrerer Modelle.

Repository: github.com/hiyouga/LLaMA-Manufacturing facility

3. DeepSpeed

DeepSpeed ​​ist eine Microsoft-Bibliothek für umfangreiches Coaching und Inferenzoptimierung. Es trägt dazu bei, den Speicherdruck zu reduzieren und die Geschwindigkeit beim Coaching großer Modelle zu verbessern, insbesondere bei verteilten GPU-Setups.

Am besten für: Große Modelle, Multi-GPU-Coaching, verteilte Feinabstimmung und Speicheroptimierung.

Repository: github.com/microsoft/DeepSpeed

4. PEFT

PEFT steht für Parameter-Environment friendly Positive-Tuning. Sie können damit große vorab trainierte Modelle anpassen, indem Sie statt des vollständigen Modells nur eine kleine Anzahl von Parametern trainieren. Es unterstützt Methoden wie LoRA, Adapter, Immediate-Tuning und Präfix-Tuning.

Am besten für: LoRA, Adapter, Präfix-Tuning, kostengünstiges Coaching und effiziente Modellanpassung.

Repository: github.com/huggingface/peft

5. Axolotl

Axolotl ist ein flexibles Feinabstimmungs-Framework für Benutzer, die mehr Kontrolle über den Trainingsprozess wünschen. Es unterstützt erweiterte LLM-Feinabstimmungsworkflows und ist beliebt für LoRA, QLoRA, benutzerdefinierte Datensätze und wiederholbare Trainingskonfigurationen.

Am besten für: Benutzerdefinierte Trainingspipelines, LoRA/QLoRA, Multi-GPU-Coaching und reproduzierbare Konfigurationen.

Repository: github.com/axolotl-ai-cloud/axolotl

6. TRL

TRL (Transformer Reinforcement Studying) ist die Bibliothek von Hugging Face für Nachtraining und Ausrichtung. Es unterstützt überwachte Feinabstimmung, DPO, GRPO, Belohnungsmodellierung und andere Methoden zur Präferenzoptimierung.

Am besten für: Workflows im RLHF-Stil, DPO, PPO, GRPO, SFT und Ausrichtung.

Repository: github.com/huggingface/trl

7. Fackelmelodie

Torchtune ist eine PyTorch-native Bibliothek für die Nachschulung und Feinabstimmung von LLMs. Es bietet modulare Bausteine ​​und Trainingsrezepte, die auf GPUs für Endverbraucher und Profis funktionieren.

Am besten für: PyTorch-Benutzer, saubere Trainingsrezepte, Anpassung und forschungsfreundliche Feinabstimmung.

Repository: github.com/meta-pytorch/torchtune

8. LitGPT

LitGPT bietet Rezepte zum Vorschulen, Feinabstimmen, Bewerten und Bereitstellen von LLMs. Es konzentriert sich auf einfache, hackbare Implementierungen und unterstützt LoRA, QLoRA, Adapter, Quantisierung und umfangreiche Trainings-Setups.

Am besten für: Entwickler, die lesbaren Code, Implementierungen von Grund auf und praktische Schulungsrezepte wünschen.

Repository: github.com/Lightning-AI/litgpt

9. SCHNELL

SWIFT von der ModelScope-Group ist ein Feinabstimmungs- und Bereitstellungsframework für große Modelle und multimodale Modelle. Es unterstützt Vortraining, Feinabstimmung, menschliche Ausrichtung, Inferenz, Auswertung, Quantisierung und Bereitstellung in vielen Textual content- und multimodalen Modellen.

Am besten für: Feinabstimmung großer Modelle, multimodale Modelle, Workflows, Bewertung und Bereitstellung im Qwen-Stil.

Repository: github.com/modelscope/ms-swift

10. AutoTrain Superior

AutoTrain Superior ist das Open-Supply-Software von Hugging Face zum Trainieren von Modellen anhand benutzerdefinierter Datensätze. Es kann lokal oder auf Cloud-Maschinen ausgeführt werden und funktioniert mit Modellen, die über den Hugging Face Hub verfügbar sind.

Am besten für: No-Code- oder Low-Code-Feinabstimmung, Hugging-Face-Workflows, benutzerdefinierte Datensätze und schnelles Modelltraining.

Repository: github.com/huggingface/autotrain-advanced

Welches sollten Sie verwenden?

Die Feinabstimmung von LLMs vor Ort ist heute einer der Aspekte des Modelltrainings, bei denen am meisten geschlafen wird. Da die Bibliotheken Open Supply sind und ständig aktualisiert werden, bieten sie eine hervorragende Möglichkeit, glaubwürdige KI-Modelle zu erstellen, die den besten Modellen ebenbürtig sind.

Wenn Sie Schwierigkeiten haben, die richtige Bibliothek für Sie zu finden, kann die folgende Rubrik hilfreich sein:

Häufig gestellte Fragen

Ich bin auf die Überprüfung und Verfeinerung von KI-gestützter Forschung, technischer Dokumentation und Inhalten im Zusammenhang mit neuen KI-Technologien spezialisiert. Meine Erfahrung umfasst KI-Modelltraining, Datenanalyse und Informationsabruf und ermöglicht es mir, Inhalte zu erstellen, die sowohl technisch korrekt als auch zugänglich sind.

Haben Sie sich jemals gewünscht, dass Ihr KI -Agent im laufenden Flug lernen und sich anpassen könnte, genau wie Sie? Stellen Sie sich einen AI -Assistenten vor, der sich nach einem einmaligen Aufgabe an seinen Fehler erinnert und sie nie wiederholt. Eine KI, die nicht nur auf Eingabeaufforderungen reagiert, sondern auch bei jeder einzelnen Interaktion aktiv schlauer wird.

Seit Jahren ist dies der heilige Gral der künstlichen Intelligenz, ein Traum, der von zwei Hauptstraßen zurückgehalten wurde. Wir haben mächtige KI-Agenten aufgebaut, aber sie bleiben entweder in einer festen Denkweise festgefahren oder scheitern in realen Szenarien, die kontinuierliches Lernen benötigen. Es ist ein klassisches Dilemma: ein statisches Genie im Vergleich zu einem langsamen Lernenden mit einem unendlichen Appetit auf Leistung und Daten.

Aber was wäre, wenn es einen dritten Weg gäbe? A Neues Forschungspapier hat einen Weg herausgekommen, der es KI-Agenten ermöglicht, kontinuierlich aus einer sich ändernden Umgebung zu lernen, ohne die kräftigen Kosten für die Feinabstimmung der massiven Modelle mit ihnen einzubeziehen. Memento ist ein revolutionärer Ansatz, der genau das tut. Memento gibt LLM-Agenten ein externes, menschliches Gedächtnis und bietet einen skalierbaren, effizienten und unglaublich leistungsfähigen Weg zur nächsten Era der Generalisten der Generalisten. In diesem Weblog werden wir die Particulars von Memento und wie es funktioniert.

Das Downside mit den heutigen LLM -Agenten

LLM -Agenten des großen Sprachmodells sind die Zukunft. Im Gegensatz zu herkömmlichen LLMs, die nur Fragen beantworten, sind diese Agenten proaktive Problemlöser. Sie können autonom komplexe Aufgaben durchführen, indem sie externe Instruments und Argumentation durch Probleme Schritt für Schritt verwenden.

So mächtig sie auch sind, die meisten LLM -Agenten fallen in eine von zwei Kategorien mit jeweils einen kritischen Fehler:

1. Der starre Agent: Diese Artwork von Agent wird mit einem festen, hart codierten Workflow erstellt. Es ist großartig in seinem spezifischen Job, aber es kann sich nicht anpassen. Es werden keine neuen Informationen selbst einbeziehen oder aus seinen Fehlern in Echtzeit lernen. Stellen Sie sich eine hochspezialisierte Maschine vor, die nur eine Aufgabe perfekt erledigen kann.
2. Der Feinabstimmungsagent: Dies ist der flexiblere, aber unglaublich kostspieligere Ansatz. Diese Wirkstoffe werden durch Feinabstimmung ihrer Kern-LLM-Parameter auf der Grundlage neuer Daten oder Verstärkungslernen aktualisiert. Dies ermöglicht ein dynamischeres Verhalten, aber der Prozess ist ein logistischer Albtraum. Dies macht sie für kontinuierliches On-line -Lernen unpraktisch.

Memento wurde gebaut, um diese zentrale Herausforderung zu lösen: Wie erstellen wir eine KI, die kontinuierlich ohne den konstanten, teuren und riskanten Prozess von lernen kann Feinabstimmung?

Was ist Memento?

Memento ist im Grunde ein speichergetriebenes Framework, das es erlaubt Llm Agenten, die aus Erfahrung lernen, wie jeder Mensch. Sie erinnern sich an, passen und wiederverwenden in vergangenen Fällen, ohne das Foundation -Großsprachmodell, auf dem sie aufgebaut sind, umzuschulungen.

Die Schöpfer von Memento schauten auf die leistungsstärkste und effizienteste Lernmaschine, die wir kennen: das menschliche Gehirn. Menschen „feinst“ ihr Gehirn nicht jedes Mal, wenn sie etwas Neues lernen. Stattdessen verlassen wir uns auf unser Gedächtnis. Wir speichern frühere Erfahrungen, lernen aus unseren Erfolgen und Misserfolgen und nutzen diese Erinnerungen, um unsere zukünftigen Entscheidungen zu leiten, die als Fallbasis (CBR) bezeichnet werden. Es ist ein psychologisches Prinzip, das darauf hindeutet, dass wir neue Probleme lösen, indem wir Lösungen aus ähnlichen vergangenen Situationen erinnern und anpassen.

Memento bringt diesen menschlichen Ansatz in LLM-Agenten. Anstatt das Kernmodell des LLM zu optimieren, gibt Memento dem Agenten einen externen episodischen Speicher, der als Case Financial institution bezeichnet wird. Die Case Financial institution speichert frühere Flugbahnen, einschließlich Schritte, die Ergebnisse, und ob sie mit Erfolg oder Misserfolg endeten. Auf diese Weise kann der Agent „in der Fliege lernen“, ohne ein einzelnes Gradienten -Replace für sein Grundmodell zu finden.

Der Memento Framework -Code finden Sie hier: Github

Was passiert in Memento?

Der Kern dieses Techniques ist ein Speicher-Markov-Entscheidungsprozess (M-MDP). Es ist eine Möglichkeit, den Entscheidungsprozess des Agenten zu modellieren, bei dem sein Gedächtnis ein wesentlicher Bestandteil jeder Wahl ist. Dies ist eine huge Verschiebung von traditionellen Modellen, die ausschließlich auf ihrem internen, festen Wissen beruhen.

Nachdem wir wissen, was Memento ist, tauchen wir in seine Architektur ein.

Wie funktioniert die Architektur von Memento?

Memento arbeitet auf einem einfachen, aber leistungsstarken zweistufigen Framework:

Stufe 1: Fallbasierte Planung

Hier denkt der Agent. Ein LLM wirkt wie das Planerum eine Benutzerabfrage aufzunehmen und, genau wie ein Mensch, sie in eine Liste von Unteraufgaben unterteilt. Die geheime Sauce hier ist der Fallgedächtnis.

Bevor er handelt, „liest“ der Planer aus seiner Fallbank und ruft frühere Erfahrungen ab, die der aktuellen Aufgabe am ähnlichsten sind. Der Agent verwendet dann diese vergangenen Fälle, einschließlich erfolgreicher und fehlgeschlagener Versuche, um seinen aktuellen Plan zu informieren und ihm zu helfen, frühere Fehler zu vermeiden und bewährte Strategien anzuwenden.

Stufe 2: Toolbasierte Ausführung

Sobald der Planer seine Strategie hat, übergibt er die Unteraufgaben zum Testamentsvollstrecker. Dies ist ein weiteres LLM, das mit einem umfassenden Satz externer Instruments wie Websuche, Code -Dolmetscher und Dateiprozessoren verbessert wird. Der Testamentsvollstrecker führt den Plan durch, jeweils eine Unteraufgabe, und verwendet die richtigen Instruments, um die Aufgabe zu erledigen. Der Agent ist sogar mit leistungsstarken Such- und Kriechtools ausgestattet, um Informationen aus dem Internet in Echtzeit abzurufen und zu analysieren.

Jede Aktion, die der Agent ergriffen und die Belohnung, die er erhält (Erfolg oder Misserfolg), wird in die Case Financial institution wieder aufgenommen und „geschrieben“. Dies schafft eine kontinuierliche Rückkopplungsschleife, in der das Gedächtnis des Agenten mit jeder neuen Interaktion ständig wächst und schlauer wird. Dieser Prozess wird durch Mushy formalisiert Q-Studyingeine Methode, die es dem Agenten ermöglicht, den Wert verschiedener Fälle (Erfahrungen) im Laufe der Zeit zu lernen. Es ist eine raffinierte Artwork, sicherzustellen, dass der Agent lernt, welche vergangenen Erfahrungen am wertvollsten sind, um abzurufen.

Memento: Actual World Efficiency

Das Memento -Framework ist nicht nur ein theoretisches Konzept. Es hat wirklich bemerkenswerte Ergebnisse erzielt. In der Papier werden umfangreiche Bewertungen über mehrere Benchmarks hinweg beschrieben, und die Zahlen sind überzeugend:

1. High-1 auf Gaia: Memento erreichte den Platz 1 in der Gaia-Rangliste, ein Benchmark, der die Fähigkeit eines Agenten testet, komplexe Langzeitaufgaben auszuführen, die die Verwendung von Werkzeugen und autonome Planung erfordern. Die Ergebnisse waren im Testsatz besonders stark, wo es 79,40percenterzielte, einen neuen Benchmark für Open-Supply-Agent-Frameworks.
2. Übertreffen Sie die Konkurrenz: Im DeepRearcher-Datensatz, in dem die Webforschung in Echtzeit getestet wird, erreichte Memento einen beeindruckenden 66,6% igen F1-Rating und 80,4% PM. IT übertraf modernde schultrainingebasierte Systeme, was zeigt, dass ein speicherbasierter Ansatz effektiver sein kann als die Feinabstimmung der Brute-Pressure.
3. Die Kraft des Gedächtnisses: Ablationsstudien in der Arbeit bestätigten die kritische Rolle der Fallbank. Durch die Hinzufügung von Fallbasierter Speicher allein wurde die Genauigkeit von Aufgaben außerhalb der Verteilung um bis zu 9,6percentgesteigert und zeigt die Kraft des Lernens aus früheren Erfahrungen.

Das Memento -Framework, der von einer Kombination von Modellen wie angetrieben wird GPT-4.1 Und o4-minizeigt, dass es nicht darum geht, das größte Modell zu verwenden, sondern um den richtigen Rahmen, um die Funktionen dieses Modells zu nutzen.

Abschluss

Das Memento -Framework stellt eine tiefgreifende Verschiebung in unserer Denk- und Erstellung dar KI -Agenten. Es beweist, dass wir hochkarätige, kontinuierliche Lernsysteme erstellen können, ohne die lähmenden Kosten und die technischen Komplexität der Feinabstimmung der Modellmodell zu erledigen.

Dieser Ansatz bietet einen leistungsstarken, skalierbaren und effizienten Weg, um wirklich generalistische LLM -Agenten zu bauen, die Artwork von KI, die eine breite Palette von Aufgaben in Angriff nehmen und mit jeder einzelnen Interaktion besser werden kann. Memento ist nicht nur ein besserer Weg, um KI aufzubauen. Es ist eine intuitivere. Es ist ein Schritt in Richtung Agi, der sich nicht nur clever handelt, sondern sich auf eine Weise lernt und anpasst, die sich viel mehr … menschlich anfühlt.

Sind Sie bereit zu sehen, wie ein Speicheransatz die Artwork und Weise verändern kann, wie Sie KI erstellen? Schauen Sie sich den Code an und sehen Sie sich Memento selbst in Aktion. Die Zukunft der KI ist hier und basiert auf einer Grundlage des Gedächtnisses, nicht nur auf der rohen Leistung.

Häufig gestellte Fragen

Anu Madan ist ein Experte für Unterrichtsdesign, Inhaltsschreiben und B2B -Advertising mit einem Expertise, komplexe Ideen in wirkungsvolle Erzählungen zu verwandeln. Mit ihrem Fokus auf generative KI erstellt sie aufschlussreiche, progressive Inhalte, die ein sinnvolles Engagement erziehen, inspiriert und fördert.

Kleine Sprachmodelle (SLMs) haben einen erheblichen Einfluss auf die KI. Sie bieten eine starke Leistung und sind gleichzeitig effizient und kostengünstig. Ein herausragendes Beispiel ist der Llama 3.2 3B. Es schneidet bei Retrieval-Augmented Technology (RAG)-Aufgaben außergewöhnlich intestine ab und senkt die Rechenkosten und den Speicherverbrauch bei gleichzeitig hoher Genauigkeit. In diesem Artikel wird die Feinabstimmung des Llama 3.2 3B-Modells erläutert. Erfahren Sie, wie kleinere Modelle bei RAG-Aufgaben hervorragende Leistungen erbringen und die Grenzen dessen erweitern können, was kompakte KI-Lösungen leisten können.

Was ist Lama 3.2 3B?

Das von Meta entwickelte Llama 3.2 3B-Modell ist ein mehrsprachiges SLM mit 3 Milliarden Parametern, das für Aufgaben wie Fragenbeantwortung, Zusammenfassung und Dialogsysteme entwickelt wurde. Es übertrifft viele Open-Supply-Modelle bei Branchen-Benchmarks und unterstützt verschiedene Sprachen. Llama 3.2 ist in verschiedenen Größen erhältlich und bietet eine effiziente Rechenleistung sowie quantisierte Versionen für eine schnellere, speichereffiziente Bereitstellung in mobilen und Edge-Umgebungen.

Lesen Sie auch: Die 13 besten Small Language Fashions (SLMs)

Feinabstimmung von Lama 3.2 3B

Eine Feinabstimmung ist für die Anpassung von SLM oder LLMs an bestimmte Bereiche oder Aufgaben, beispielsweise medizinische, rechtliche oder RAG-Anwendungen, unerlässlich. Während das Vortraining es Sprachmodellen ermöglicht, Texte zu verschiedenen Themen zu generieren, trainiert die Feinabstimmung das Modell erneut auf domänen- oder aufgabenspezifischen Daten, um Relevanz und Leistung zu verbessern. Um den hohen Rechenaufwand für die Feinabstimmung aller Parameter zu bewältigen, konzentrieren sich Techniken wie Parameter Environment friendly Advantageous-Tuning (PEFT) darauf, nur eine Teilmenge der Parameter des Modells zu trainieren und so die Ressourcennutzung zu optimieren und gleichzeitig die Leistung aufrechtzuerhalten.

LoRA

Eine solche PEFT-Methode ist Low Rank Adaptation (LoRA).

In Lora wird die Gewichtsmatrix in SLM oder LLM in ein Produkt aus zwei Matrizen mit niedrigem Rang zerlegt.

W = WA * WB

Wenn W m Zeilen und n Spalten hat, kann es in WA mit m Zeilen und r Spalten und WB mit r Zeilen und n Spalten zerlegt werden. Hier ist r viel kleiner als m oder n. Anstatt additionally m*n Werte zu trainieren, können wir nur r*(m+n) Werte trainieren. r heißt Rang und ist der Hyperparameter, den wir wählen können.

def lora_linear(x):
h = x @ W # common linear
h += scale * (x @ W_A @ W_B) # low-rank replace
return h

Kasse: Parametereffiziente Feinabstimmung großer Sprachmodelle mit LoRA und QLoRA

Lassen Sie uns LoRA auf dem Llama 3.2 3B-Modell implementieren.

Bibliotheken erforderlich

• unsloth – 2024.12.9
• Datensätze – 3.1.0

Durch die Set up der oben genannten Sloth-Model werden auch die kompatiblen Pytorch-, Transformer- und Nvidia-GPU-Bibliotheken installiert. Wir können Google Colab verwenden, um auf die GPU zuzugreifen.

Schauen wir uns jetzt die Umsetzung an!

Importieren Sie die Bibliotheken

from unsloth import FastLanguageModel, is_bfloat16_supported, train_on_responses_only

from datasets import load_dataset, Dataset

from trl import SFTTrainer, apply_chat_template

from transformers import TrainingArguments, DataCollatorForSeq2Seq, TextStreamer

import torch

Initialisieren Sie das Modell und die Tokenizer

max_seq_length = 2048 
dtype = None # None for auto-detection.
load_in_4bit = True # Use 4bit quantization to cut back reminiscence utilization. May be False.

mannequin, tokenizer = FastLanguageModel.from_pretrained(
	model_name = "unsloth/Llama-3.2-3B-Instruct",
	max_seq_length = max_seq_length,
	dtype = dtype,
	load_in_4bit = load_in_4bit,
	# token = "hf_...", # use if utilizing gated fashions like meta-llama/Llama-3.2-11b
)

Weitere von Unsloth unterstützte Modelle finden Sie hier dieses Dokument.

Initialisieren Sie das Modell für PEFT

mannequin = FastLanguageModel.get_peft_model(
	mannequin,
	r = 16,
	target_modules = ("q_proj", "k_proj", "v_proj", "o_proj",
                  	"gate_proj", "up_proj", "down_proj",),
	lora_alpha = 16,
	lora_dropout = 0, 
	bias = "none",
	use_gradient_checkpointing = "unsloth",
	random_state = 42,
	use_rslora = False, 
	loftq_config = None,
)

Beschreibung für jeden Parameter

• r: Rang von LoRA; Höhere Werte verbessern die Genauigkeit, verbrauchen aber mehr Speicher (empfohlen: 8–128).
• target_modules: Module zur Feinabstimmung; Beziehen Sie alles ein, um bessere Ergebnisse zu erzielen
• lora_alpha: Skalierungsfaktor; typischerweise gleich oder doppelt so hoch wie der Rang r.
• lora_dropout: Abbrecherquote; Für optimiertes und schnelleres Coaching auf 0 setzen.
• Bias: Bias-Typ; „none“ ist auf Geschwindigkeit und minimale Überanpassung optimiert.
• use_gradient_checkpointing: Reduziert den Speicher für Langkontexttraining; „unsloth“ ist sehr zu empfehlen.
• random_state: Seed für deterministische Läufe, um reproduzierbare Ergebnisse sicherzustellen (z. B. 42).
• use_rslora: Automatisiert die Alpha-Auswahl; nützlich für rangstabilisiertes LoRA.
• loftq_config: Initialisiert LoRA mit High-r-Singulärvektoren für eine bessere Genauigkeit, obwohl speicherintensiv.

Datenverarbeitung

Wir werden die RAG-Daten zur Feinabstimmung verwenden. Laden Sie die Daten von Huggingface herunter.

dataset = load_dataset("neural-bridge/rag-dataset-1200", break up = "prepare")

Der Datensatz verfügt über die folgenden drei Schlüssel:

Datensatz({ Options: (‚Kontext‘, ‚Frage‘, ‚Antwort‘), num_rows: 960 })

Die Daten müssen je nach Sprachmodell in einem bestimmten Format vorliegen. Weitere Particulars lesen Hier.

Additionally konvertieren wir die Daten in das erforderliche Format:

def convert_dataset_to_dict(dataset):
    dataset_dict = {
        "immediate": (),
        "completion": ()
    }

    for row in dataset:
        user_content = f"Context: {row('context')}nQuestion: {row('query')}"
        assistant_content = row('reply')

        dataset_dict("immediate").append((
            {"function": "person", "content material": user_content}
        ))
        dataset_dict("completion").append((
            {"function": "assistant", "content material": assistant_content}
        ))
    return dataset_dict
    
    
converted_data = convert_dataset_to_dict(dataset)
dataset = Dataset.from_dict(converted_data)
dataset = dataset.map(apply_chat_template, fn_kwargs={"tokenizer": tokenizer})

Die Datensatznachricht lautet wie folgt:

Einrichten der Trainerparameter

Wir können den Coach für die Feinabstimmung des SLM initialisieren:

coach = SFTTrainer(
	mannequin = mannequin,
	tokenizer = tokenizer,
	train_dataset = dataset,
	max_seq_length = max_seq_length,
	data_collator = DataCollatorForSeq2Seq(tokenizer = tokenizer),
	dataset_num_proc = 2,
	packing = False, # Could make coaching 5x sooner for brief sequences.
	args = TrainingArguments(
    	per_device_train_batch_size = 2,
    	gradient_accumulation_steps = 4,
    	warmup_steps = 5,
    	# num_train_epochs = 1, # Set this for 1 full coaching run.
    	max_steps = 6, # utilizing small quantity to check
    	learning_rate = 2e-4,
    	fp16 = not is_bfloat16_supported(),
    	bf16 = is_bfloat16_supported(),
    	logging_steps = 1,
    	optim = "adamw_8bit",
    	weight_decay = 0.01,
    	lr_scheduler_type = "linear",
    	seed = 3407,
    	output_dir = "outputs",
    	report_to = "none", # Use this for WandB and so forth
	),
)

Beschreibung einiger Parameter:

• per_device_train_batch_size: Stapelgröße professional Gerät; erhöhen, um mehr GPU-Speicher zu nutzen, aber achten Sie auf Ineffizienzen beim Auffüllen (empfohlen: 2).
• gradient_accumulation_steps: Simuliert größere Stapelgrößen ohne zusätzliche Speichernutzung; Erhöhung für glattere Verlustkurven (empfohlen: 4).
• max_steps: Gesamte Trainingsschritte; Stellen Sie es für schnellere Läufe ein (z. B. 60) oder verwenden Sie „num_train_epochs“ für vollständige Datensatzdurchläufe (z. B. 1–3).
• learning_rate: Steuert Trainingsgeschwindigkeit und Konvergenz; Niedrigere Raten (z. B. 2e-4) verbessern die Genauigkeit, verlangsamen jedoch das Coaching.

Lassen Sie das Modell nur auf Antworten trainieren, indem Sie die Antwortvorlage angeben:

coach = train_on_responses_only(
	coach,
	instruction_part = "<|start_header_id|>person<|end_header_id|>nn",
	response_part = "<|start_header_id|>assistant<|end_header_id|>nn",
)

Feinabstimmung des Modells

trainer_stats = coach.prepare()

Hier sind die Trainingsstatistiken:

Testen und speichern Sie das Modell

Lassen Sie uns das Modell zur Schlussfolgerung verwenden:

FastLanguageModel.for_inference(mannequin)

messages = (
	{"function": "person", "content material": "Context: The sky is usually clear throughout the day. Query: What colour is the water?"},
)
inputs = tokenizer.apply_chat_template(
	messages,
	tokenize = True,
	add_generation_prompt = True,
	return_tensors = "pt",
).to("cuda")

text_streamer = TextStreamer(tokenizer, skip_prompt = True)
_ = mannequin.generate(input_ids = inputs, streamer = text_streamer, max_new_tokens = 128,
               	use_cache = True, temperature = 1.5, min_p = 0.1)

Um die trainierten Gewichte einschließlich LoRA zu speichern, verwenden Sie den folgenden Code

mannequin.save_pretrained_merged("mannequin", tokenizer, save_method = "merged_16bit")

Kasse: Leitfaden zur Feinabstimmung großer Sprachmodelle

Abschluss

Die Feinabstimmung von Llama 3.2 3B für RAG-Aufgaben zeigt die Effizienz kleinerer Modelle bei der Bereitstellung hoher Leistung bei reduzierten Rechenkosten. Techniken wie LoRA optimieren die Ressourcennutzung und wahren gleichzeitig die Genauigkeit. Dieser Ansatz ermöglicht domänenspezifische Anwendungen, macht fortschrittliche KI zugänglicher, skalierbarer und kostengünstiger, treibt Innovationen in der abrufgestützten Generierung voran und demokratisiert KI für reale Herausforderungen.

Lesen Sie auch: Erste Schritte mit Meta Llama 3.2

Häufig gestellte Fragen

Ich arbeite als Affiliate Knowledge Scientist bei Analytics Vidhya, einer Plattform, die sich dem Aufbau des Knowledge Science-Ökosystems widmet. Meine Interessen liegen in den Bereichen Pure Language Processing (NLP), Deep Studying und KI-Agenten.