Die meisten KI-Workflows folgen derselben Schleife: Sie laden Dateien hoch, stellen eine Frage, erhalten eine Antwort und dann wird alles zurückgesetzt. Nichts bleibt hängen. Bei großen Codebasen oder Forschungssammlungen wird dies schnell ineffizient. Selbst wenn Sie dasselbe Materials erneut betrachten, liest das Modell es von Grund auf neu, anstatt auf früheren Kontexten oder Erkenntnissen aufzubauen.

Andrej Karpathy hat diese Lücke hervorgehoben und ein LLM-Wiki vorgeschlagen, eine dauerhafte Wissensschicht, die sich mit der Nutzung weiterentwickelt. Die Idee entstand schnell als Graphify. In diesem Artikel untersuchen wir, wie dieser Ansatz KI-Workflows mit langen Kontexten umgestaltet und was er als nächstes freisetzt.

Was ist Graphify?

Das Graphify-System fungiert als KI-Codierungsassistent, der es Benutzern ermöglicht, jedes Verzeichnis in einen durchsuchbaren Wissensgraphen umzuwandeln. Das System fungiert als eigenständige Einheit und nicht nur als Chatbot-System. Das System arbeitet in KI-Codierungsumgebungen, zu denen Claude Code, Cursor, Codex, Gemini-CLI und zusätzliche Plattformen.

Der Installationsprozess erfordert einen einzigen Befehl, der ausgeführt werden muss:

pip set up graphify && graphify set up

Sie müssen Ihren KI-Assistenten starten und den folgenden Befehl eingeben:

/graphify

Sie müssen das System zu einem beliebigen Ordner leiten, bei dem es sich um eine Codebasis, ein Forschungsverzeichnis oder einen Notizen-Dump handeln kann, und dann den Bereich verlassen. Das System generiert einen Wissensgraphen, den Benutzer erkunden können, nachdem sie ihn auf einen beliebigen Ordner gerichtet haben.

Was gebaut wird (und warum es wichtig ist)

Wenn Sie die Ausführung von Graphify abgeschlossen haben, erhalten Sie vier Ausgaben in Ihrem graphify-out/-Ordner:

1. Der graph.html Die Datei ist eine interaktive, anklickbare Darstellung Ihres Wissensdiagramms, mit der Sie Suchen filtern und Communities finden können
2. Der GRAPH_REPORT.md Die Datei ist eine Zusammenfassung Ihrer God-Knoten im Klartext, aller unerwarteten Hyperlinks, die Sie möglicherweise entdecken, und einiger vorgeschlagener Fragen, die sich als Ergebnis Ihrer Analyse ergeben.
3. Die Datei graph.json ist eine dauerhafte Darstellung Ihres Diagramms, die Sie Wochen später abfragen können, ohne die Originaldatenquellen lesen zu müssen, um Ihre Ergebnisse zu generieren.
4. Das Verzeichnis „cache/“ enthält eine SHA256-basierte Cache-Datei, um sicherzustellen, dass nur Dateien erneut verarbeitet werden, die sich seit der letzten Ausführung von Graphify geändert haben.

All dies wird Teil Ihrer Gedächtnisschicht. Sie werden keine Rohdaten mehr lesen; Stattdessen lesen Sie strukturierte Daten.

Der Token-Effizienz-Benchmark erzählt die wahre Geschichte: Auf einem gemischten Korpus aus Karpathy-Repos, Forschungsarbeiten und Bildern liefert Graphify 71,5-mal weniger Token professional Abfrage im Vergleich zum direkten Lesen von Rohdateien.

Wie es unter der Haube funktioniert?

Der Betrieb von Graphify erfordert zwei unterschiedliche Ausführungsphasen. Der Prozess muss verstanden werden, da sein Funktionsmechanismus von diesem Wissen abhängt:

Das Graphify-System extrahiert die Codestruktur durch Tree-Sitter, der Codedateien analysiert, um ihre Komponenten zu identifizieren. Es umfasst Klassen, Funktionen, Importe, Aufrufdiagramme, Dokumentzeichenfolgen und Begründungskommentare. Das System funktioniert ganz ohne LLM Komponente. Ihr Gerät behält alle Dateiinhalte ohne jegliche Datenübertragung. Das System bietet drei Vorteile: Es erreicht eine hohe Geschwindigkeit, liefert genaue Ergebnisse und schützt die Privatsphäre der Benutzer.

Die Claude-Subagenten führen ihre Aufgaben gleichzeitig in allen Dokumenten aus, darunter PDFs sowie Markdown-Inhalte und Bilder. Sie extrahieren Konzepte, Beziehungen und Designgründe aus unstrukturierten Inhalten. Der Prozess führt zur Erstellung eines einheitlichen NetworkX-Diagramms.

Der Clustering-Prozess verwendet die Leiden-Group-Erkennung, die als fungiert graph-topology-based Methode, die keine Einbettungen oder eine Vektordatenbank erfordert. Die Claude Move 2-Extraktion generiert semantische Ähnlichkeitskanten, die bereits als eingebettete Elemente im Diagramm vorhanden sind und sich direkt auf den Clustering-Prozess auswirken. Die Diagrammstruktur fungiert als Sign, das die Ähnlichkeit zwischen Elementen anzeigt.

Einer der vorteilhaftesten Aspekte von Graphify ist die Methode zur Zuweisung von Konfidenzniveaus. Jede Beziehung wird mit folgendem Tag versehen:

• EXTRAHIERT – in der Quelle mit einem Konfidenzniveau von eins gefunden.
• GESCHLOSSEN – vernünftige Schlussfolgerung basierend auf einem Grad an Konfidenz (Anzahl).
• MEHRDEUTIG – bedarf einer menschlichen Überprüfung.

Dies ermöglicht Ihnen die Unterscheidung zwischen gefundenen und abgeleiteten Daten, was ein Maß an Transparenz bietet, das in den meisten KI-Instruments nicht zu finden ist, und Ihnen dabei hilft, die beste Architektur basierend auf der Diagrammausgabe zu entwickeln.

Was können Sie eigentlich abfragen?

Der Prozess der Abfrage des Methods wird intuitiver, nachdem die Diagrammerstellung abgeschlossen ist. Benutzer können Befehle über ihr Terminal oder ihren KI-Assistenten ausführen:

graphify question "what connects consideration to the optimizer?
graphify question "present the auth movement" --dfs
graphify path "DigestAuth" "Response"
graphify clarify "SwinTransformer" 

Das System erfordert, dass Benutzer Suchen anhand bestimmter Begriffe durchführen. Graphify verfolgt die tatsächlichen Verbindungen im Diagramm durch jeden Verbindungspunkt und zeigt gleichzeitig die Verbindungstypen, Konfidenzniveaus und Quellpunkte an. Der --budget Mit dem Flag können Sie die Ausgabe auf eine bestimmte Token-Menge begrenzen. Dies ist wichtig, wenn Sie Untergraphendaten an Ihre nächste Eingabeaufforderung übertragen müssen.

Der richtige Arbeitsablauf läuft nach diesen Schritten ab:

• Beginnen Sie mit dem Dokument GRAPH_REPORT.md die wesentliche Informationen zu den Hauptthemen liefert
• Verwenden Sie graphify question, um einen fokussierten Untergraphen für Ihre spezifische Frage abzurufen
• Sie sollten die kompakte Ausgabe an Ihren KI-Assistenten senden, anstatt die vollständige Datei zu verwenden

Das System erfordert, dass Sie durch das Diagramm navigieren, anstatt seinen gesamten Inhalt in einer einzigen Eingabeaufforderung darzustellen.

All the time-On-Modus: Machen Sie Ihre KI standardmäßig intelligenter

Mit graphify können Änderungen auf Systemebene an Ihrem KI-Assistenten vorgenommen werden. Nachdem Sie ein Diagramm erstellt haben, können Sie Folgendes in einem Terminal ausführen:

graphify claude set up 

Dadurch entsteht ein CLAUDE.md Datei im Claude-Code-Verzeichnis, die Claude anweist, die zu verwenden GRAPH_REPORT.md Datei, bevor Sie zur Architektur antworten. Außerdem fügt es einen PreToolUse-Hook in Ihr ein Settings.json Datei, die vor jedem Glob- und Grep-Aufruf ausgelöst wird. Wenn ein Wissensdiagramm vorhanden ist, sollte Claude die Aufforderung sehen, über die Diagrammstruktur zu navigieren, anstatt nach einzelnen Dateien zu suchen.

Diese Änderung hat zur Folge, dass Ihr Assistent keine Dateien mehr nach dem Zufallsprinzip scannt und die Struktur der Daten zum Navigieren verwendet. Dadurch sollten Sie schnellere Antworten auf alltägliche Fragen und bessere Antworten auf komplexere Fragen erhalten.

Unterstützung für Dateitypen

Aufgrund seiner multimodalen Fähigkeiten ist Graphify ein wertvolles Werkzeug für Forschung und Datenerfassung. Graphify unterstützt:

• Baumverarbeitung von 20 Programmiersprachen: Python, JavaScript, TypeScript, Go, Rust, Java, C, C++, Ruby, C#, Kotlin, Scala, PHP, Swift, Lua, Zig, PowerShell, Elixir, Goal C und Julia
• Quotation Mining und Konzepte aus PDF-Dokumenten
• Verarbeiten Sie Bilder (PNG, JPG, WebP, GIF) mit Claude Imaginative and prescient. Diagramme, Screenshots, Whiteboards und Materialien, die nicht auf Englisch basieren.
• Extrahieren Sie vollständige Beziehungen und Konzepte aus Markdown, .txt, .rst
• Verarbeiten Sie Microsoft Workplace-Dokumente (.docx und .xlsx), indem Sie eine optionale Abhängigkeit einrichten:

pip set up graphifyy(workplace) 

Legen Sie einfach einen Ordner mit gemischten Dateitypen in Graphify ab und jede Datei wird entsprechend der entsprechenden Verarbeitungsmethode verarbeitet.

Weitere wissenswerte Funktionen

Graphify umfasst zusätzlich zu seiner Hauptfunktionalität zur Erstellung von Diagrammen aus Codedateien mehrere Funktionen für den Einsatz in einer Produktionsumgebung.

• Automatische Synchronisierung mit –watch: Wenn Sie Graphify in einem Terminal ausführen, kann das Diagramm automatisch neu erstellt werden, wenn Codedateien bearbeitet werden. Wenn Sie eine Codedatei bearbeiten, wird automatisch ein Summary Syntax Tree (AST) neu erstellt, um Ihre Änderung widerzuspiegeln. Wenn Sie ein Dokument oder Bild bearbeiten, werden Sie aufgefordert, –replace auszuführen, damit ein LLM das Diagramm erneut durchlaufen kann, um alle Änderungen widerzuspiegeln.
• Git-Hooks: Sie können einen Git-Commit erstellen, um das Diagramm jedes Mal neu zu erstellen, wenn Sie den Zweig wechseln, oder einen Commit durchführen, indem Sie graphify Hook Set up ausführen. Sie müssen keinen Hintergrundprozess ausführen, um Graphify auszuführen.
• Wiki-Export mit –wiki: Sie können einen Markdown im Wiki-Stil mit einem index.md-Einstiegspunkt für jeden God-Knoten und nach Group innerhalb der Graphify-Datenbank exportieren. Jeder Agent kann die Datenbank durchsuchen, indem er die exportierten Dateien liest.
• MCP-Server: Sie können einen MCP-Server auf Ihrem lokalen Pc starten und Ihren Assistenten für wiederholte Abfragen auf strukturierte Diagrammdaten verweisen lassen (query_graph, get_node, get_neighbors, shortest_path) durch Laufen python -m graphify.serve graphify-out/graph.json.
• Exportoptionen: Sie können von Graphify nach SVG, GraphML (für Gephi oder yEd) und Cypher (für Neo4j) exportieren.

Abschluss

Dank der Speicherschicht Ihres KI-Assistenten kann er Ideen für zukünftige Sitzungen festhalten. Derzeit ist die gesamte KI-Codierung zustandslos, d. h. jedes Mal, wenn Sie Ihren Assistenten ausführen, beginnt er von vorne. Jedes Mal, wenn Sie dieselbe Frage stellen, werden dieselben Dateien wie zuvor gelesen. Das bedeutet, dass Sie jedes Mal, wenn Sie eine Frage stellen, auch Token verwenden, um Ihren vorherigen Kontext an das System zu senden.

Graphify bietet Ihnen eine Möglichkeit, aus diesem Kreislauf auszubrechen. Anstatt Ihr Diagramm ständig neu erstellen zu müssen, können Sie einfach den SHA256-Cache verwenden, um nur das neu zu generieren, was sich in Ihrer letzten Sitzung geändert hat. Ihre Abfragen verwenden jetzt eine kompakte Darstellung der Struktur, anstatt aus der unkompilierten Quelle zu lesen.

Mit dem GRAPH_REPORT.mdIhr Assistent verfügt über eine Karte des gesamten Diagramms und der /graphify Befehle ermöglichen es Ihrem Assistenten, sich durch dieses Diagramm zu bewegen. Wenn Sie Ihren Assistenten auf diese Weise einsetzen, wird sich die Artwork und Weise, wie Sie Ihre Arbeit erledigen, völlig verändern.

Häufig gestellte Fragen

Was wäre, wenn Sie für 100 US-Greenback eine funktionierende ChatGPT-ähnliche KI entwickeln könnten? Der neue Nanochat von Andrej Karpathy sagt Ihnen genau das! Das am 13. Oktober 2025 gestartete Nanochat-Projekt von Karpathy ist ein Open-Supply-LLM, das in etwa 8.000 PyTorch-Zeilen codiert ist. Es bietet Ihnen eine unkomplizierte Roadmap, wie Sie ein Sprachmodell von Grund auf trainieren und in wenigen Stunden Ihre eigene personal KI erstellen können. In diesem Artikel sprechen wir über den neu veröffentlichten Nanochat und wie man ihn Schritt für Schritt richtig für das Coaching einrichtet.

Was ist Nanochat?

Das Nanochat-Repository bietet eine Full-Stack-Pipeline zum Trainieren eines minimalen ChatGPT-Klons. Es kümmert sich um alles von der Tokenisierung bis zur Finish-Net-Benutzeroberfläche. Dieses System ist ein Nachfolger des bisherigen nanoGPT. Es führt wichtige Funktionen wie Supervised High-quality-Tuning (SFT), Reinforcement Studying (RL) und verbesserte Inferenz ein.

Hauptmerkmale

Das Projekt besteht aus einer Reihe wichtiger Komponenten. Es enthält einen neuen, von Rust entwickelten Tokenizer für hohe Leistung. Die Trainingspipeline nutzt Qualitätsdaten wie FineWeb-EDU für das Vortraining. Es nutzt auch spezielle Daten wie SmolTalk und GSM8K für die Feinabstimmung nach dem Coaching. Aus Sicherheitsgründen kann das Modell Code in einer Python-Sandbox ausführen.

Das Projekt passt intestine zu Ihrem Finances. Das grundlegende „Speedrun“-Modell kostet etwa 100 US-Greenback und trainiert vier Stunden lang. Sie können auch ein robusteres Modell für etwa 1.000 US-Greenback und etwa 42 Stunden Schulung entwickeln.

Leistung

Die Leistung steigt mit der Trainingszeit.

• 4 Stunden: Der Schnelldurchlauf bietet Ihnen ein einfaches Konversationsmodell. Es kann einfache Gedichte verfassen oder Konzepte wie die Rayleigh-Streuung beschreiben.

Einige der zusammenfassenden Messwerte wurden durch den 100-Greenback-Speedrun über 4 Stunden ermittelt.

• 12 Stunden: Das Modell beginnt, GPT-2 beim CORE-Benchmark zu übertreffen.
• 24 Stunden: Es erzielt ordentliche Werte, z. B. 40 % bei MMLU und 70 % bei ARC-Simple.

Das primäre Bildungsziel des Nanochat-Projekts besteht darin, eine einfache, hackbare Foundation bereitzustellen. Dies macht es zu einer großartigen Ressource für Studenten, Forscher und KI-Hobbyisten.

Voraussetzungen und Einrichtung

Bevor Sie beginnen, müssen Sie Ihre {Hardware} und Software program vorbereiten. Mit den richtigen Werkzeugen ist das ganz einfach.

Hardwareanforderungen

Das Projekt lässt sich am besten mit einem 8xH100-GPU-Knoten bewältigen. Diese sind bei Anbietern wie Lambda GPU Cloud für etwa 24 US-Greenback professional Stunde erhältlich. Sie können auch eine einzelne GPU mit Gradientenakkumulation verwenden. Dies ist eine langsamere Methode, aber achtmal langsamer.

Software program

Sie benötigen neben PyTorch eine Normal-Python-Umgebung. Das Projekt stützt sich auf die UV Paketmanager zur Verwaltung von Abhängigkeiten. Außerdem muss Git installiert sein, um das Repository zu klonen. Als optionale Choice können Sie Gewichtungen und Gewichtungen zur Protokollierung Ihrer Trainingsläufe hinzufügen.

Erste Schritte

Das Klonen des offiziellen Repositorys steht an erster Stelle:

git clone (e-mail protected):karpathy/nanochat.git 

Zweitens wechseln Sie in das Projektverzeichnis, additionally nanochat, und installieren Sie die Abhängigkeiten.

cd nanochat 

Erstellen Sie abschließend Ihre Cloud-GPU-Instanz und verbinden Sie sie mit ihr, um mit dem Coaching zu beginnen.

Leitfaden zum Trainieren Ihres eigenen ChatGPT-Klons

Im Folgenden finden Sie eine Schritt-für-Schritt-Anleitung zum Trainieren Ihres allerersten Modells. Wenn Sie diese Schritte genau beachten, erhalten Sie ein funktionierendes LLM. Die offizielle Komplettlösung im Repository enthält weitere Informationen.

Schritt 1: Umgebungsvorbereitung

Starten Sie zunächst Ihren 8xH100-Knoten. Sobald Sie fertig sind, installieren Sie den UV-Paketmanager mit dem mitgelieferten Skript. Es ist sinnvoll, Dinge mit langer Laufzeit in einer Bildschirmsitzung zu haben. Dadurch läuft das Coaching auch dann weiter, wenn Sie die Verbindung trennen.

# set up uv (if not already put in) 
command -v uv &> /dev/null || curl -LsSf https://astral.sh/uv/set up.sh | sh 
# create a .venv native digital setting (if it does not exist) 
( -d ".venv" ) || uv venv 
# set up the repo dependencies 
uv sync 
# activate venv in order that `python` makes use of the mission's venv as a substitute of system python 
supply .venv/bin/activate 

Schritt 2: Daten- und Tokenizer-Einrichtung

Zuerst müssen wir Rust/Cargo installieren, damit wir unseren benutzerdefinierten Rust-Tokenizer kompilieren können.

# Set up Rust / Cargo 
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh -s -- -y 
supply "$HOME/.cargo/env" 
# Construct the rustbpe Tokenizer 
uv run maturin develop --release --manifest-path rustbpe/Cargo.toml 

Bei den Vortrainingsdaten handelt es sich lediglich um den Textual content vieler Webseiten, und für diesen Teil verwenden wir den FineWeb-EDU Datensatz. Karpathy empfiehlt jedoch die Verwendung der folgenden Model.

https://huggingface.co/datasets/karpathy/fineweb-edu-100b-shuffle

python -m nanochat.dataset -n 240 

Nach dem Herunterladen trainieren Sie den Rust-Tokenizer auf einem großen Textkorpus. Das Skript sorgt dafür, dass dieser Schritt schnell geht. Es sollte auf ein Komprimierungsverhältnis von etwa 4,8 zu 1 komprimiert werden.

python -m scripts.tok_train --max_chars=2000000000 
python -m scripts.tok_eval 

Schritt 3: Vortraining

Jetzt müssen Sie das Evaluierungsdatenpaket herunterladen. Hier befinden sich die Testdatensätze für die Leistung des Modells.

curl -L -o eval_bundle.zip https://karpathy-public.s3.us-west-2.amazonaws.com/eval_bundle.zip 
unzip -q eval_bundle.zip 
rm eval_bundle.zip 
mv eval_bundle "$HOME/.cache/nanochat" 

Auch Setup wandb um während des Trainings schöne Handlungsstränge zu sehen. UV bereits installiert wandb Für uns oben, aber Sie müssen noch ein Konto einrichten und sich anmelden mit:

wandb login 

Jetzt können Sie das Haupt-Vortrainingsskript starten. Führen Sie es mit dem Befehl „torchrun“ aus, um alle acht GPUs zu nutzen. Der Prozess trainiert das Modell anhand einfacher Sprachmuster aus dem FineWeb-EDU-Korpus. Der Speedrun dieser Etappe dauert etwa zwei bis drei Stunden. Dies ist ein wesentlicher Teil des Prozesses zum Trainieren eines Sprachmodells.

torchrun --standalone --nproc_per_node=8 -m scripts.base_train -- --depth=20 

Wir initiieren das Coaching auf 8 GPUs mithilfe des Skripts scripts/base_train.py. Das Modell ist ein 20-Schicht-Transformator. Jede GPU verarbeitet 32 ​​Sequenzen von 2048 Token professional Vorwärts- und Rückwärtsdurchlauf, was insgesamt 32 × 2048 = 524.288 (≈0,5 Millionen) verarbeitete Token professional Optimierungsschritt ergibt.

Wenn Weights & Biases (wandb) konfiguriert ist, können Sie das Flag –run=speedrun hinzufügen, um einen Laufnamen zuzuweisen und die Protokollierung zu aktivieren.

Wenn das Coaching beginnt, sehen Sie eine Ausgabe ähnlich der folgenden (hier aus Gründen der Übersichtlichkeit vereinfacht):

Schritt 4: Midtraining und SFT

Nach dem Vortraining fahren Sie mit dem Mitteltraining fort. Midtraining wendet das an SmolTalk Datensatz, um dem Modell mehr Konversationsleistung zu verleihen. Anschließend führen Sie eine überwachte Feinabstimmung (SFT) für Daten wie GSM8K durch. Dies hilft dem Modell dabei, zu lernen, Anweisungen auszuführen und Probleme zu lösen.

Wir können das mittlere Coaching wie folgt beginnen: Dieser Lauf dauert nur etwa 8 Minuten, viel kürzer als vor dem Coaching mit ca. 3 Stunden.

torchrun --standalone --nproc_per_node=8 -m scripts.mid_train 

Nach der Trainingsmitte kommt das Feinabstimmung Bühne. Diese Part beinhaltet eine weitere Runde der Feinabstimmung der Konversationsdaten, wobei der Schwerpunkt jedoch darauf liegt, nur die qualitativ hochwertigsten und am besten kuratierten Beispiele auszuwählen. In dieser Part werden auch sicherheitsorientierte Anpassungen vorgenommen, beispielsweise das Coaching des Modells hinsichtlich angemessener Ablehnungsverhalten bei sensiblen oder eingeschränkten Abfragen. Dies dauert wiederum nur etwa 7 Minuten.

torchrun --standalone --nproc_per_node=8 -m scripts.chat_sft 

Schritt 5: Optionaler RL

Das Open-Supply-LLM von Nanochat bietet auch vorläufige Unterstützung für verstärktes Lernen. Sie können eine Technik namens GRPO für den GSM8K-Datensatz ausführen. Dies ist ein optionaler Vorgang und kann eine weitere Stunde dauern. Überprüfen Sie, ob Karpathy sagte, dass die RL-Unterstützung noch in den Kinderschuhen steckt.

torchrun --standalone --nproc_per_node=8 -m scripts.chat_rl 

Schritt 6: Inferenz und Benutzeroberfläche

Nachdem das Coaching abgeschlossen ist, können Sie nun das Inferenzskript ausführen. Dadurch können Sie über eine Net-Benutzeroberfläche oder eine Befehlszeilenschnittstelle mit Ihrem Modell kommunizieren. Versuchen Sie es mit einigen Beispielen wie „Warum ist der Himmel blau?“ um deine Schöpfung zu erleben.

python -m scripts.chat_cli  (for Command line window) 

ODER

python -m scripts.chat_web. (for Net UI) 

Das chat_web-Skript bedient die Engine mithilfe von FastAPI. Stellen Sie sicher, dass Sie korrekt darauf zugreifen, z. B. verwenden Sie bei Lambda die öffentliche IP des Knotens, auf dem Sie sich befinden, gefolgt vom Port, additionally zum Beispiel http://209.20.xxx.xxx:8000/ usw.

Schritt 7: Überprüfen Sie die Ergebnisse

Testen Sie es nun mit der Weboberfläche über den Hyperlink, auf dem der Nanochat gehostet wird.

Schauen Sie sich zum Schluss die an bericht.md im Repository. Es verfügt über einige wichtige Kennzahlen für Ihr Modell, wie z. B. den CORE-Rating und die GSM8K-Genauigkeit. Der Foundation-Speedrun kostet etwa 92,40 $ und erfordert etwas weniger als vier Stunden Arbeit.

Hinweis: Ich habe den Code und die Schritte von Andrej Karapathys Nano-Chat GitHub übernommen. Die vollständige Dokumentation finden Sie hier Hier. Was ich oben vorgestellt habe, ist eine einfachere und kürzere Model.

Anpassen und Skalieren

Der Speedrun ist ein hervorragender Ausgangspunkt. Von diesem Punkt an können Sie das Modell weiter anpassen. Dies ist einer der bedeutendsten Vorteile der Nanochat-Veröffentlichung von Karpathy.

Tuning-Optionen

Sie können die Tiefe des Modells anpassen, um die Leistung zu verbessern. Mit dem --depth=26 Nehmen wir an, Sie betreten einen stärkeren 300-Greenback-Bereich. Sie können auch versuchen, andere Datensätze zu verwenden oder Trainingshyperparameter zu ändern.

Skalierung

Das Repository gibt einen Wert von 1.000 $ an. Dies erfordert einen verlängerten Trainingslauf von ca. 41,6 Stunden. Es ergibt ein Modell mit verbesserter Kohärenz und höheren Benchmark-Ergebnissen. Wenn Sie mit VRAM-Einschränkungen konfrontiert sind, versuchen Sie, diese zu senken --device_batch_size Einstellung.

Personalisierungsherausforderungen

Andere können das Modell anhand personenbezogener Daten verfeinern. Karpathy rät davon ab, da dies zu „Slop“ führen kann. Eine bessere Möglichkeit, personenbezogene Daten zu nutzen, ist Retrieval-Augmented Era (RAG) über Instruments wie NotebookLM.

Abschluss

Das Nanochat-Projekt ermöglicht sowohl Forschern als auch Anfängern. Es bietet eine kostengünstige und einfache Möglichkeit, ein starkes Open-Supply-LLM zu trainieren. Mit einem begrenzten Finances und einem offenen Wochenende können Sie von der Einrichtung bis zur Bereitstellung gehen. Verwenden Sie dieses Tutorial, um Ihr eigenes ChatGPT zu trainieren, das Nanochat-Repository auszuprobieren und am Group-Discussion board teilzunehmen, um zu helfen. Hier beginnt Ihr Abenteuer, ein Sprachmodell zu trainieren.

Häufig gestellte Fragen

„Was würde ein Laptop brauchen, um dieses Bild so zu verstehen wie Sie oder ich? Ich fordere Sie auf, explizit an alle Wissensbestandteile zu denken, die zusammenpassen müssen, damit sie einen Sinn ergeben.“ (1)

Vor zwölf Jahren, am 22. Oktober 2012, veröffentlichte Andrej Karpathy einen Blogbeitrag mit dem Titel „Der Stand von Laptop Imaginative and prescient und KI: Wir sind wirklich, wirklich weit weg“ (1).

In seinem Blogbeitrag nutzte er das Bild des ehemaligen Präsidenten Barack Obama, der scherzhaft seinen Fuß auf die Waage legt, als Ausgangspunkt für seine Sicht auf den Stand von Laptop Imaginative and prescient und künstlicher Intelligenz (KI) im Jahr 2012.

Karpathy argumentiert, dass KI-Modelle viel Wissen über unsere Welt haben müssen, um Rückschlüsse auf der Grundlage der Pixelwerte in einem Bild zu ziehen, nicht nur um zu verstehen, was passiert, sondern auch um den Kontext zu verstehen, warum es lustig ist.

„Es ist verblüffend, dass sich alle oben genannten Schlussfolgerungen aus einer kurzen Zeitspanne ergeben …