Was wäre, wenn Sie für 100 US-Greenback eine funktionierende ChatGPT-ähnliche KI entwickeln könnten? Der neue Nanochat von Andrej Karpathy sagt Ihnen genau das! Das am 13. Oktober 2025 gestartete Nanochat-Projekt von Karpathy ist ein Open-Supply-LLM, das in etwa 8.000 PyTorch-Zeilen codiert ist. Es bietet Ihnen eine unkomplizierte Roadmap, wie Sie ein Sprachmodell von Grund auf trainieren und in wenigen Stunden Ihre eigene personal KI erstellen können. In diesem Artikel sprechen wir über den neu veröffentlichten Nanochat und wie man ihn Schritt für Schritt richtig für das Coaching einrichtet.

Was ist Nanochat?

Das Nanochat-Repository bietet eine Full-Stack-Pipeline zum Trainieren eines minimalen ChatGPT-Klons. Es kümmert sich um alles von der Tokenisierung bis zur Finish-Net-Benutzeroberfläche. Dieses System ist ein Nachfolger des bisherigen nanoGPT. Es führt wichtige Funktionen wie Supervised High-quality-Tuning (SFT), Reinforcement Studying (RL) und verbesserte Inferenz ein.

Hauptmerkmale

Das Projekt besteht aus einer Reihe wichtiger Komponenten. Es enthält einen neuen, von Rust entwickelten Tokenizer für hohe Leistung. Die Trainingspipeline nutzt Qualitätsdaten wie FineWeb-EDU für das Vortraining. Es nutzt auch spezielle Daten wie SmolTalk und GSM8K für die Feinabstimmung nach dem Coaching. Aus Sicherheitsgründen kann das Modell Code in einer Python-Sandbox ausführen.

Das Projekt passt intestine zu Ihrem Finances. Das grundlegende „Speedrun“-Modell kostet etwa 100 US-Greenback und trainiert vier Stunden lang. Sie können auch ein robusteres Modell für etwa 1.000 US-Greenback und etwa 42 Stunden Schulung entwickeln.

Leistung

Die Leistung steigt mit der Trainingszeit.

• 4 Stunden: Der Schnelldurchlauf bietet Ihnen ein einfaches Konversationsmodell. Es kann einfache Gedichte verfassen oder Konzepte wie die Rayleigh-Streuung beschreiben.

Einige der zusammenfassenden Messwerte wurden durch den 100-Greenback-Speedrun über 4 Stunden ermittelt.

• 12 Stunden: Das Modell beginnt, GPT-2 beim CORE-Benchmark zu übertreffen.
• 24 Stunden: Es erzielt ordentliche Werte, z. B. 40 % bei MMLU und 70 % bei ARC-Simple.

Das primäre Bildungsziel des Nanochat-Projekts besteht darin, eine einfache, hackbare Foundation bereitzustellen. Dies macht es zu einer großartigen Ressource für Studenten, Forscher und KI-Hobbyisten.

Voraussetzungen und Einrichtung

Bevor Sie beginnen, müssen Sie Ihre {Hardware} und Software program vorbereiten. Mit den richtigen Werkzeugen ist das ganz einfach.

Hardwareanforderungen

Das Projekt lässt sich am besten mit einem 8xH100-GPU-Knoten bewältigen. Diese sind bei Anbietern wie Lambda GPU Cloud für etwa 24 US-Greenback professional Stunde erhältlich. Sie können auch eine einzelne GPU mit Gradientenakkumulation verwenden. Dies ist eine langsamere Methode, aber achtmal langsamer.

Software program

Sie benötigen neben PyTorch eine Normal-Python-Umgebung. Das Projekt stützt sich auf die UV Paketmanager zur Verwaltung von Abhängigkeiten. Außerdem muss Git installiert sein, um das Repository zu klonen. Als optionale Choice können Sie Gewichtungen und Gewichtungen zur Protokollierung Ihrer Trainingsläufe hinzufügen.

Erste Schritte

Das Klonen des offiziellen Repositorys steht an erster Stelle:

git clone (e-mail protected):karpathy/nanochat.git 

Zweitens wechseln Sie in das Projektverzeichnis, additionally nanochat, und installieren Sie die Abhängigkeiten.

cd nanochat 

Erstellen Sie abschließend Ihre Cloud-GPU-Instanz und verbinden Sie sie mit ihr, um mit dem Coaching zu beginnen.

Leitfaden zum Trainieren Ihres eigenen ChatGPT-Klons

Im Folgenden finden Sie eine Schritt-für-Schritt-Anleitung zum Trainieren Ihres allerersten Modells. Wenn Sie diese Schritte genau beachten, erhalten Sie ein funktionierendes LLM. Die offizielle Komplettlösung im Repository enthält weitere Informationen.

Schritt 1: Umgebungsvorbereitung

Starten Sie zunächst Ihren 8xH100-Knoten. Sobald Sie fertig sind, installieren Sie den UV-Paketmanager mit dem mitgelieferten Skript. Es ist sinnvoll, Dinge mit langer Laufzeit in einer Bildschirmsitzung zu haben. Dadurch läuft das Coaching auch dann weiter, wenn Sie die Verbindung trennen.

# set up uv (if not already put in) 
command -v uv &> /dev/null || curl -LsSf https://astral.sh/uv/set up.sh | sh 
# create a .venv native digital setting (if it does not exist) 
( -d ".venv" ) || uv venv 
# set up the repo dependencies 
uv sync 
# activate venv in order that `python` makes use of the mission's venv as a substitute of system python 
supply .venv/bin/activate 

Schritt 2: Daten- und Tokenizer-Einrichtung

Zuerst müssen wir Rust/Cargo installieren, damit wir unseren benutzerdefinierten Rust-Tokenizer kompilieren können.

# Set up Rust / Cargo 
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh -s -- -y 
supply "$HOME/.cargo/env" 
# Construct the rustbpe Tokenizer 
uv run maturin develop --release --manifest-path rustbpe/Cargo.toml 

Bei den Vortrainingsdaten handelt es sich lediglich um den Textual content vieler Webseiten, und für diesen Teil verwenden wir den FineWeb-EDU Datensatz. Karpathy empfiehlt jedoch die Verwendung der folgenden Model.

https://huggingface.co/datasets/karpathy/fineweb-edu-100b-shuffle

python -m nanochat.dataset -n 240 

Nach dem Herunterladen trainieren Sie den Rust-Tokenizer auf einem großen Textkorpus. Das Skript sorgt dafür, dass dieser Schritt schnell geht. Es sollte auf ein Komprimierungsverhältnis von etwa 4,8 zu 1 komprimiert werden.

python -m scripts.tok_train --max_chars=2000000000 
python -m scripts.tok_eval 

Schritt 3: Vortraining

Jetzt müssen Sie das Evaluierungsdatenpaket herunterladen. Hier befinden sich die Testdatensätze für die Leistung des Modells.

curl -L -o eval_bundle.zip https://karpathy-public.s3.us-west-2.amazonaws.com/eval_bundle.zip 
unzip -q eval_bundle.zip 
rm eval_bundle.zip 
mv eval_bundle "$HOME/.cache/nanochat" 

Auch Setup wandb um während des Trainings schöne Handlungsstränge zu sehen. UV bereits installiert wandb Für uns oben, aber Sie müssen noch ein Konto einrichten und sich anmelden mit:

wandb login 

Jetzt können Sie das Haupt-Vortrainingsskript starten. Führen Sie es mit dem Befehl „torchrun“ aus, um alle acht GPUs zu nutzen. Der Prozess trainiert das Modell anhand einfacher Sprachmuster aus dem FineWeb-EDU-Korpus. Der Speedrun dieser Etappe dauert etwa zwei bis drei Stunden. Dies ist ein wesentlicher Teil des Prozesses zum Trainieren eines Sprachmodells.

torchrun --standalone --nproc_per_node=8 -m scripts.base_train -- --depth=20 

Wir initiieren das Coaching auf 8 GPUs mithilfe des Skripts scripts/base_train.py. Das Modell ist ein 20-Schicht-Transformator. Jede GPU verarbeitet 32 ​​Sequenzen von 2048 Token professional Vorwärts- und Rückwärtsdurchlauf, was insgesamt 32 × 2048 = 524.288 (≈0,5 Millionen) verarbeitete Token professional Optimierungsschritt ergibt.

Wenn Weights & Biases (wandb) konfiguriert ist, können Sie das Flag –run=speedrun hinzufügen, um einen Laufnamen zuzuweisen und die Protokollierung zu aktivieren.

Wenn das Coaching beginnt, sehen Sie eine Ausgabe ähnlich der folgenden (hier aus Gründen der Übersichtlichkeit vereinfacht):

Schritt 4: Midtraining und SFT

Nach dem Vortraining fahren Sie mit dem Mitteltraining fort. Midtraining wendet das an SmolTalk Datensatz, um dem Modell mehr Konversationsleistung zu verleihen. Anschließend führen Sie eine überwachte Feinabstimmung (SFT) für Daten wie GSM8K durch. Dies hilft dem Modell dabei, zu lernen, Anweisungen auszuführen und Probleme zu lösen.

Wir können das mittlere Coaching wie folgt beginnen: Dieser Lauf dauert nur etwa 8 Minuten, viel kürzer als vor dem Coaching mit ca. 3 Stunden.

torchrun --standalone --nproc_per_node=8 -m scripts.mid_train 

Nach der Trainingsmitte kommt das Feinabstimmung Bühne. Diese Part beinhaltet eine weitere Runde der Feinabstimmung der Konversationsdaten, wobei der Schwerpunkt jedoch darauf liegt, nur die qualitativ hochwertigsten und am besten kuratierten Beispiele auszuwählen. In dieser Part werden auch sicherheitsorientierte Anpassungen vorgenommen, beispielsweise das Coaching des Modells hinsichtlich angemessener Ablehnungsverhalten bei sensiblen oder eingeschränkten Abfragen. Dies dauert wiederum nur etwa 7 Minuten.

torchrun --standalone --nproc_per_node=8 -m scripts.chat_sft 

Schritt 5: Optionaler RL

Das Open-Supply-LLM von Nanochat bietet auch vorläufige Unterstützung für verstärktes Lernen. Sie können eine Technik namens GRPO für den GSM8K-Datensatz ausführen. Dies ist ein optionaler Vorgang und kann eine weitere Stunde dauern. Überprüfen Sie, ob Karpathy sagte, dass die RL-Unterstützung noch in den Kinderschuhen steckt.

torchrun --standalone --nproc_per_node=8 -m scripts.chat_rl 

Schritt 6: Inferenz und Benutzeroberfläche

Nachdem das Coaching abgeschlossen ist, können Sie nun das Inferenzskript ausführen. Dadurch können Sie über eine Net-Benutzeroberfläche oder eine Befehlszeilenschnittstelle mit Ihrem Modell kommunizieren. Versuchen Sie es mit einigen Beispielen wie „Warum ist der Himmel blau?“ um deine Schöpfung zu erleben.

python -m scripts.chat_cli  (for Command line window) 

ODER

python -m scripts.chat_web. (for Net UI) 

Das chat_web-Skript bedient die Engine mithilfe von FastAPI. Stellen Sie sicher, dass Sie korrekt darauf zugreifen, z. B. verwenden Sie bei Lambda die öffentliche IP des Knotens, auf dem Sie sich befinden, gefolgt vom Port, additionally zum Beispiel http://209.20.xxx.xxx:8000/ usw.

Schritt 7: Überprüfen Sie die Ergebnisse

Testen Sie es nun mit der Weboberfläche über den Hyperlink, auf dem der Nanochat gehostet wird.

Schauen Sie sich zum Schluss die an bericht.md im Repository. Es verfügt über einige wichtige Kennzahlen für Ihr Modell, wie z. B. den CORE-Rating und die GSM8K-Genauigkeit. Der Foundation-Speedrun kostet etwa 92,40 $ und erfordert etwas weniger als vier Stunden Arbeit.

Hinweis: Ich habe den Code und die Schritte von Andrej Karapathys Nano-Chat GitHub übernommen. Die vollständige Dokumentation finden Sie hier Hier. Was ich oben vorgestellt habe, ist eine einfachere und kürzere Model.

Anpassen und Skalieren

Der Speedrun ist ein hervorragender Ausgangspunkt. Von diesem Punkt an können Sie das Modell weiter anpassen. Dies ist einer der bedeutendsten Vorteile der Nanochat-Veröffentlichung von Karpathy.

Tuning-Optionen

Sie können die Tiefe des Modells anpassen, um die Leistung zu verbessern. Mit dem --depth=26 Nehmen wir an, Sie betreten einen stärkeren 300-Greenback-Bereich. Sie können auch versuchen, andere Datensätze zu verwenden oder Trainingshyperparameter zu ändern.

Skalierung

Das Repository gibt einen Wert von 1.000 $ an. Dies erfordert einen verlängerten Trainingslauf von ca. 41,6 Stunden. Es ergibt ein Modell mit verbesserter Kohärenz und höheren Benchmark-Ergebnissen. Wenn Sie mit VRAM-Einschränkungen konfrontiert sind, versuchen Sie, diese zu senken --device_batch_size Einstellung.

Personalisierungsherausforderungen

Andere können das Modell anhand personenbezogener Daten verfeinern. Karpathy rät davon ab, da dies zu „Slop“ führen kann. Eine bessere Möglichkeit, personenbezogene Daten zu nutzen, ist Retrieval-Augmented Era (RAG) über Instruments wie NotebookLM.

Abschluss

Das Nanochat-Projekt ermöglicht sowohl Forschern als auch Anfängern. Es bietet eine kostengünstige und einfache Möglichkeit, ein starkes Open-Supply-LLM zu trainieren. Mit einem begrenzten Finances und einem offenen Wochenende können Sie von der Einrichtung bis zur Bereitstellung gehen. Verwenden Sie dieses Tutorial, um Ihr eigenes ChatGPT zu trainieren, das Nanochat-Repository auszuprobieren und am Group-Discussion board teilzunehmen, um zu helfen. Hier beginnt Ihr Abenteuer, ein Sprachmodell zu trainieren.

Häufig gestellte Fragen

Müde von der endlosen Debatte darüber, welcher KI -Codierungsassistent „der Beste“ ist? Was ist, wenn das Geheimnis kein perfektes Werkzeug findet, sondern eine Symphonie von ihnen beherrscht? Vergessen Sie den einheitlichen Ansatz. In der Zukunft der Codierung geht es nicht um Loyalität. Es geht darum, eine vielfältige Toolbox zu nutzen, die jedes Instrument für eine bestimmte Aufgabe abgestimmt ist.

Dies ist der Code nach der Karteiung, in der Codezeilen nicht mehr kostbar sind, sondern ein verfügbares Rohstoff. In einer Welt, in der Sie 1.000 Codezeilen generieren können, um einen einzelnen Fehler zu finden und ihn dann zu löschen, haben sich die Spielregeln grundlegend geändert.

„Wir schreiben nicht mehr nur Code; wir orchestrieren Intelligenz.“

In a letzter Beitrag auf xAndrej Karpathy, eine führende Stimme in der KI -Welt, teilte einen tiefen Blick auf seine sich entwickelnde Beziehung zu Großsprachmodellen (LLMs) im Codierungs -Workflow. Seine Perspektive spiegelt eine breitere Verschiebung wider: Entwickler bewegen sich nun, um einen LLM -Workflow zu erstellen – ein geschichteter System von Werkzeugen und Praktiken, das sich an Kontext, Aufgabe und persönlichen Stil anpasst.

Was folgt, ist ein tiefes Eintauchen in Karpathys vielschichtiger Ansatz zur LLM-unterstützten Codierung, eine Erforschung der realen Implikationen für Entwickler auf allen Ebenen und eine Reihe von umsetzbaren Erkenntnissen, mit denen Sie Ihren eigenen optimalen KI-Codierungsstapel herstellen können.

KI-betriebener Codierungsstapel: Ein mehrschichtiger Ansatz zur Produktivität

Die Landschaft von Ai-unterstützte Codierung ist riesig und sich ständig weiterentwickelt. Andrej Karpathy hat kürzlich seinen persönlichen Workflow geteilt und einen differenzierten, vielschichtigen Ansatz zur Nutzung verschiedener KI-Instruments enthüllt. Anstatt sich auf eine einzelne perfekte Lösung zu verlassen, navigiert er fachmännisch einen Stapel von Werkzeugen, die jeweils eigene Stärken und Schwächen haben. Es geht nicht nur darum, AI zu verwenden. Es geht darum, seine unterschiedlichen Formen zu verstehen und sie strategisch anzuwenden.

Der LLM -Workflow von Karpathy für Entwickler beinhaltet die folgenden Schichten:

Lassen Sie uns diesen leistungsstarken, unkonventionellen Workflow Lay für Layer aufschlüsseln und sehen, wie Sie eine ähnliche Denkweise annehmen können, um Ihre eigene Produktivität zu beenden.

Ebene 1: Registerkarte Vervollständigung

Im Kern des Workflows von Karpathy steht eine einfache Aufgabe – Registerkartenabschluss. Er schätzt, dass es etwa 75% seiner KI -Unterstützung ausmacht. Warum? Weil es der effizienteste Weg ist, mit dem Modell zu kommunizieren. Das Schreiben einiger Code- oder Kommentarezeilen ist eine Möglichkeit mit hoher Bandbreite, eine Aufgabe anzugeben. Sie versuchen nicht, eine komplexe Funktion in einer Textaufforderung zu beschreiben. Sie zeigen einfach, was Sie wollen, am richtigen Ort, zur richtigen Zeit.

Hier geht es nicht darum, die ganze Funktion für Sie zu schreiben. Es geht um einen kollaborativen, hin und her. Sie geben die Absicht an, und die KI liefert die schnellen, kontextbewussten Vorschläge. Dieser Workflow ist schnell, niedrig und ledig und hält Sie auf dem Fahrersitz. Es ist das Äquivalent eines Co-Pilots, der Ihre Sätze beendet, nicht eines, das die Steuerelemente übernimmt. Dafür verlässt sich Karpathy darauf Cursorein KI-angetanter Code-Editor.

• Warum funktioniert es: Es minimiert den „Kommunikationsaufwand“. Textanforderungen können ausführlich sein und unter Mehrdeutigkeit leiden. Code ist direkt.
• Beispiel: Sie geben Def calculate_ ein und die KI schlägt sofort vor, Berechnung_total_price (Elemente, Tax_rate) :. Sie leiten den Prozess mit minimaler Anstrengung.

Da selbst die besten Modelle nervig werden können, wird vorgeschlagen, die Funktion ein- und auszuschalten. Auf diese Weise kann man die Kontrolle behalten und unerwünschte Vorschläge vermeiden.

Schicht 2: Hervorheben und Modifizieren

Der nächste Schritt in der Komplexität ist ein gezielter Ansatz: Hervorhebung eines bestimmten Codeblocks und der Befragung einer Änderung. Dies ist ein erheblicher Sprung von der einfachen Registerkarte. Sie fragen nicht nur nach einer neuen Linie. Sie bitten die KI, die Logik eines vorhandenen Blocks zu verstehen und ihn zu verwandeln.

Dies ist eine leistungsstarke Technik zum Refactoring und Optimieren: ein wesentlicher Bestandteil eines LLM -Workflows für Entwickler. Müssen Sie eine Multi-Linie für Schleife in ein prägnantes Listenverständnis umwandeln? Markieren Sie den Code und fordern Sie die KI auf. Möchten Sie einer Funktion Fehlerbehandlung hinzufügen? Markieren Sie und fragen Sie. Dieser Workflow eignet sich perfekt für Mikrooptimierungen und fokussierte Verbesserungen, ohne die gesamte Funktion von Grund auf neu zu schreiben.

• Warum es funktioniert: Es bietet einen klaren, begrenzten Kontext. Die KI erraten nicht, was Sie von einer breiten Eingabeaufforderung wollen. Es funktioniert innerhalb der expliziten Grenzen, die Sie zur Verfügung gestellt haben.
• Beispiel: Sie heben einen Block verschachtelter If-Then-Else-Aussagen hervor und fordern Sie auf: „Konvertieren Sie dies in ein saubereres, lesbareres Format.“ Die KI könnte eine Swap -Anweisung oder eine Reihe von logischen und/oder Operationen vorschlagen.

Schicht 3: Assistenten von Seite an Seite (z. B. Claude Code, Codex)

Wenn die anstehende Aufgabe zu groß ist, um einen einfachen Spotlight-and-Modify zu machen, kommt die nächste Schicht von Karpathys Stack ins Spiel: Ein leistungsstärkerer Assistent wie Claude -Code oder Kodex nebenbei. Diese Instruments dienen dazu, größere, umfangreichere Codebrocken zu generieren, die in einer Eingabeaufforderung noch relativ einfach zu angegeben sind.

Hier wird der „YOLO-Modus“ (You-Solely-Dwell-As soon as) verlockend, aber auch riskant. Karpathy merkt an, dass diese Modelle off-Observe gehen, unerwünschte Komplexität einführen oder einfach nur dumme Dinge tun können. Der Schlüssel ist nicht, im Yolo -Modus zu laufen. Seien Sie bereit, ESC häufig zu treffen. Hier geht es darum, die KI als Quick-Dracting-Device zu verwenden, nicht als perfekte, Palms-Off-Lösung. Sie müssen noch der Herausgeber und die endgültige Autorität sein.

Die Verwendung dieser Aspect-by-Aspect-Assistenten bringt seine eigenen Vor- und Nachteile.

Die Profis:

• Geschwindigkeit: Generiert schnell große Mengen an Code. Dies ist eine huge Zeitspanne für Boilerplate, sich wiederholende Aufgaben oder Code, die Sie nie anders schreiben würden.
• „Vibe-Coding“: Unschätzbar, wenn Sie in einer unbekannten Sprache oder einem Bereich arbeiten (z. B. Rost oder SQL). Die KI kann die Lücke in Ihrem Wissen überbrücken und es Ihnen ermöglichen, sich auf die Logik zu konzentrieren.
• Kurzlebiger Code: Dies ist das Herzstück der „Code nach dem Shortage-Ära“. Benötigen Sie eine 1000-Zeilen-Visualisierung, um ein einzelnes Drawback zu debuggen? Die KI kann es in Minuten erstellen. Sie verwenden es, Sie finden den Fehler, Sie löschen ihn. Keine Zeit verloren.

Die Nachteile:

• „Schlechter Geschmack“: Karpathy stellt fest, dass diesen Modellen oft ein Gefühl des „Codegeschmacks“ fehlt. Sie können übermäßig defensiv sein (zu viele Versuche/Fangen), Überkomplikationsabstraktionen oder doppelte Code überkomplizieren, anstatt Helferfunktionen zu erstellen. Ein endgültiger „Aufräumarbeiten“ ist quick immer notwendig.
• Arme Lehrer: Der Versuch, sie dazu zu bringen, Code zu erklären, während sie schreiben, ist oft eine frustrierende Erfahrung. Sie sind für die Technology gebaut, nicht für die Pädagogik.
• Überbinnend: Sie neigen dazu, ausreichend, wenn ein Einzeiler ausreichen würde, verschachtelte, wenn es sich um E-Else-Konstrukte handelt. Dies ist ein direktes Ergebnis ihrer Trainingsdaten und des Mangels an menschlicher Instinct.

Schicht 4: Die letzte Grenze

Wenn alle anderen Instruments versagen GPT-5 Professional. Dies ist die nukleare Possibility, die den härtesten und unlösbarsten Problemen vorbehalten ist. Dieses Device ist nicht zum Schreiben von Codeausschnitten oder Boilerplate. Es ist für eine tiefe, komplexe Problemlösung.

Im Kontext eines LLM -Workflows für Entwickler repräsentiert diese Schicht die Oberseite des Stapels – der Punkt, an dem die Rohmodellkraft strategisch und nicht routinemäßig angewendet wird. Hier kommen subtile Insektenjagd, tiefe Forschung und komplexe Argumentation ins Spiel. Karpathy beschreibt Fälle, in denen er, seine Registerkartenvervollständigung und sein Nebenseitigkeitsassistent zehn Minuten lang auf einem Fehler stecken, aber GPT-5 Professional, angesichts des gesamten Kontextes, kann zehn Minuten graben und ein wirklich subtiles, verstecktes Drawback finden.

Warum ist es der letzte Ausweg?

GPT-5 Professional und Fashions, die in der Liga sind, sind großartig, aber sie haben ihre eigenen Herausforderungen, von denen einige sind:

• Latenz: Es ist langsamer. Sie können es nicht für eine schnelle Echtzeit-Codierung verwenden. Sie müssen auf seine tiefe, umfassende Analyse warten.
• Umfang: Seine Kraft liegt in seiner Fähigkeit, einen massiven Kontext zu verstehen. Es kann „alle Arten von esoterischen Dokumenten und Papieren ausgraben“, was ein Einblick bietet, mit dem einfachere Modelle nicht übereinstimmen können.
• Strategischer Gebrauch: Dies ist kein täglicher Fahrer. Es ist eine strategische Waffe für ansonsten unmögliche Aufgaben, wie komplexe architektonische Reinigungsvorschläge oder eine vollständige Literaturübersicht zu einem bestimmten Codierungsansatz.

Der Workflow von Karpathy ist eine Meisterklasse in der strategischen Instrument. Es geht nicht darum, das perfekte Werkzeug zu finden, sondern darum, ein zusammenhängendes, vielschichtiges System zu erstellen. Jedes Device spielt eine bestimmte Rolle, eine bestimmte Zeit und einen bestimmten Zweck.

• Registerkarte Abschluss für Aufgaben mit hoher Bandbreite, im Second.
• Hervorhebung für fokussierte Refactoring und schnelle Modifikationen.
• Aspect-by-Aspect-Assistenten zur Erzeugung größerer Codebrocken und der Erkundung unbekannter Gebiets.
• Ein leistungsstarkes Modell auf dem neuesten Stand der Technik, um die wirklich unlösbaren Probleme zu debuggen und tiefe Forschung durchzuführen.

Dies ist die Zukunft der Arbeit für Führungskräfte, Studenten und Fachkräfte. Die Ära des einzelnen Toolhelden ist vorbei. Hier erwähnt Karpathy eindeutig eine neue Artwork von „Angst“, die sich mit vielen Entwicklern auseinandersetzt. Dies ist das Angst, nicht an der Grenze zu sein.

Es ist actual, aber die Lösung ist nicht, das nächste große Ding zu verfolgen. Die Lösung besteht darin, das Ökosystem zu verstehen, zu lernen, die Vor- und Nachteile verschiedener Werkzeuge zu „nähen“ und ein Orchesterdirigent zu werden, nicht nur zum einzigen Musiker.

Abschluss

Ihre Fähigkeit, in dieser neuen Ära zu gedeihen, wird nicht an den Codezeilen gemessen, die Sie schreiben, sondern an der Komplexität der Probleme, die Sie lösen, und die Geschwindigkeit, mit der Sie es tun. KI ist ein Werkzeug, aber Ihre menschliche Instinct, Ihr schmeckender Geschmack und Ihr strategisches Denken sind die geheimen Waffen. Es geht nicht darum, ein perfektes Werkzeug für alles zu finden. Es geht darum, die Anforderungen jeder Aufgabe zu verstehen. Für Entwickler bedeutet dies, einen LLM -Workflow aufzubauen, der ihre Fähigkeiten ergänzt: Erkennen Sie Ihren Komfort mit unterschiedlichen Instruments und das Erstellen eines Methods, das für Sie funktioniert. Karpathy hat seinen eigenen Workflow geteilt, aber Sie müssen einen testen, sich anpassen und an Ihrem einzigartigen Stil und Ihren einzigartigen Zielen übereinstimmen.

Sind Sie bereit, das perfekte Werkzeug nicht mehr zu verfolgen und den perfekten Workflow zu erstellen?

Lassen Sie uns über die Zukunft der Software program sprechen und mir vertrauen, es passiert gerade! Ich habe kürzlich Andrej Karpathys Keynote an der AI Startup Faculty in San Francisco erwischt, und wow musste ich teilen, was ich gelernt habe. Karpathy, der zuvor bei Tesla, Openai und Stanford gearbeitet hat, gab uns einen Insider -Blick auf Software program 3.0, die nächste große Entwicklung in der Programmierung.

Additionally, was ist die große Sache? Einfach. Die Artwork und Weise, wie wir Software program erstellen, verlagert sich vom Schreiben von Codezeilen über die Interaktion mit Maschinen durch natürliche Sprache. Wenn das für dich wild klingt, dann ist es, weil es so ist! Und in diesem Beitrag werde ich es für Sie aufschlüsseln.

Die Entwicklung der Programmierung

Software program 1.0: Die alte Schulcodierung

Dies warfare der traditionelle Ansatz zur Programmierung. Dies ist das, was die meisten von uns als „Codierung“ kennen: Wo Entwickler explizite Anweisungen in Programmiersprachen wie Python, Java oder C ++ schreiben, damit ein Pc bestimmte Aufgaben ausführt. Der Vorgang ist unkompliziert: Sie mitteilen dem Pc genau, was Schritt für Schritt in Code erledigt werden soll. Dies bleibt zwar für viele Anwendungen heute von wesentlicher Bedeutung, hat jedoch Einschränkungen beim Umgang mit komplexeren Aufgaben, die Lernen und Anpassung erfordern.

Software program 2.0: Maschinlernen eingeben

Das maschinelle Lernen trat in das Bild ein, und plötzlich schrieb wir nicht nur Code, der dem Pc sagte, was zu tun warfare. Stattdessen verwendeten wir Trainingsmaschinen. Hier begannen neuronale Netze zu übernehmen, sodass Maschinen aus Daten lernen und selbst Entscheidungen treffen konnten. In Software program 2.0 konnte das Ziel dem Pc nicht jeden kleinen Schritt mitteilen. Ziel warfare es, es zu lehren, die Schritte selbst zu ermitteln, indem sie Muster in den Daten erkennen. Dies führte zu bahnbrechenden Fortschritten in Bereichen wie Bilderkennung, Spracherkennung und Verarbeitung natürlicher Sprache. Dieser Prozess erforderte jedoch immer noch Tonnen von Codierung, um die Maschine zu optimieren und sie ordnungsgemäß zum Laufen zu bringen.

Software program 3.0: Programmierung durch natürliche Sprache

Hier bewegen wir uns über das Schreiben von Codezeilen hinaus und beginnen mit Maschinen zu sprechen. Bei großen Sprachmodellen (LLMs) wie GPT-3 müssen wir keinen Code mehr schreiben. Stattdessen bitten wir einfach die Maschine, das zu tun, was wir mit natürlicher Sprache wünschen. Es ist wie ein Gespräch mit Ihrem Pc. Sie müssen nicht wissen, wie man codiert, damit eine Maschine komplexe Aufgaben erledigt. Sie sprechen nur Ihre Anfrage und die LLM kümmert sich um den Relaxation.

Stellen Sie sich beispielsweise vor, Sie müssen eine Stimmungsanalyse durchführen. In Software program 1.0 müssten Sie Algorithmen schreiben, um dies zu verarbeiten. In Software program 2.0 trainieren Sie ein Modell, um die Stimmung zu erkennen. Aber in Software program 3.0 sagen Sie einfach der Maschine: „Analysieren Sie das Gefühl dieses Textes: ‚Ich liebe ai!’“ Und genau so versteht, analysiert die Maschine und gibt Ihnen das Ergebnis.

In diesem Sinne ging Karpathy in den nächsten Teil seiner Keynote ein, um zu diskutieren, wie LLMs in diese neue Welt von Software program 3.0 passen.

Teil 1: Wie man über LLMs nachdenkt

Karpathy begann damit, wie wir über große Sprachmodelle (LLMs) nachdenken sollten, die sich auf die Umstellung auf Software program 3.0 entscheiden. Er zitierte Andrew Ng: „KI ist der neue Strom.“ Dieses Zitat unterstreicht, wie LLMs zu einer grundlegenden Ressource werden, ähnlich wie Elektrizität, und verändert, wie wir mit Technologie interagieren.

Hier ist, wie Karpathy LLMs mit Versorgungsunternehmen verglichen hat:

• Capex und Opex: Karpathy erklärte, dass die Ausbildung eines LLM erhebliche Investitionsausgaben (CAPEX) erfordert, ähnlich wie der Bau eines Stromnetzes. Einmal trainiert, bewegt sich das Modell auf Betriebsausgaben (OPEX)wo der LLM über APIs serviert wird, ähnlich wie der Strom an Häuser verteilt wird.
• Messzugriff: LLMs werden jetzt als Dienstleistungen erbracht, in denen Sie auf der Grundlage der Nutzungsbetrag (z. B. Kosten professional Million Token) bezahlen, ähnlich wie bei der Abrechnung von Strom auf der Grundlage des Verbrauchs.

Karpathie erklärte auch, dass LLMs einige Eigenschaften von Halbleiterfabrikanlagen (FABS) aufweisen, bei denen die Kosten für den Bau und die Schulung dieser Modelle enorm sind. Er verglich Unternehmen wie Google und XAI (die large GPU -Cluster verwenden) mit herkömmlichen Halbleiterherstellern wie Intel, die ihre eigenen Fabrik für Trainingsmodelle für benutzerdefinierte {Hardware} (wie TPUs) haben.

Schließlich verglich Karpathy LLMs mit Betriebssystemen. Traditionell waren Betriebssysteme die Grundlage für Software program -Ökosysteme, Verwaltung von Aufgaben und Speicher. In ähnlicher Weise werden LLMs zu komplexen Software program -Ökosystemen, zum „Kern“ moderner Anwendungen. Diese LLMs sind nicht mehr nur einfache Werkzeuge; Sie werden für jeden Teil von Softwaresystemen ein wesentlicher Bestandteil der Artwork und Weise, wie ein Betriebssystem Anwendungen auf einem Pc steuert und ausführt.

Dies markiert eine grundlegende Verschiebung bei der Entwicklung von Software program, nicht mehr um Codezeilen, sondern die Interaktion mit diesen KI-betriebenen Systemen, die quick wie eine neue Artwork von Pc funktionieren.

Teil 2: LLM -Psychologie

Als nächstes tauchte Karpathy in die Psychologie von llms. Er beschreibt sie als „Menschen Geister.“ Was bedeutet das? Nun, LLMs werden gebaut Autoregressive Transformatorenwas bedeutet, dass sie menschlichähnliche Verhaltensweisen simulieren-insbesondere in Bezug auf die Sprache.

Aber genau wie Menschen haben LLMs einige Macken und Einschränkungen. Schauen wir uns an:

• Halluzinationen: LLMs können manchmal Fehler machen, die Menschen nicht tun würden. Zum Beispiel könnten sie „9.11> 9.9“ sagen oder darauf bestehen, dass zwei ‚R in Erdbeere sind. Diese sind als „Halluzinationen“ bekannt. Das Modell generiert falsche Informationen, die überzeugend klingen, aber völlig falsch sind.
• Anterograde Amnesie: LLMs können sich nicht so erinnern, wie es Menschen tun. Nach dem Ende eines Gesprächs vergessen sie alles. Im Gegensatz zu Menschen, die im Laufe der Zeit lernen und sich anpassen, konsolidieren LLMs nicht das Wissen zwischen Sitzungen.
• Leichtgläubigkeit: LLMs sind anfällig dafür, durch böswillige Eingabeaufforderungen ausgetrickt zu werden, was sie dazu veranlasst, schädliche oder falsche Antworten zu geben. Dies bedeutet, dass die menschliche Überwachung bei der Arbeit mit diesen Modellen von entscheidender Bedeutung ist.

Teil 3: Chancen im Zeitalter von LLMs

Karpathy beendete seine Keynote, indem er über die erstaunlichen Möglichkeiten von Software program 3.0 und LLMs sprach. Eine der aufregendsten Entwicklungen ist der Aufstieg teilweise Autonomie -Apps. Mit diesen Apps können Sie Aufgaben automatisieren, aber dennoch die Kontrolle über den Prozess geben.

Nehmen Sie zum Beispiel Cursor. Es ist eine App, mit der Entwickler mithilfe natürlicher Sprache mit Code interagieren können. Anstatt jede Codezeile zu schreiben, können Sie die App bitten, Code zu generieren, Fehler zu beheben oder Änderungen zu überprüfen. Es ist, als hätte ein AS-Assistent von KI, der den größten Teil der Arbeit für Sie erledigt und den Entwicklungsprozess viel schneller und einfacher macht.

Karpathy führte auch den Autonomy Slider vor: eine Funktion, mit der Benutzer entscheiden können, wie viel Kontrolle sie dem LLM geben möchten. Bei grundlegenden Aufgaben kann der LLM die volle Kontrolle übernehmen, aber für komplexere Aufgaben können Sie den Prozess überwachen.

LLMs haben auch ein großes Potenzial in Branchen wie Bildung und AI-unterstützter Codierung. Stellen Sie sich vor, ein KI -Tutor hilft den Schülern beim Lernen oder einem KI -Assistenten, der Entwicklern hilft, den Code effizienter zu schreiben und zu debuggen. Die Möglichkeiten sind endlos. Schließlich zog Karpathy eine Parallele zwischen autonomen Agenten wie Teslas Autopilot und der Zukunft der autonomen Software program, die von LLMs betrieben wird. Der Übergang von Demos zu zuverlässigen Produkten braucht Zeit, aber die Zukunft sieht unglaublich vielversprechend aus.

Um mehr zu erfahren, können Sie seine Folien überprüfen HeRe.

Kostenlose Ressourcen:

Abschluss

Karpathy beendete seine Keynote mit einer kraftvollen Botschaft: Wir treten in das Jahrzehnt der Agenten ein. Da sich die LLM weiter verbessert und zugänglicher werden, werden sie nicht nur Werkzeuge sein, sondern auch Agenten, die autonomes Handeln in der Lage sind, Industrien auf der ganzen Welt umzugestalten. Die Zukunft der Software program ist kein feiner Traum mehr, es geschieht gerade und wir sind alle Teil dieser aufregenden Transformation. Software program 3.0 verändert die Artwork und Weise, wie wir über das Programmieren denken.

LLMs sind nicht nur Werkzeuge; Sie werden zum Kern der modernen Software program und ermöglichen es jedem, Apps und Lösungen zu erstellen, ohne komplexen Code schreiben zu müssen. Wenn Sie noch nicht in die Welt der KI eintauchen, ist es jetzt an der Zeit, sich zu engagieren. Die Möglichkeiten sind endlos und das Beste daran ist: Die Zukunft der Software program ist bereits da.

Lassen Sie uns diese Veränderung annehmen und gemeinsam die Zukunft der Software program aufbauen!