Andrej Karpathy auf dem Aufstieg von Software program 3.0

Lassen Sie uns über die Zukunft der Software program sprechen und mir vertrauen, es passiert gerade! Ich habe kürzlich Andrej Karpathys Keynote an der AI Startup Faculty in San Francisco erwischt, und wow musste ich teilen, was ich gelernt habe. Karpathy, der zuvor bei Tesla, Openai und Stanford gearbeitet hat, gab uns einen Insider -Blick auf Software program 3.0, die nächste große Entwicklung in der Programmierung.

Additionally, was ist die große Sache? Einfach. Die Artwork und Weise, wie wir Software program erstellen, verlagert sich vom Schreiben von Codezeilen über die Interaktion mit Maschinen durch natürliche Sprache. Wenn das für dich wild klingt, dann ist es, weil es so ist! Und in diesem Beitrag werde ich es für Sie aufschlüsseln.

Die Entwicklung der Programmierung

Software program 1.0: Die alte Schulcodierung

Dies warfare der traditionelle Ansatz zur Programmierung. Dies ist das, was die meisten von uns als „Codierung“ kennen: Wo Entwickler explizite Anweisungen in Programmiersprachen wie Python, Java oder C ++ schreiben, damit ein Pc bestimmte Aufgaben ausführt. Der Vorgang ist unkompliziert: Sie mitteilen dem Pc genau, was Schritt für Schritt in Code erledigt werden soll. Dies bleibt zwar für viele Anwendungen heute von wesentlicher Bedeutung, hat jedoch Einschränkungen beim Umgang mit komplexeren Aufgaben, die Lernen und Anpassung erfordern.

Software program 2.0: Maschinlernen eingeben

Das maschinelle Lernen trat in das Bild ein, und plötzlich schrieb wir nicht nur Code, der dem Pc sagte, was zu tun warfare. Stattdessen verwendeten wir Trainingsmaschinen. Hier begannen neuronale Netze zu übernehmen, sodass Maschinen aus Daten lernen und selbst Entscheidungen treffen konnten. In Software program 2.0 konnte das Ziel dem Pc nicht jeden kleinen Schritt mitteilen. Ziel warfare es, es zu lehren, die Schritte selbst zu ermitteln, indem sie Muster in den Daten erkennen. Dies führte zu bahnbrechenden Fortschritten in Bereichen wie Bilderkennung, Spracherkennung und Verarbeitung natürlicher Sprache. Dieser Prozess erforderte jedoch immer noch Tonnen von Codierung, um die Maschine zu optimieren und sie ordnungsgemäß zum Laufen zu bringen.

Software program 3.0: Programmierung durch natürliche Sprache

Hier bewegen wir uns über das Schreiben von Codezeilen hinaus und beginnen mit Maschinen zu sprechen. Bei großen Sprachmodellen (LLMs) wie GPT-3 müssen wir keinen Code mehr schreiben. Stattdessen bitten wir einfach die Maschine, das zu tun, was wir mit natürlicher Sprache wünschen. Es ist wie ein Gespräch mit Ihrem Pc. Sie müssen nicht wissen, wie man codiert, damit eine Maschine komplexe Aufgaben erledigt. Sie sprechen nur Ihre Anfrage und die LLM kümmert sich um den Relaxation.

Stellen Sie sich beispielsweise vor, Sie müssen eine Stimmungsanalyse durchführen. In Software program 1.0 müssten Sie Algorithmen schreiben, um dies zu verarbeiten. In Software program 2.0 trainieren Sie ein Modell, um die Stimmung zu erkennen. Aber in Software program 3.0 sagen Sie einfach der Maschine: „Analysieren Sie das Gefühl dieses Textes: ‚Ich liebe ai!’“ Und genau so versteht, analysiert die Maschine und gibt Ihnen das Ergebnis.

In diesem Sinne ging Karpathy in den nächsten Teil seiner Keynote ein, um zu diskutieren, wie LLMs in diese neue Welt von Software program 3.0 passen.

Teil 1: Wie man über LLMs nachdenkt

Karpathy begann damit, wie wir über große Sprachmodelle (LLMs) nachdenken sollten, die sich auf die Umstellung auf Software program 3.0 entscheiden. Er zitierte Andrew Ng: „KI ist der neue Strom.“ Dieses Zitat unterstreicht, wie LLMs zu einer grundlegenden Ressource werden, ähnlich wie Elektrizität, und verändert, wie wir mit Technologie interagieren.

Hier ist, wie Karpathy LLMs mit Versorgungsunternehmen verglichen hat:

• Capex und Opex: Karpathy erklärte, dass die Ausbildung eines LLM erhebliche Investitionsausgaben (CAPEX) erfordert, ähnlich wie der Bau eines Stromnetzes. Einmal trainiert, bewegt sich das Modell auf Betriebsausgaben (OPEX)wo der LLM über APIs serviert wird, ähnlich wie der Strom an Häuser verteilt wird.
• Messzugriff: LLMs werden jetzt als Dienstleistungen erbracht, in denen Sie auf der Grundlage der Nutzungsbetrag (z. B. Kosten professional Million Token) bezahlen, ähnlich wie bei der Abrechnung von Strom auf der Grundlage des Verbrauchs.

Karpathie erklärte auch, dass LLMs einige Eigenschaften von Halbleiterfabrikanlagen (FABS) aufweisen, bei denen die Kosten für den Bau und die Schulung dieser Modelle enorm sind. Er verglich Unternehmen wie Google und XAI (die large GPU -Cluster verwenden) mit herkömmlichen Halbleiterherstellern wie Intel, die ihre eigenen Fabrik für Trainingsmodelle für benutzerdefinierte {Hardware} (wie TPUs) haben.

Schließlich verglich Karpathy LLMs mit Betriebssystemen. Traditionell waren Betriebssysteme die Grundlage für Software program -Ökosysteme, Verwaltung von Aufgaben und Speicher. In ähnlicher Weise werden LLMs zu komplexen Software program -Ökosystemen, zum „Kern“ moderner Anwendungen. Diese LLMs sind nicht mehr nur einfache Werkzeuge; Sie werden für jeden Teil von Softwaresystemen ein wesentlicher Bestandteil der Artwork und Weise, wie ein Betriebssystem Anwendungen auf einem Pc steuert und ausführt.

Dies markiert eine grundlegende Verschiebung bei der Entwicklung von Software program, nicht mehr um Codezeilen, sondern die Interaktion mit diesen KI-betriebenen Systemen, die quick wie eine neue Artwork von Pc funktionieren.

Teil 2: LLM -Psychologie

Als nächstes tauchte Karpathy in die Psychologie von llms. Er beschreibt sie als „Menschen Geister.“ Was bedeutet das? Nun, LLMs werden gebaut Autoregressive Transformatorenwas bedeutet, dass sie menschlichähnliche Verhaltensweisen simulieren-insbesondere in Bezug auf die Sprache.

Aber genau wie Menschen haben LLMs einige Macken und Einschränkungen. Schauen wir uns an:

• Halluzinationen: LLMs können manchmal Fehler machen, die Menschen nicht tun würden. Zum Beispiel könnten sie „9.11> 9.9“ sagen oder darauf bestehen, dass zwei ‚R in Erdbeere sind. Diese sind als „Halluzinationen“ bekannt. Das Modell generiert falsche Informationen, die überzeugend klingen, aber völlig falsch sind.
• Anterograde Amnesie: LLMs können sich nicht so erinnern, wie es Menschen tun. Nach dem Ende eines Gesprächs vergessen sie alles. Im Gegensatz zu Menschen, die im Laufe der Zeit lernen und sich anpassen, konsolidieren LLMs nicht das Wissen zwischen Sitzungen.
• Leichtgläubigkeit: LLMs sind anfällig dafür, durch böswillige Eingabeaufforderungen ausgetrickt zu werden, was sie dazu veranlasst, schädliche oder falsche Antworten zu geben. Dies bedeutet, dass die menschliche Überwachung bei der Arbeit mit diesen Modellen von entscheidender Bedeutung ist.

Teil 3: Chancen im Zeitalter von LLMs

Karpathy beendete seine Keynote, indem er über die erstaunlichen Möglichkeiten von Software program 3.0 und LLMs sprach. Eine der aufregendsten Entwicklungen ist der Aufstieg teilweise Autonomie -Apps. Mit diesen Apps können Sie Aufgaben automatisieren, aber dennoch die Kontrolle über den Prozess geben.

Nehmen Sie zum Beispiel Cursor. Es ist eine App, mit der Entwickler mithilfe natürlicher Sprache mit Code interagieren können. Anstatt jede Codezeile zu schreiben, können Sie die App bitten, Code zu generieren, Fehler zu beheben oder Änderungen zu überprüfen. Es ist, als hätte ein AS-Assistent von KI, der den größten Teil der Arbeit für Sie erledigt und den Entwicklungsprozess viel schneller und einfacher macht.

Karpathy führte auch den Autonomy Slider vor: eine Funktion, mit der Benutzer entscheiden können, wie viel Kontrolle sie dem LLM geben möchten. Bei grundlegenden Aufgaben kann der LLM die volle Kontrolle übernehmen, aber für komplexere Aufgaben können Sie den Prozess überwachen.

LLMs haben auch ein großes Potenzial in Branchen wie Bildung und AI-unterstützter Codierung. Stellen Sie sich vor, ein KI -Tutor hilft den Schülern beim Lernen oder einem KI -Assistenten, der Entwicklern hilft, den Code effizienter zu schreiben und zu debuggen. Die Möglichkeiten sind endlos. Schließlich zog Karpathy eine Parallele zwischen autonomen Agenten wie Teslas Autopilot und der Zukunft der autonomen Software program, die von LLMs betrieben wird. Der Übergang von Demos zu zuverlässigen Produkten braucht Zeit, aber die Zukunft sieht unglaublich vielversprechend aus.

Um mehr zu erfahren, können Sie seine Folien überprüfen HeRe.

Kostenlose Ressourcen:

Abschluss

Karpathy beendete seine Keynote mit einer kraftvollen Botschaft: Wir treten in das Jahrzehnt der Agenten ein. Da sich die LLM weiter verbessert und zugänglicher werden, werden sie nicht nur Werkzeuge sein, sondern auch Agenten, die autonomes Handeln in der Lage sind, Industrien auf der ganzen Welt umzugestalten. Die Zukunft der Software program ist kein feiner Traum mehr, es geschieht gerade und wir sind alle Teil dieser aufregenden Transformation. Software program 3.0 verändert die Artwork und Weise, wie wir über das Programmieren denken.

LLMs sind nicht nur Werkzeuge; Sie werden zum Kern der modernen Software program und ermöglichen es jedem, Apps und Lösungen zu erstellen, ohne komplexen Code schreiben zu müssen. Wenn Sie noch nicht in die Welt der KI eintauchen, ist es jetzt an der Zeit, sich zu engagieren. Die Möglichkeiten sind endlos und das Beste daran ist: Die Zukunft der Software program ist bereits da.

Lassen Sie uns diese Veränderung annehmen und gemeinsam die Zukunft der Software program aufbauen!

Hallo, ich bin Nitika, ein technisch versierter Content material-Ersteller und Vermarkter. Kreativität und neue Dinge lernen natürlich für mich. Ich habe Fachkenntnisse bei der Erstellung von ergebnisgesteuerten Inhaltsstrategien. Ich bin mit search engine marketing -Administration, Key phrase -Operationen, Webinhalten, Kommunikation, Inhaltsstrategie, Bearbeitung und Schreiben intestine vertraut.