Wie trainierte DeepSeek KI 30-mal günstiger?

DeepSeek ist derzeit überall – auf Twitter, LinkedIn und in Gesprächen in der gesamten KI-Welt. Die Leute können nicht aufhören darüber zu reden, wie dieses Unternehmen das „Unmögliche“ geschafft hat. Während KI-Coaching normalerweise teuer und ressourcenintensiv ist, hat DeepSeek einen Weg gefunden, seine Modelle mit nur wenigen Klicks zu trainieren 1/30 der üblichen Kosten. Heutzutage behauptet alles, „auf dem neuesten Stand der Technik“ zu sein, aber DeepSeek beweist, dass es nicht mehr ausreicht, der „Beste“ zu sein. Es geht darum, Grenzen zu überschreiten und das zu erreichen, was andere für unmöglich hielten.

Was verstärkt den Hype? DeepSeek-App ist viral geworden. Es geht nicht nur darum, gute Leistung zu erbringen – es liegt auch daran, dass es funktioniert Spitze der App-Retailer-Chartsund übertrifft damit sogar große Namen wie ChatGPT. Dieses virale Bild kursiert im gesamten Web:

Wie hat DeepSeek das geschafft? Lassen Sie uns ihr Geheimnis auf die einfachste Artwork und Weise lüften.

1. Keine ausgefallenen Chips, nur intelligente Optimierungen

Viele gingen davon aus, dass Exportbeschränkungen aus den USA für fortschrittliche KI-Chips die Fähigkeiten von DeepSeek einschränken würden. Sie haben jedoch bewiesen, dass großartige Software program {Hardware}-Einschränkungen ausgleichen kann. Anstatt sich auf die neuesten Excessive-Finish-GPUs wie die NVIDIA H100 zu verlassen, optimierten sie die vorhandene {Hardware} – wahrscheinlich die NVIDIA H800, die über eine geringere Chip-zu-Chip-Bandbreite verfügt.

Die DeepSeek-Ingenieure konzentrierten sich auf Low-Degree-Codeoptimierungen um die Speichernutzung so effizient wie möglich zu gestalten. Dafür sorgten ihre Verbesserungen Die Leistung wurde nicht durch Chipbeschränkungen beeinträchtigt. Im Wesentlichen haben sie das, was sie hatten, maximiert, anstatt auf bessere {Hardware} zu warten.

Schlüssel zum Mitnehmen: Sie haben die Beschränkungen nicht umgangen; Sie haben einfach dafür gesorgt, dass ihre vorhandenen Ressourcen intelligenter arbeiten.

Zusamenfassend: Keine teure {Hardware} erforderlich – nur effiziente Software program.

2. Nur die wichtigen Teile trainieren

Beim Coaching von KI-Modellen muss in der Regel alles aktualisiert werden, auch Teile, die keinen großen Beitrag leisten. Dies führt zu einer massiven Verschwendung von Ressourcen. DeepSeek hat dieses Drawback direkt durch Schulungen angegangen nur die notwendigen Teile des Modells.

Mit einer Technik namens Hilfsverlustfreier Lastausgleich, Sie stellten sicher, dass nur die relevantesten Teile (Experten) des Modells aktiviert und aktualisiert wurden. Anstatt sich auf zusätzliche Verlustfunktionen zu verlassen, um die Arbeitslast auszugleichen, führten sie eine ein Bias-Begriff Dies hilft dabei, Aufgaben dynamisch auf die richtigen Teile des Modells zu verteilen.

Wie funktioniert es?

• Jeder Token (Textstück) wird an a gesendet kleine Gruppe von Expertenanstatt das gesamte Modell einzubeziehen.
• Das System überwacht die Arbeitsbelastung und passt die an Bias-Begriff um zu verhindern, dass einige Experten überlastet werden, während andere nicht ausgelastet bleiben.
• Diese dynamische Anpassung ermöglicht effiziente Ressourcennutzung ohne zusätzlichen Rechenaufwand.

Ergebnisse

• Nur 5 % der Modellparameter wurden professional Token trainiert.
• Dies führte zu einem 95 % Reduzierung der GPU-Nutzung im Vergleich zu Unternehmen wie Meta.
• Schnelleres Coaching bei deutlich geringere Kosten, ohne an Genauigkeit zu verlieren.

Zusamenfassend: Trainieren Sie nur das, was benötigt wird, und sparen Sie viel Kosten.

3. Schnellere und günstigere KI mit Komprimierung

Das Ausführen von KI-Modellen, insbesondere Inferenz (beim Generieren von Ausgaben), ist speicherintensiv und kostspielig. DeepSeek hat dieses Drawback durch den Einsatz einer innovativen Technik namens „ Gelenkkompression mit niedrigem Schlüsselwert (KV).

Der KV-Cache speichert Schlüssel-Wert-Paare, die für Aufmerksamkeitsmechanismen wichtig sind, aber wenn sie bei voller Kapazität gespeichert werden, nimmt sie viel Speicher in Anspruch. DeepSeek hat einen Weg dazu gefunden diese Schlüssel-Wert-Paare effizient komprimieren, Reduzieren Sie den Speicherplatz, ohne die Leistung zu beeinträchtigen.

Wie funktioniert es?

• Das Modell komprimiert Schlüssel- und Wertevektoren mithilfe von a Down-Projektionsmatrix, Reduzierung ihrer Größe unter Beibehaltung wesentlicher Informationen.
• Während der Schlussfolgerung wird nur die komprimierte Model gespeichert wird, wodurch der Speicherbedarf deutlich reduziert wird.
• Bei Bedarf werden die komprimierten Daten mit minimalem Genauigkeitsverlust wieder erweitert.

Vorteile

• Geringere Speichernutzung: DeepSeek speichert eine viel kleinere Datenmenge, ohne an Leistung zu verlieren.
• Schnellere Schlussfolgerung: Weniger zu verarbeitende Daten bedeuten schnellere Antworten.
• Reduzierte Kosten: Um das Modell effizient auszuführen, ist weniger {Hardware} erforderlich.

Zusamenfassend: Kleinerer Speicher, schnellere Ergebnisse, geringere Kosten.

4. Intelligenteres Lernen mit Reinforcement Studying

DeepSeek verbesserte auch die Effizienz des Modelllernens durch Verstärkungslernen. Anstatt sich ausschließlich auf traditionelle Trainingsmethoden zu verlassen, konzentrierten sie sich auf Aufgaben, bei denen dies der Fall warfare klare, überprüfbare Antworten, wie Mathematik- und Codierungsprobleme.

Wie funktioniert es?

• Der KI werden komplexe, leicht überprüfbare Aufgaben (z. B. Codierungsherausforderungen) übertragen.
• Wenn das Modell das richtige Ergebnis liefert, wird es belohnt und lernt, diese Muster zu verstärken.
• Bei Fehlern werden Anpassungen vorgenommen, um die Leistung in zukünftigen Iterationen zu verbessern.

Diese Methode ermöglichte DeepSeek Verbessern Sie die Genauigkeit mit weniger Ressourcen indem wir uns nur auf Herausforderungen konzentrieren, die unmittelbares, messbares Suggestions lieferten.

Zusamenfassend: Intelligenteres Coaching durch Versuch und Irrtum.

Warum ist DeepSeek eine große Sache?

Der Erfolg von DeepSeek beruht auf drei wirkungsvollen, aber unkomplizierten Ideen:

• Nur das Wesentliche trainieren: Konzentration auf die wichtigsten Teile des Modells, um den Rechenaufwand zu reduzieren.
• Intelligente Speicherkomprimierung: Weniger Speicherplatz verbrauchen, ohne an Leistung einzubüßen.
• Effizienter {Hardware}-Einsatz: Das Beste aus den verfügbaren Ressourcen herausholen, anstatt sich auf modernste Chips zu verlassen.

Diese Strategien senkten nicht nur die Kosten, sondern gaben DeepSeek auch die Möglichkeit, schneller als seine Konkurrenten zu testen, zu experimentieren und Innovationen zu entwickeln.

Was ihre Geschichte so fesselnd macht, ist, dass es nicht um unbegrenzte Ressourcen geht. Es geht um das Beste aus dem Vorhandenen machen. DeepSeek hat bewiesen, dass bahnbrechende KI nicht mit einem unverschämten Preis verbunden sein muss. Ihr Ansatz ist eine Blaupause dafür, wie Unternehmen in Bezug auf KI intelligenter und nicht härter denken können. Indem sie sich auf Effizienz konzentrieren, haben sie anderen die Tür geöffnet, um zu überdenken, wie KI-Modelle trainiert und eingesetzt werden.

Während sich die KI weiterentwickelt, hat DeepSeek bewiesen, dass Effizienz nicht nur wichtig ist – sie ist der wahre Recreation-Changer.

Schauen Sie sich unsere ausführlichen Artikel zur Funktionsweise von DeepSeek und zum Vergleich mit ähnlichen Modellen an:

Bleiben Sie dran Analytics Vidhya Weblog für mehr so ​​tolle Inhalte!

Ich bin ein Datenliebhaber, der es genießt, versteckte Muster zu finden und sie in nützliche Erkenntnisse umzuwandeln. Als Supervisor – Content material and Development bei Analytics Vidhya helfe ich Datenbegeisterten dabei, gemeinsam zu lernen, zu teilen und zu wachsen.

Vielen Dank für Ihren Besuch in meinem Profil – ich hoffe, Sie haben etwas gefunden, das Ihnen gefällt 🙂