DeepSeek-Forscher versuchen, ein konkretes Drawback beim Coaching großer Sprachmodelle zu lösen. Restverbindungen machten sehr tiefe Netzwerke trainierbar, Hyperverbindungen erweiterten diesen Reststrom und das Coaching wurde dann im großen Maßstab instabil. Die neue Methode mHC, Manifold Constrained Hyper Connections, behält die reichhaltigere Topologie von Hyperverbindungen bei, sperrt aber das Mischverhalten auf eine wohldefinierte Mannigfaltigkeit, sodass Signale in sehr tiefen Stapeln numerisch stabil bleiben.

Von Residualverbindungen zu Hyperverbindungen

Customary-Restverbindungen, wie in ResNets und Transformers, verbreiten Aktivierungen mit x_l+1​=x_l+F(x_l,W_l)
Der Identitätspfad behält die Größe bei und sorgt dafür, dass Farbverläufe auch dann nutzbar bleiben, wenn Sie viele Ebenen stapeln.

Hyperverbindungen verallgemeinern diese Struktur. Anstelle eines einzelnen Restvektors der Größe C behält das Modell einen n-Stream-Puffer 𝑥_𝑙∈𝑅^𝑛×𝐶. Drei erlernte Zuordnungen steuern, wie jede Schicht diesen Puffer liest und schreibt:

• H_l^vor wählt eine Mischung aus Streams als Layer-Eingabe aus
• F ist die übliche Aufmerksamkeits- oder Feed-Ahead-Unterschicht
• H_l^{Put up} schreibt Ergebnisse zurück in den n-Stream-Puffer
• H_l^res∈R^n×n mischt Streams zwischen Ebenen

Das Replace hat das Formular
X_l+1​=H_l^resX_l+H_l^{Put up}​^⊤F(H_l^vorX_l,W_l​)

Wenn n auf 4 gesetzt ist, erhöht dieses Design die Ausdruckskraft, ohne dass die Gleitkommakosten stark steigen, weshalb Hyperverbindungen die Downstream-Leistung in Sprachmodellen verbessern.

Warum Hyperverbindungen instabil werden

Das Drawback tritt auf, wenn man das Produkt der Restmischer über viele Schichten hinweg betrachtet. In einem 27B-Combine-of-Experten-Modell untersucht DeepSeek die zusammengesetzte Kartierung

und definiert eine Amax-Verstärkungsgröße basierend auf den maximalen Zeilen- und Spaltensummen. Diese Metrik misst die Verstärkung im ungünstigsten Fall im Vorwärts- und Rückwärtssignalpfad. Im Hyperverbindungsmodell erreicht dieser Gewinn Spitzen um 3000, weit entfernt vom Idealwert 1, den man von einem stabilen Restpfad erwartet.

Dies bedeutet, dass kleine Abweichungen professional Schicht zu sehr großen Verstärkungsfaktoren über die Tiefe führen. Trainingsprotokolle zeigen Verlustspitzen und instabile Gradientennormen im Vergleich zu einem Foundation-Residuenmodell. Gleichzeitig erhöht die Beibehaltung eines Multi-Stream-Puffers den Speicherverkehr für jedes Token, was die naive Skalierung von Hyperverbindungen für die Produktion großer Sprachmodelle unattraktiv macht.

Vielfältig eingeschränkte Hyperverbindungen

mHC behält die Multi-Stream-Restidee bei, schränkt aber den gefährlichen Teil ein. Die Restmischungsmatrix H_l^res lebt nicht mehr im vollen n-mal-n-Raum. Stattdessen wird es auf die Mannigfaltigkeit doppelt stochastischer Matrizen projiziert, auch Birkhoff-Polytop genannt. In dieser Menge sind alle Einträge nicht negativ und jede Zeile und jede Spalte ergibt in der Summe 1.

Das DeepSeek-Crew erzwingt diese Einschränkung mit dem klassischen Sinkhorn-Knopp-Algorithmus von 1967, der Zeilen- und Spaltennormalisierungen abwechselt, um eine doppelt stochastische Matrix anzunähern. Das Forschungsteam verwendet während des Trainings 20 Iterationen professional Schicht, was ausreicht, um die Zuordnung nahe an der Zielmannigfaltigkeit zu halten und gleichzeitig die Kosten überschaubar zu halten.

Unter diesen Einschränkungen hat H_l^res​x_l verhält sich wie eine konvexe Kombination von Restströmen. Die gesamte Merkmalsmasse bleibt erhalten und die Norm ist streng reguliert, wodurch das explosionsartige Wachstum, das bei einfachen Hyperverbindungen auftritt, eliminiert wird. Das Forschungsteam parametrisiert außerdem Eingabe- und Ausgabezuordnungen so, dass die Koeffizienten nicht negativ sind, was eine Auslöschung zwischen Streams vermeidet und die Interpretation als Mittelung klar hält.

Mit mHC bleibt die zusammengesetzte Amax Acquire Magnitude begrenzt und erreicht beim 27B-Modell einen Spitzenwert von etwa 1,6, verglichen mit Spitzenwerten nahe 3000 bei der uneingeschränkten Variante. Das entspricht einer Reduzierung um etwa drei Größenordnungen bei der Verstärkung im ungünstigsten Fall und ist eher auf eine direkte mathematische Einschränkung als auf abgestimmte Tips zurückzuführen.

Systemarbeit und Schulungsaufwand

Die Beschränkung jedes Restmischers durch Iterationen im Sinkhorn-Stil erhöht die Kosten auf dem Papier. Das Forschungsteam begegnet diesem Drawback mit mehreren Systemoptionen:

• Fusionierte Kernel kombinieren RMSNorm, Projektionen und Gating für die mHC-Zuordnungen, sodass der Speicherverkehr gering bleibt
• Neuberechnungsbasiertes Aktivierungs-Checkpointing tauscht Rechenleistung für den Arbeitsspeicher aus, indem mHC-Aktivierungen während des Backprops für Layer-Blöcke neu berechnet werden
• Durch die Integration mit einem DualPipe-ähnlichen Pipeline-Zeitplan überlappen sich Kommunikation und Neuberechnung, sodass zusätzliche Arbeit die Trainingspipeline nicht blockiert

Bei umfangreichen internen Trainingsläufen erhöht mHC mit einer Expansionsrate n von 4 den Trainingszeitaufwand im Vergleich zur Basisarchitektur um etwa 6,7 ​​Prozent. In dieser Zahl sind sowohl die zusätzliche Rechenleistung von Sinkhorn Knopp als auch die Infrastrukturoptimierungen bereits enthalten.

Empirische Ergebnisse

Das Forschungsteam trainiert 3B-, 9B- und 27B-Mischungen von Expertenmodellen und bewertet sie anhand einer Customary-Sprachmodell-Benchmark-Suite, einschließlich Aufgaben wie BBH, DROP, GSM8K, HellaSwag, MMLU, PIQA und TriviaQA.

Für das 27B-Modell zeigen die gemeldeten Zahlen zu einer Teilmenge von Aufgaben das Muster deutlich:

• Basislinie: BBH 43,8, DROP F1 47,0
• Mit Hyperverbindungen: BBH 48,9, DROP 51,6
• Mit mHC: BBH 51,0, DROP 53,9

Hyperverbindungen bieten additionally bereits einen Vorteil gegenüber dem grundlegenden Restdesign, und vielfältig eingeschränkte Hyperverbindungen steigern die Leistung weiter und stellen gleichzeitig die Stabilität wieder her. Ähnliche Developments treten bei anderen Benchmarks und über Modellgrößen hinweg auf, und Skalierungskurven deuten darauf hin, dass der Vorteil über alle Rechenbudgets und den gesamten Trainingsverlauf hinweg bestehen bleibt und nicht nur bei der Konvergenz.

Wichtige Erkenntnisse

• mHC stabilisiert verbreiterte Restströme: mHC, Manifold Constrained Hyper Connections, erweitert den Restweg in 4 interagierende Ströme wie HC, beschränkt aber die Restmischungsmatrizen auf eine Mannigfaltigkeit doppelt stochastischer Matrizen, sodass die Ausbreitung über große Entfernungen normkontrolliert bleibt und nicht explodiert.
• Der Explosionsgewinn wird von ≈3000 auf ≈1,6 reduziert: Bei einem 27B-MoE-Modell erreicht die Amax-Verstärkungsgröße der zusammengesetzten Restkartierung bei uneingeschränktem HC einen Spitzenwert von etwa 3000, während mHC diese Metrik auf etwa 1,6 beschränkt, wodurch das explodierende Reststromverhalten, das zuvor das Coaching unterbrochen hat, beseitigt wird.
• Sinkhorn Knopp erzwingt eine doppelt stochastische Restmischung: Jede verbleibende Mischmatrix wird mit etwa 20 Sinkhorn-Knopp-Iterationen projiziert, sodass sich sowohl Zeilen als auch Spalten zu 1 summieren. Dadurch wird die Zuordnung zu einer konvexen Kombination von Permutationen, die ein identitätsähnliches Verhalten wiederherstellt und gleichzeitig eine umfassende Cross-Stream-Kommunikation ermöglicht.
• Geringer Trainingsaufwand, messbare Downstream-Gewinne: Bei den 3B-, 9B- und 27B-DeepSeek-MoE-Modellen verbessert mHC die Benchmark-Genauigkeit, zum Beispiel etwa plus 2,1 Prozent gegenüber BBH für das 27B-Modell, während der Trainingszeitaufwand durch Fusionskerne, Neuberechnung und Pipeline-bewusste Planung nur etwa 6,7 ​​Prozent erhöht.
• Führt eine neue Skalierungsachse für das LLM-Design ein: Anstatt nur Parameter oder Kontextlänge zu skalieren, zeigt mHC, dass das explizite Entwerfen der Topologie und vielfältigen Einschränkungen des Reststroms, zum Beispiel Restbreite und -struktur, eine praktische Möglichkeit ist, eine bessere Leistung und Stabilität in zukünftigen großen Sprachmodellen zu erzielen.

---

Schauen Sie sich das an VOLLSTÄNDIGES PAPIER hier. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Wie erhält man Argumente auf GPT-5-Ebene für reale Workloads mit langem Kontext und Werkzeugnutzung, ohne auf die quadratische Aufmerksamkeit und die GPU-Kosten zu achten, die diese Systeme normalerweise unpraktisch machen? DeepSeek-Forschung stellt vor DeepSeek-V3.2 und DeepSeek-V3.2-Speciale. Dabei handelt es sich um Reasoning-First-Modelle, die für Agenten entwickelt wurden und auf hochwertige Argumentation, lange Kontext- und Agenten-Workflows mit offenen Gewichtungen und Produktions-APIs abzielen. Die Modelle kombinieren DeepSeek Sparse Consideration (DSA), einen skalierten GRPO-Lernstapel zur Verstärkung und ein agentennatives Instrument-Protokoll und berichten über eine mit GPT 5 vergleichbare Leistung DeepSeek-V3.2-Speciale Erreichen des Gemini 3.0 Professional-Niveaus durch Argumentation bei öffentlichen Benchmarks und Wettbewerben.

Geringe Aufmerksamkeit mit nahezu linearen Kosten für lange Kontexte

Beide DeepSeek-V3.2 und DeepSeek-V3.2-Speciale Verwenden Sie den DeepSeek-V3 Combination of Specialists-Transformator mit etwa 671 B Gesamtparametern und 37 B aktiven Parametern professional Token, geerbt von V3.1 Terminus. Die einzige strukturelle Änderung ist DeepSeek Sparse Consideration, die durch kontinuierliches Vortraining eingeführt wurde.

DeepSeek Sparse Consideration teilt die Aufmerksamkeit in 2 Komponenten. A Blitzindexer führt eine kleine Anzahl von Köpfen mit niedriger Präzision über alle Token-Paare aus und erzeugt Relevanzwerte. A Feinkörniger Selektor Behält die Prime-Ok-Schlüsselwertpositionen professional Abfrage bei, und der Hauptaufmerksamkeitspfad führt Multi-Question-Consideration und Multi-Head-Latent-Consideration für diesen spärlichen Satz aus.

Dadurch ändert sich die vorherrschende Komplexität von O(L²) zu O(kL), wobei L die Sequenzlänge und ok die Anzahl der ausgewählten Token ist und viel kleiner als L ist. Basierend auf den Benchmarks, DeepSeek-V3.2 entspricht hinsichtlich der Genauigkeit der dichten Terminus-Basislinie und reduziert gleichzeitig die Kosten für lange Kontextinferenzen um etwa 50 Prozent, mit schnellerem Durchsatz und geringerer Speichernutzung auf {Hardware} der H800-Klasse sowie auf vLLM- und SGLang-Backends.

Fortsetzung des Pre-Trainings für DeepSeek Sparse Consideration

DeepSeek spärliche Aufmerksamkeit (DSA) wird durch fortlaufende Vorschulung eingeführt DeepSeek-V3.2 Endstation. In der dichten Aufwärmphase bleibt die dichte Aufmerksamkeit aktiv, alle Spine-Parameter werden eingefroren und nur der Lightning-Indexer wird mit einem Kullback-Leibler-Verlust trainiert, um der dichten Aufmerksamkeitsverteilung in 128K-Kontextsequenzen zu entsprechen. In dieser Section werden nur wenige Schritte und etwa 2 Milliarden Token benötigt, was ausreicht, damit der Indexer nützliche Ergebnisse erlernen kann.

In der Sparse-Section behält der Selektor 2048 Schlüsselwerteinträge professional Abfrage bei, das Spine wird freigegeben und das Modell trainiert weiter mit etwa 944 B Tokens. Steigungen für den Indexierer ergeben sich immer noch nur aus dem Ausrichtungsverlust bei starker Aufmerksamkeit auf die ausgewählten Positionen. Dieser Zeitplan macht DeepSeek spärliche Aufmerksamkeit (DSA) verhalten sich als Ersatz für dichte Aufmerksamkeit mit ähnlicher Qualität und geringeren langfristigen Kontextkosten.

GRPO mit mehr als 10 Prozent RL Compute

Zusätzlich zur spärlichen Architektur verwendet DeepSeek-V3.2 Group Relative Coverage Optimization (GRPO) als wichtigste Methode des verstärkenden Lernens. Das Forschungsteam gibt an, dass nach dem Coaching Verstärkungslernen Die RL-Rechenleistung übersteigt 10 Prozent der Rechenleistung vor dem Coaching.

RL ist nach Fachgebieten organisiert. Das Forschungsteam trainiert spezielle Läufe für Mathematik, Wettbewerbsprogrammierung, allgemeines logisches Denken, Shopping und Agentenaufgaben sowie Sicherheit und destilliert diese Spezialisten dann in die gemeinsame 685B-Parameterbasis für DeepSeek-V3.2 und DeepSeek-V3.2-Speciale. GRPO wird mit einem unvoreingenommenen KL-Schätzer, Off-Coverage-Sequenzmaskierung und Mechanismen zur Beibehaltung implementiert Mischung aus Experten (MoE) Routing- und Sampling-Masken, die zwischen Coaching und Sampling konsistent sind.

Agentendaten, Denkmodus und Toolprotokoll

Das DeepSeek-Forschungsteam erstellt einen großen Datensatz synthetischer Agenten, indem es mehr als 1.800 Umgebungen und mehr als 85.000 Aufgaben für Code-Agenten, Suchagenten, allgemeine Instruments und Code-Interpreter-Setups generiert. Aufgaben sind so konstruiert, dass sie schwer zu lösen und leicht zu überprüfen sind, und werden zusammen mit echten Codierungs- und Suchspuren als RL-Ziele verwendet.

Zum Zeitpunkt der Schlussfolgerung DeepSeek-V3.2 führt explizite Denk- und Nicht-Denkmodi ein. Der Deepseek-Reasoner-Endpunkt stellt standardmäßig den Denkmodus bereit, bei dem das Modell vor der endgültigen Antwort eine interne Gedankenkette erzeugt. Der Leitfaden „Denken mit Instruments“ beschreibt, wie Argumentationsinhalte über alle Instrument-Aufrufe hinweg beibehalten und gelöscht werden, wenn eine neue Benutzernachricht eintrifft, und wie Instrument-Aufrufe und Instrument-Ergebnisse im Kontext bleiben, selbst wenn der Argumentationstext auf das Price range gekürzt wird.

Die Chat-Vorlage wird entsprechend diesem Verhalten aktualisiert. Der DeepSeek-V3.2 Speciale Das Repository liefert Python-Encoder- und -Decoder-Helfer anstelle einer Jinja-Vorlage. Nachrichten können neben dem Inhalt auch ein Feld reasoning_content enthalten, das durch einen Denkparameter gesteuert wird. Eine Entwicklerrolle ist Suchagenten vorbehalten und wird in allgemeinen Chatflows von der offiziellen API nicht akzeptiert, was diesen Kanal vor versehentlichem Missbrauch schützt.

Benchmarks, Wettbewerbe und offene Artefakte

Zu Normal-Benchmarks für Argumentation und Kodierung, DeepSeek-V3.2 und vor allem DeepSeek-V3.2 Besonderes werden auf Suiten wie AIME 2025, HMMT 2025, GPQA und LiveCodeBench als vergleichbar mit GPT-5 und nahe an Gemini-3.0 Professional gemeldet, mit verbesserter Kosteneffizienz bei langen Kontext-Workloads.

Für formelle Wettbewerbe gibt das DeepSeek-Forschungsteam dies an DeepSeek-V3.2 Besonderes erreicht Leistungen auf Goldmedaillenniveau bei der Internationalen Mathematikolympiade 2025, der Chinesischen Mathematikolympiade 2025 und der Internationalen Informatikolympiade 2025 sowie wettbewerbsfähige Leistungen auf Goldmedaillenniveau bei den ICPC-Weltfinals 2025.

Wichtige Erkenntnisse

1. DeepSeek-V3.2 fügt DeepSeek Sparse Consideration hinzu, was zu nahezu linearen O(kL)-Aufmerksamkeitskosten führt und etwa 50 % niedrigere API-Kosten für lange Kontexte im Vergleich zu früheren dichten DeepSeek-Modellen liefert, während die Qualität ähnlich wie bei DeepSeek-V3.1 Terminus bleibt.
2. Die Modellfamilie behält das 671B-Parameter-MoE-Spine mit 37B aktiven Parametern professional Token bei und stellt ein vollständiges 128K-Kontextfenster in Produktions-APIs zur Verfügung, was lange Dokumente, mehrstufige Ketten und große Werkzeugspuren praktisch und nicht nur eine Laborfunktion darstellt.
3. Nach dem Coaching kommt Group Relative Coverage Optimization (GRPO) mit einem Rechenbudget von mehr als 10 Prozent des Vortrainings zum Einsatz, wobei der Schwerpunkt auf Mathematik, Code, allgemeinem Denken, Shopping oder Agentenarbeitsbelastung und Sicherheit liegt, zusammen mit Spezialisten im Wettbewerbsstil, deren Fälle zur externen Überprüfung freigegeben werden.
4. DeepSeek-V3.2 ist das erste Modell in der DeepSeek-Familie, das das Denken direkt in die Instrument-Nutzung integriert und sowohl denkende als auch nicht denkende Instrument-Modi sowie ein Protokoll unterstützt, bei dem internes Denken über alle Instrument-Aufrufe hinweg bestehen bleibt und nur bei neuen Benutzernachrichten zurückgesetzt wird.

---

Schauen Sie sich das an Papier Und Modellgewichte. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.