Tencent Hunyuan hat Open Supply HPC-Opseine produktionstaugliche Operatorbibliothek für Geräte mit großer Sprachmodell-Inferenzarchitektur. HPC-Ops konzentriert sich auf Low-Degree-CUDA-Kernel für Kernoperatoren wie Consideration, Grouped GEMM und Fused MoE und stellt sie über eine Compact-C- und Python-API zur Integration in bestehende Inferenz-Stacks bereit.

HPC-Ops wird in großen internen Diensten ausgeführt. In diesen Bereitstellungen liefert es eine Verbesserung von etwa 30 Prozent bei Abfragen professional Minute für Tencent-HY-Modelle und etwa 17 Prozent für DeepSeek-Modelle auf Mainstream-Inferenzkarten. Diese Gewinne werden auf Serviceebene gemeldet, sodass sie den kumulativen Effekt schnellerer Kernel innerhalb einer echten Inferenzpipeline widerspiegeln.

Umfang und Design von HPC-Ops

HPC-Ops ist eine produktionstaugliche, leistungsstarke und benutzerfreundliche Operatorbibliothek für LLM-Inferenz, die vom Tencent Hunyuan AI Infra-Workforce entwickelt wurde. Das Projekt versucht nicht, bedienende Frameworks zu ersetzen. Stattdessen stellt es Kernel und saubere APIs bereit, die von Systemen aufgerufen werden können, die bereits Zeitplanung, KV-Cache-Verwaltung, Stapelverarbeitung und Transport übernehmen.

Die API ist für den nahtlosen Einsatz in gängigen Inferenz-Frameworks wie vLLM und SGLang konzipiert. Das bedeutet, dass das Framework-Workforce HPC-Ops-Kernel hinter seinen eigenen Abstraktionen austauschen kann, ohne das externe Verhalten seiner Server zu ändern.

HPC-Ops verwendet C++ und CUDA mit CuTe und CUTLASS als Bausteine. Kernel werden als relativ kleine Beispiele geschrieben, die auch als modernes CUDA-Tutorial dienen.

Kernel-Leistungsmerkmale

Das Projekt veröffentlicht die maximal beobachteten Beschleunigungszahlen für jeden Betreiber im Verhältnis zu festgelegten Basiswerten. Hierbei handelt es sich um Mikrobenchmarks, und das Forschungsteam betont, dass die Leistung je nach Kind und Arbeitslast variiert, sie zeigen jedoch die Optimierungsobergrenze.

Für Consideration in bf16 meldet HPC Ops im Vergleich zu FlashInfer, FlashAttention Two, FlashAttention Three und TensorRT LLM eine bis zu 1,33-fache Beschleunigung beim Vorfüllen und eine bis zu 2,22-fache Beschleunigung beim Dekodieren. Für Consideration in fp8 werden im Vergleich zu FlashInfer, FlashAttention 3 und TensorRT LLM bis zu 1,12-mal beim Vorfüllen und bis zu 2,0-mal beim Dekodieren gemeldet.

Für FusedMoE fp8 beträgt die maximale beobachtete Geschwindigkeitssteigerung im Vergleich zu TensorRT LLM und vLLM das 1,49-fache beim Vorfüllen und das 1,14-fache beim Dekodieren. Für GroupGEMM fp8 betragen die gemeldeten Gewinne im Vergleich zu DeepGEMM das bis zu 1,1-fache beim Vorfüllen und das 1,88-fache beim Dekodieren.

Diese Zahlen sind wichtig, da die Dekodierung normalerweise den Latenzengpass bei der autoregressiven Generierung darstellt, wo die Batch-Größen schrumpfen und der Speicherverkehr dominiert. Die Tatsache, dass Consideration und GroupGEMM die größten relativen Zuwächse bei der Dekodierung aufweisen, legt nahe, dass sich HPC-Ops auf den Teil der Pipeline konzentriert, der den meisten Benutzern auffällt.

Unterstützte Kernel und Präzision

Die aktuelle Model gruppiert seine Funktionalität in drei Operatorfamilien:

• Aufmerksamkeitskerne decken sowohl das Vorfüllen als auch das Dekodieren ab und bieten Unterstützung für ausgelagerte Aufmerksamkeit. Paged Consideration ist das Speicherlayout, das Frameworks wie vLLM verwenden, um Schlüssel- und Wert-Cache-Blöcke in einer ausgelagerten Struktur zu platzieren, was die Wiederverwendung von Speicher für lange Sequenzen verbessert.
• Grouped GEMM wird als quantisiertes GroupGEMM mit fp8-Gewichten implementiert. HPC-Ops unterstützt blockweise und professional Tensor-Skalierung, sodass Groups die Quantisierungsgranularität gegen die Kosten für Parameterspeicherung und Kalibrierung abwägen können.
• Fused-MoE kombiniert eine Mischung aus Expertenrouting und Expertenberechnung in einem einzigen quantisierten Operator. Es verwendet auch fp8-Expertengewichte und unterstützt blockweise und professional Tensor-Skalierungsstrategien.

In diesen Kerneln bietet HPC-Ops native Unterstützung für die Datentypen bf16 und fp8. Dies entspricht dem aktuellen Produktionstrend, die Inferenz auf Formate mit geringerer Präzision zu verlagern, die die Genauigkeit bewahren und gleichzeitig die Speicherbandbreite reduzieren und die Tensorkernauslastung verbessern.

Wichtige Erkenntnisse

• Tencent Hunyuan hat HPC-Ops als Open-Supply-Operatorbibliothek für die LLM-Inferenz auf NVIDIA SM90-GPUs, einschließlich H20, mit auf CuTe und CUTLASS basierenden C++- und CUDA-Kerneln bereitgestellt.
• Bei Produktionsbereitstellungen meldet HPC-Ops einen QPM-Gewinn von etwa 30 Prozent für Tencent-HY-Modelle und einen QPM-Gewinn von etwa 17 Prozent für DeepSeek-Modelle auf Mainstream-Inferenzkarten.
• Operator-Mikrobenchmarks zeigen maximale Beschleunigungen bis zum 2,22-fachen für die bf16-Consideration-Dekodierung, bis zum 2,0-fachen für die fp8-Consideration-Dekodierung, bis zum 1,49-fachen für die fp8-FusedMoE-Vorfüllung und bis zum 1,88-fachen für die fp8-GroupGEMM-Dekodierung im Vergleich zu starken Baselines wie FlashInfer, FlashAttention, TensorRT LLM und DeepGEMM.
• Die Bibliothek konzentriert sich auf drei Operatorfamilien: Consideration mit Unterstützung für seitige Aufmerksamkeit, quantisiertes GroupGEMM mit fp8-Gewichten und quantisiertes Fused MoE mit fp8-Expertengewichten, sowohl mit blockweiser als auch professional Tensor-Skalierung und nativer bf16-plus-fp8-Präzisionsunterstützung.
• HPC-Ops ist als Operatorschicht konzipiert, die sich in bestehende Inferenz-Frameworks wie vLLM und SGLang integriert. Die Roadmap zielt auf eine geringe Aufmerksamkeit für LLMs mit langem Kontext, eine erweiterte Quantisierung einschließlich 4-Bit- und 8-Bit-Strategien und Kernel ab, die Berechnungen besser mit der Multi-GPU-Kommunikation überlappen.

---

Schauen Sie sich das an Repo hier. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Tencent Hunyuan hat HunyuanOCR veröffentlicht, ein 1B-Parameter-Imaginative and prescient-Sprachmodell, das auf OCR und Dokumentverständnis spezialisiert ist. Das Modell basiert auf der nativen multimodalen Architektur von Hunyuan und führt Recognizing, Parsing, Informationsextraktion, visuelle Beantwortung von Fragen und Textbildübersetzung über eine einzige Finish-to-Finish-Pipeline aus.

HunyuanOCR ist eine leichtgewichtige Different zu allgemeinen VLMs wie Gemini 2.5 und Qwen3 VL, die bei OCR-zentrierten Aufgaben immer noch mit ihnen mithalten oder diese sogar übertreffen. Es zielt auf Produktionsanwendungsfälle wie das Parsen von Dokumenten, das Extrahieren von Karten und Quittungen, das Extrahieren von Videountertiteln und die Übersetzung mehrsprachiger Dokumente ab.

Architektur, native Auflösung ViT plus Light-weight LLM

HunyuanOCR verwendet 3 Hauptmoduleein visueller Encoder mit nativer Auflösung namens Hunyuan ViT, ein adaptiver MLP-Connector und ein leichtes Sprachmodell. Der Encoder basiert auf SigLIP-v2-400M und wurde erweitert, um beliebige Eingabeauflösungen durch adaptives Patching zu unterstützen, das das ursprüngliche Seitenverhältnis beibehält. Bilder werden entsprechend ihren ursprünglichen Proportionen in Teilstücke aufgeteilt und mit globaler Aufmerksamkeit verarbeitet, was die Erkennung bei langen Textzeilen, langen Dokumenten und Scans mit geringer Qualität verbessert.

Der Adaptive MLP Connector führt lernbares Pooling in der räumlichen Dimension durch. Es komprimiert die dichten visuellen Token in eine kürzere Sequenz, während Informationen aus textdichten Bereichen erhalten bleiben. Dies reduziert die an das Sprachmodell übergebene Sequenzlänge und verringert den Rechenaufwand, während OCR-relevante Particulars erhalten bleiben.

Das Sprachmodell basiert auf dem dicht strukturierten Hunyuan 0.5B-Modell und verwendet XD RoPE. XD RoPE teilt Rotationspositionseinbettungen in 4 Unterräume für Textual content, Höhe, Breite und Zeit auf. Dies gibt dem Modell eine native Möglichkeit, die 1D-Token-Reihenfolge mit dem 2D-Structure und der raumzeitlichen 3D-Struktur auszurichten. Dadurch kann derselbe Stapel mehrspaltige Seiten, seitenübergreifende Abläufe und Sequenzen von Videobildern verarbeiten.

Coaching und Schlussfolgerung folgen einem vollständigen Finish-to-Finish-Paradigma. Es gibt keine externe Layoutanalyse oder ein Nachbearbeitungsmodell in der Schleife. Alle Aufgaben werden als Eingabeaufforderungen in natürlicher Sprache ausgedrückt und in einem einzigen Vorwärtsdurchgang bearbeitet. Dieses Design verhindert die Fehlerausbreitung über Pipeline-Stufen hinweg und vereinfacht die Bereitstellung.

Daten und Pre-Coaching-Rezept

Die Datenpipeline erstellt mehr als 200 Millionen Bildtextpaare in neun realen Szenarien, darunter Straßenansichten, Dokumente, Werbung, handgeschriebener Textual content, Screenshots, Karten, Zertifikate und Rechnungen, Spieloberflächen, Videobilder und künstlerische Typografie. Das Korpus umfasst mehr als 130 Sprachen.

Synthetische Daten stammen von einem mehrsprachigen Generator, der Rechts-nach-Hyperlinks-Skripte und das Rendern auf Absatzebene unterstützt. Die Pipeline steuert Schriftart, Sprache, Drehung und RGB-Werte und wendet Verzerrungen, Unschärfen und lokale Beleuchtungsänderungen an, um cellular Aufnahmen und andere schwierige Bedingungen zu simulieren.

Das Vortraining besteht aus 4 Phasen. Stufe 1 führt die visuelle Sprachausrichtung mit reinem Textual content, synthetischen Parsing- und Erkennungsdaten sowie allgemeinen Untertiteldaten durch, wobei 50 B-Tokens und 8 Okay-Kontext verwendet werden. Stufe 2 führt ein multimodales Vortraining auf 300B-Tokens durch, die reinen Textual content mit synthetischen Recognizing-, Parsing-, Übersetzungs- und VQA-Beispielen mischen. Stufe 3 erweitert die Kontextlänge auf 32 KB mit 80 B-Tokens, die sich auf lange Dokumente und langen Textual content konzentrieren. Stufe 4 ist eine anwendungsorientierte, überwachte Feinabstimmung von 24 Milliarden Tokens an von Menschen kommentierten und harten Negativdaten unter Beibehaltung von 32.000 Kontexten und einheitlichen Anweisungsvorlagen.

Verstärkungslernen mit überprüfbaren Belohnungen

Nach einem überwachten Coaching wird HunyuanOCR durch verstärkendes Lernen weiter optimiert. Das Forschungsteam nutzt Group Relative Coverage Optimization GRPO und ein Reinforcement Studying with Verifiable Rewards-Setup für strukturierte Aufgaben. Beim Textual content-Recognizing basiert die Belohnung auf dem Schnittpunkt-zu-Union-Matching von Boxen in Kombination mit dem normalisierten Bearbeitungsabstand über Textual content. Beim Parsen von Dokumenten verwendet die Belohnung den normalisierten Bearbeitungsabstand zwischen der generierten Struktur und der Referenz.

Für VQA und Übersetzung verwendet das System einen LLM als Juror. VQA verwendet eine binäre Belohnung, die die semantische Übereinstimmung überprüft. Die Übersetzung verwendet ein Bewertungs-LLM im COMET-Stil mit Bewertungen in (0, 5), normalisiert auf (0, 1). Das Trainingsframework erzwingt Längenbeschränkungen und strenge Formate und weist keine Belohnung zu, wenn Ausgaben überlaufen oder das Schema brechen, was die Optimierung stabilisiert und gültige JSON- oder strukturierte Ausgaben fördert.

Benchmark-Ergebnisse, ein 1B-Modell, das mit größeren VLMs konkurriert

Beim internen Textual content-Recognizing-Benchmark von 900 Bildern in 9 Kategorien erreicht HunyuanOCR eine Gesamtpunktzahl von 70,92. Es übertrifft herkömmliche Pipeline-Methoden wie PaddleOCR und BaiduOCR sowie allgemeine VLMs wie Gemini 2.5 Professional, Qwen3 VL 2B, Qwen3 VL 235B und Seed 1.6 Imaginative and prescient, obwohl es weitaus weniger Parameter verwendet.

Auf OmniDocBench erreicht HunyuanOCR insgesamt 94,10, mit 94,73 für Formeln und 91,81 für Tabellen. Bei der Wild OmniDocBench-Variante, die Dokumente unter Falten und Lichtwechseln druckt und erneut erfasst, erreicht sie insgesamt 85,21 Punkte. Bei DocML, einem mehrsprachigen Parsing-Benchmark für 14 nicht-chinesische und nicht-englische Sprachen, erreicht es 91,03, und das Papier berichtet über hochmoderne Ergebnisse für alle 14 Sprachen.

Bei der Informationsextraktion und VQA erreicht HunyuanOCR eine Genauigkeit von 92,29 bei Karten, 92,53 bei Quittungen und 92,87 bei Videountertiteln. Auf OCRBench erreicht es einen Wert von 860, höher als DeepSeek OCR bei ähnlichem Maßstab und nahe an größeren allgemeinen VLMs wie Qwen3 VL 2B Instruct und Gemini 2.5 Professional.

Bei der Textual content-Bild-Übersetzung verwendet HunyuanOCR den DoTA-Benchmark und einen DocML-basierten internen Satz. Es erreicht eine starke COMET-Bewertung bei DoTA für die Übersetzung von Dokumenten aus dem Englischen ins Chinesische und das Modell gewinnt den ersten Platz im Observe 2.2 OCR free Small Mannequin des ICDAR 2025 DIMT-Wettbewerbs.

Wichtige Erkenntnisse

• Kompaktes Finish-to-Finish-OCR-VLM: HunyuanOCR ist ein 1B-Parameter-OCR-fokussiertes Imaginative and prescient-Sprachmodell, das ein ViT mit einer nativen Auflösung von 0,4B über einen MLP-Adapter mit einem Hunyuan-Sprachmodell mit 0,5B verbindet und Recognizing, Parsing, Informationsextraktion, VQA und Übersetzung in einer durchgängigen anweisungsgesteuerten Pipeline ohne externe Structure- oder Erkennungsmodule ausführt.
• Einheitliche Unterstützung für verschiedene OCR-Szenarien: Das Modell wird anhand von mehr als 200 Millionen Bildtextpaaren in 9 Szenarien trainiert, darunter Dokumente, Straßenansichten, Werbung, handschriftliche Inhalte, Screenshots, Karten und Rechnungen, Spieloberflächen und Videobilder, mit einer Abdeckung von über 130 Sprachen in der Schulung und Unterstützung für mehr als 100 Sprachen in der Bereitstellung.
• Datenpipeline plus verstärkendes Lernen: Das Coaching verwendet ein 4-Stufen-Rezept, Imaginative and prescient-Language-Alignment, multimodales Pre-Coaching, Lengthy-Context-Pre-Coaching und anwendungsorientierte überwachte Feinabstimmung, gefolgt von verstärkendem Lernen mit gruppenbezogener Richtlinienoptimierung und überprüfbaren Belohnungen für Recognizing, Parsing, VQA und Übersetzung.
• Starke Benchmark-Ergebnisse für Sub-3B-Modelle
  HunyuanOCR erreicht beim OmniDocBench einen Wert von 94,1 für das Dokumentenverständnis und einen Wert von 860 beim OCRBench, was als modernstes Bildverarbeitungsmodell mit weniger als 3B-Parametern gilt und gleichzeitig mehrere kommerzielle OCR-APIs und größere offene Modelle wie Qwen3 VL 4B bei den Kern-OCR-Benchmarks übertrifft.

Redaktionelle Anmerkungen

HunyuanOCR ist ein starkes Sign dafür, dass OCR-spezifische VLMs zu einer praktischen Infrastruktur und nicht nur zu Benchmarks heranreifen. Tencent kombiniert eine 1B-Parameter-Finish-to-Finish-Architektur mit Native Imaginative and prescient Transformer, Adaptive MLP Connector und RL mit überprüfbaren Belohnungen, um ein einziges Modell bereitzustellen, das Recognizing, Parsing, IE, VQA und Übersetzung in mehr als 100 Sprachen abdeckt, und erreicht dabei Spitzenwerte bei OCRBench für Sub-3B-Modelle und 94,1 bei OmniDocBench. Insgesamt markiert HunyuanOCR einen wichtigen Wandel hin zu kompakten, anweisungsgesteuerten OCR-Engines, die für den Produktionseinsatz realistisch sind.

---

Schauen Sie sich das an Papier, Modellgewicht Und Repo. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.