Einbettungsmodelle entscheiden darüber, welche Passagen ein Agent jemals sieht. NVIDIA veröffentlicht Nemotron 3 Embed-Modell um an dieser Ebene zu arbeiten. Es zielt auf RAG im Produktionsmaßstab, Agentenabruf, Codeabruf und Agentenspeicher ab.

Was ist Nemotron 3 Embed?

Die Modellsammlung umfasst drei offene Kontrollpunkte. Nemotron-3-Embed-8B-BF16 ist die Choice, bei der die Genauigkeit an erster Stelle steht. Nemotron-3-Embed-1B-BF16 vereint das gleiche Design auf kleinerer Stellfläche. Nemotron-3-Embed-1B-NVFP4 ist der Blackwell-optimierte 4-Bit-Pfad.

Bei allen drei handelt es sich um transformatorische Encoder, mit denen trainiert wird bidirektionale Aufmerksamkeitsmaskierung. Die endgültige Einbettung erfolgt aus durchschnittliches Pooling über Darstellungen auf Token-Ebene. Die maximale Sequenzlänge beträgt 32.768 Token an jedem Kontrollpunkt.

Jedes Modell wurde in 34 Sprachen evaluiert. Alle drei tragen das OpenMDW-Lizenzvereinbarung, Model 1.1 (OpenMDW-1.1). Bemerkenswert ist, dass es sich bei den Basen um Mistral-Modelle handelt. Der 8B ist mit gebaut Ministral-3-8B-Instruct-2512. Beide 1B-Varianten nutzen Ministral-3-3B-Instruct-2512.

Leistung

Nemotron-3-Embed-8B-BF16 Ränge Nr. 1 insgesamt auf RTEB (Stand: 17. Juli 2026), der Retrieval Embedding Benchmark. Die Evaluierung umfasst ihre 16 öffentlichen Aufgaben. Alle folgenden Zahlen sind durchschnittliche NDCG@10 bei einer Modellsequenzlänge von 4096.

Zwei Lücken sind erwähnenswert. Der 1B gewinnt 10,4 RTEB-Punkte über llama-nemotron-embed-vl-1b-v2die Basislinie der vorherigen Era. Unabhängig davon kostet NVFP4 0,38 RTEB-Punkte gegenüber seinem BF16-Mutterunternehmen oder 99,5 % Retention.

Wie das 1B-Modell gebaut wurde?

Diese 1B-Ergebnisse stammen aus einer Komprimierungspipeline und nicht aus einem kleineren Trainingslauf. Der Elternteil warfare nemotron-3-embed-3bbeschnitten und über zwei Iterationsrunden destilliert.

Zuerst wurde der 3B-Elternteil mit auf 2B beschnitten NVIDIA ModelOpt mcore_minitron Neural Structure Search (NAS). Die Suche umfasst versteckte Breite, FFN-Größe, Aufmerksamkeitspunkte und Tiefe. Anschließend wird der beste Kandidat aus der Prime-10-Pareto-Entrance ausgewählt. Diese Kandidaten wurden mit einem 50.000 domäneninternen Kalibrierungskorpus bewertet.

Als nächstes wurde das 2B-Modell aus dem fein abgestimmten 8B-Einbettungslehrer destilliert. Destillation kombiniert Kosinus-Distanzverlust (COS) Und mittlerer quadratischer Fehler (MSE) Verlust. Die Datenmischung warfare mehrsprachig und domänenintern. Schließlich wurde derselbe Vorgang wiederholt, um den 1.14B-Kontrollpunkt zu erzeugen.

Der NVFP4-Serving-Kompromiss

Die Komprimierung wird dann im Bereitstellungsformat fortgesetzt. Die Quantisierung trifft nur Gewichte und Aktivierungen linearer Ebenen und zielt auf die NVFP4 Datentyp. Das Forschungsteam verwendete nvidia-modelopt v0.45.0. Quantisierungsbewusste Destillation (QAD) befolgt, hauptsächlich um die Genauigkeit bei langen Eingaben wiederherzustellen.

Für die Kalibrierung wurden 512 Proben verwendet: 256 Abfragen und 256 Passagen von abisee/cnn_dailymail. Beim QAD-Coaching wurden 20.000 Proben verwendet.

Das Forschungsteam berichtet, dass Blackwell NVFP4 liefert bis zu 2x höherer Durchsatz als BF16. Es behält Über 99 % der BF16-Abrufgenauigkeit. Die NVFP4-Karte dokumentiert auch dynamische Einbettungsgrößen. Sie können den 2048-d-Vektor von Anfang an auf 1024 oder 512 Dimensionen aufteilen. Danach wieder normalisieren.

Interaktiver Erklärer: Der fünfstufige Abrufpfad

Beobachten Sie den Pfadverlauf, bevor Sie den Code berühren. Es animiert Präfixierung, bidirektionale Kodierung, durchschnittliches Pooling, L2-Normalisierung und Skalarproduktbewertung. Die Ergebnisse ergeben sich aus der veröffentlichten erwarteten Ausgabe jeder Karte.

Bereitstellungsmatrix

Wie aus dieser exemplarischen Vorgehensweise hervorgeht, teilen sich die Prüfpunkte keine Laufzeitpfade.

Neben den Kontrollpunkten veröffentlichte das NVIDIA-Forschungsteam eine optimierte Model NIM-Mikroservice für das 1B-Modell. Das Rust-basierte NIM entspricht oder übertrifft den vLLM-Checkpoint auf GB200 und RTX PRO 6000. NVIDIA hat Eingabesequenzlängen von 256 und 1024 getestet. Separat NVIDIA NeMo AutoModel Die Rezepte umfassen Feinabstimmung und Destillation.

Verwendung im Code

Unter Berücksichtigung dieser Pfade stehen Präfixe an erster Stelle. Anfragen nehmen question: und Dokumente nehmen passage: . Einbettungen sind L2-normalisiert, sodass das Skalarprodukt der Kosinusähnlichkeit entspricht.

# pip set up --upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"
import torch
from sentence_transformers import SentenceTransformer

QUERIES = ("How can somebody cut back publicity to pollen throughout allergy season?")
DOCUMENTS = ("Individuals with pollen allergy can cut back publicity by staying indoors "
             "on dry, windy days, avoiding early-morning out of doors exercise, and "
             "going outdoors after rain when pollen ranges are decrease.")

mannequin = SentenceTransformer(
    "nvidia/Nemotron-3-Embed-8B-BF16",
    gadget="cuda",
    model_kwargs={"dtype": torch.bfloat16,
                  # use "sdpa" if FlashAttention-2 is unavailable
                  "attn_implementation": "flash_attention_2"},
    processor_kwargs={"padding_side": "left"},
)
mannequin.max_seq_length = 32768

q = mannequin.encode_query(QUERIES, batch_size=1, convert_to_tensor=True)
d = mannequin.encode_document(DOCUMENTS, batch_size=1, convert_to_tensor=True)
print(mannequin.similarity(q, d))  # card's printed q(3)/d(3) rating: 0.8008

encode_query Und encode_document Lesen Sie die gespeicherten Eingabeaufforderungen. Sie fügen Präfixe additionally nie von Hand hinzu. Zum Servieren, /v2/embed wendet sie an input_type stattdessen:

vllm serve nvidia/Nemotron-3-Embed-1B-NVFP4 
  --max-model-len 4096 
  --max-num-batched-tokens 4096 
  --max-cudagraph-capture-size 4096

import numpy as np, requests

def embed(input_type: str, texts: record(str)) -> np.ndarray:
    r = requests.submit(
        "http://localhost:8000/v2/embed",
        json={"mannequin": "nvidia/Nemotron-3-Embed-1B-NVFP4",
              "input_type": input_type,          # "question" or "doc"
              "texts": texts,
              "embedding_types": ("float"),
              "truncate": "END"},
        timeout=120,
    )
    r.raise_for_status()
    return np.array(r.json()("embeddings")("float"), dtype=np.float32)

scores = embed("question", QUERIES) @ embed("doc", DOCUMENTS).T

Anwendungsfälle mit Beispielen

• Mehrsprachige Unternehmenssuche: Ein Help-Staff indiziert Hindi-, Japanisch- und Englisch-Tickets gemeinsam. Da der Abruf sprachübergreifend erfolgt, kann bei einer deutschen Abfrage ein japanischer Lösungshinweis angezeigt werden.
• Code-Abruf: Schulung inklusive coir_apps, coir_cosqa, synthetic_text2sqlund SWE-Financial institution. Die Suche von natürlicher Sprache in Code ähnelt daher eher der Verteilung.
• Agentenspeicher: Das Restrict von 32.768 Token ermöglicht es einem Agenten, lange Konversationszusammenfassungen ohne aggressives Chunking einzubetten.
• Kostengestufte RAG: Stellen Sie 1B-NVFP4 für den Rückruf großer Mengen bereit und leiten Sie harte Abfragen an 8B weiter. Da die Breiten unterschiedlich sind, sind zwei Indizes erforderlich.

Wichtige Erkenntnisse

• Nemotron-3-Embed-8B-BF16 belegt Platz 1 bei RTEB mit durchschnittlich 78,46 NDCG@10.
• Drei offene Kontrollpunkte umfassen 8B BF16, 1B BF16 und 1B NVFP4.
• NVFP4 behält über 99 % der BF16-Genauigkeit bei bis zu 2-fachem Blackwell-Durchsatz.
• Der 1B stammte aus der ModelOpt NAS-Beschneidung plus COS+MSE-Destillation aus dem 8B.
• Alle Kontrollpunkte verwenden OpenMDW-1.1 und unterstützen 32.768-Token-Eingaben.

Schauen Sie sich das an NVIDIA-Startbeitrag zu Hugging Face, Nemotron 3 Embed-Sammlung, 8B-BF16-Karte, 1B-BF16-Karte Und 1B-NVFP4-Karte. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 150k+ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Vernetzen Sie sich mit uns

Asif Razzaq ist CEO von Marktechpost Media Inc.. Als visionärer Unternehmer und Ingenieur setzt sich Asif dafür ein, das Potenzial der künstlichen Intelligenz für das soziale Wohl zu nutzen. Sein jüngstes Unterfangen ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch eine ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die sowohl technisch fundiert als auch für ein breites Publikum leicht verständlich ist. Die Plattform verfügt über mehr als 2 Millionen monatliche Aufrufe, was ihre Beliebtheit beim Publikum verdeutlicht.

Nvidia hat die Nemotron-Nano 2-Familie vorgestellt und eine Linie von hybriden Mamba-Transformator-Großsprachenmodellen (LLMs) eingeführt, die nicht nur hochmoderne Argumentationsgenauigkeit, sondern auch einen Durchsatz von bis zu 6 × höherer Inferenz liefern als Modelle ähnlicher Größe. Diese Veröffentlichung fällt mit beispielloser Transparenz in Daten und Methodik ab, da Nvidia neben Modellkontrollpunkten für die Neighborhood den größten Teil des Trainingskorpus und Rezepte bereitstellt. Kritischerweise halten diese Modelle eine large 128-km-Kontext-Fähigkeit bei einer einzelnen Midrange-GPU bei, wodurch die Hindernisse für das Langzeit-Argumentieren und die Bereitstellung realer Welt erheblich verringert werden.

Schlüsselhighlights

• 6 × Durchsatz im Vergleich zu Modellen in ähnlicher Größe: Nemotron-Nano-2-Modelle liefern bis zu 6,3 × die Geschwindigkeit der Token-Technology von Modellen wie Qwen3-8b in argumentationsstörenden Szenarien-ohne die Genauigkeit der Opferung.
• Überlegene Genauigkeit für Argumentation, Codierung und mehrsprachige Aufgaben: Benchmarks zeigen On-Par- oder bessere Ergebnisse im Vergleich zu wettbewerbsfähigen offenen Modellen, die Friends in Mathematik-, Code-, Instruments-Gebrauchs- und langkontextübergreifenden Aufgaben insbesondere übertreffen.
• 128k Kontextlänge auf einer einzelnen GPU: Effizientes Beschneiden und Hybridarchitektur ermöglichen es, 128.000 Token -Inferenz für eine einzelne NVIDIA A10G -GPU (22GIB) zu betreiben.
• Öffnen Sie Daten und Gewichte: Die meisten Datensätze für Vorab- und Nachtraining, einschließlich Code, Mathematik, mehrsprachiger, synthetischer SFT und Argumentationsdaten, werden mit zulässiger Lizenzierung auf dem Umarmungsgesicht veröffentlicht.

Hybridarchitektur: Mamba trifft Transformator

Nemotron Nano 2 basiert auf einem Hybrid-Mamba-Transformator-Rückgrat, das von der Nemotron-H-Architektur inspiriert ist. Die meisten traditionellen Selbstbekämpfungsschichten werden durch effiziente MAMBA-2-Schichten ersetzt, wobei nur etwa 8% der Gesamtschichten Selbstbekämpfung unterliegen. Diese Architektur wird sorgfältig gefertigt:

• Modelldetails: Das 9B-Parameter-Modell verfügt über 56 Schichten (aus einem vorgebliebenen 62), einer versteckten Größe von 4480 mit Aufmerksamkeit mit Gruppiergraden und Raumschichten von Mamba-2-Staaten, die sowohl Skalierbarkeit als auch lange Sequenzretention erleichtert.
• Mamba-2-Innovationen: Diese staatlichen Raumschichten, die kürzlich als Hochdurchsatz-Sequenzmodelle populär gemacht wurden, sind mit einer spärlichen Selbstbekämpfung (zur Erhaltung von Abhängigkeiten von Langstrecken) und großen Feed-Ahead-Netzwerken verschachtelt.

Diese Struktur ermöglicht einen hohen Durchsatz bei den Argumentationsaufgaben, die „Denkspuren“ erfordern-langwierige Generationen, die auf langen, kontextbezogenen Eingaben basieren-, bei denen herkömmliche transformatorbasierte Architekturen häufig verlangsamen oder das Gedächtnis verlassen.

Trainingsrezept: Large Datenvielfalt, Open Sourcing

Nemotron-Nano-2-Modelle werden aus einem 12B-Parameter-Lehrermodell unter Verwendung eines umfangreichen, hochwertigen Korpus geschult und destilliert. Die beispiellose Datentransparenz von Nvidia ist ein Spotlight:

• 20t Tokens Vorbereitung: Zu den Datenquellen gehören kuratierte und synthetische Korpora für Net-, Mathematik-, Code-, mehrsprachige, akademische und STEM -Domänen.
• Hauptdatensätze veröffentlicht:
  • Nemotron-CC-V2: Mehrsprachiger Webcrawl (15 Sprachen), synthetische Q & A -Reformierung, Deduplizierung.
  • Nemotron-cc-Math: 133B -Token von Mathematikinhalten, standardisiert auf Latex, über 52B „höchste Qualität“ -Subset.
  • Nemotron-Pretraining-Code: Kuratierter und qualitativ hochwertiger Github-Quellcode; strenge Dekontamination und Deduplizierung.
  • Nemotron-Pretraining-Sft: Synthetische, Anweisungsverfolgungsdatensätze in den Bereichen STEM, Argumentation und allgemeine Bereiche.
• Daten nach der Ausbildung: Beinhaltet über 80B-Token von beaufsichtigten Feinabstimmungen (SFT), RLHF, Werkzeuganhänger und mehrsprachige Datensätze, von denen die meisten zur direkten Reproduzierbarkeit offen sind.

Ausrichtung, Destillation und Komprimierung: Kosten effektive, lang Kontext-Argumentation freischalten

Der Modellkomprimierungsprozess von NVIDIA basiert auf den Frameworks „Minitron“ und Mamba -Schnitt:

• Wissensdestillation Aus dem 12B -Lehrer reduziert der Modell das Modell auf 9B -Parameter, wobei die Schichten, die FFN -Abmessungen und die Einbettungsbreite sorgfältig beschnitten werden.
• Mehrstufiger SFT und RL: Beinhaltet die Optimierung der Software-Calling-Optimierung (BFCL V3), Anweisungen (IFEVAL), DPO- und GRPO-Verstärkung sowie „Denkbudget“ -Kontrolle (Unterstützung für kontrollierbare Argumentationsbudgets bei Inferenz).
• Reminiscence-Focused NAS: Durch die Architektursuche sind die beschnittenen Modelle spezifisch so konstruiert, dass das Modell und der Schlüsselwertcache in der A10G-GPU-Speicher mit einer Kontextlänge von 128 km belegen-und bleiben-.

Das Ergebnis: Inferenzgeschwindigkeiten von bis zu 6 × schneller als offene Konkurrenten in Szenarien mit großen Eingangs-/Ausgangs -Token ohne kompromittierte Aufgabengenauigkeit.

Benchmarking: Überlegene Argumentation und mehrsprachige Fähigkeiten

In Kopf-an-Kopf-Bewertungen Excel: Nemotron Nano 2-Modelle:

• Durchsatz (Token/S/GPU) bei 8K -Eingang/16K -Ausgabe:
  • Nemotron-Nano-9b-V2: bis zu 6,3 × QWEN3-8b in Argumentationsspuren.
  • Hält bis zu 128K-Kontext mit Stapelgröße = 1-im Midrange-GPUs.

Abschluss

Nvidia Nemotron Nano 2 Launch ist ein wichtiger Second für offene LLM-Forschung: Es definiert das, was für eine einzelne kostengünstige GPU möglich ist-sowohl in der Geschwindigkeit als auch in der Kontextkapazität-und erhöht die Balken für Datentransparenz und Reproduzierbarkeit. Seine Hybridarchitektur, die Vorherrschaft der Durchsatz und die hochwertigen offenen Datensätze werden in die Innovation im gesamten AI-Ökosystem beschleunigt.

Schauen Sie sich das an Technische ParticularsAnwesend Papier Und Fashions auf dem Umarmung des Gesichts. Fühlen Sie sich frei, unsere zu überprüfen Github -Seite für Tutorials, Codes und Notizbücher. Fühlen Sie sich auch frei, uns zu folgen Twitter Und vergessen Sie nicht, sich unserer anzuschließen 100k+ ml Subreddit und abonnieren Unser E-newsletter.

Asif Razzaq ist der CEO von Marktechpost Media Inc. Sein jüngstes Bestreben ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch die ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die von einem breiten Publikum technisch intestine und leicht verständlich sind. Die Plattform verfügt über über 2 Millionen monatliche Ansichten und veranschaulicht ihre Beliebtheit des Publikums.