Einbettungsmodelle entscheiden darüber, welche Passagen ein Agent jemals sieht. NVIDIA veröffentlicht Nemotron 3 Embed-Modell um an dieser Ebene zu arbeiten. Es zielt auf RAG im Produktionsmaßstab, Agentenabruf, Codeabruf und Agentenspeicher ab.
Was ist Nemotron 3 Embed?
Die Modellsammlung umfasst drei offene Kontrollpunkte. Nemotron-3-Embed-8B-BF16 ist die Choice, bei der die Genauigkeit an erster Stelle steht. Nemotron-3-Embed-1B-BF16 vereint das gleiche Design auf kleinerer Stellfläche. Nemotron-3-Embed-1B-NVFP4 ist der Blackwell-optimierte 4-Bit-Pfad.
Bei allen drei handelt es sich um transformatorische Encoder, mit denen trainiert wird bidirektionale Aufmerksamkeitsmaskierung. Die endgültige Einbettung erfolgt aus durchschnittliches Pooling über Darstellungen auf Token-Ebene. Die maximale Sequenzlänge beträgt 32.768 Token an jedem Kontrollpunkt.
Jedes Modell wurde in 34 Sprachen evaluiert. Alle drei tragen das OpenMDW-Lizenzvereinbarung, Model 1.1 (OpenMDW-1.1). Bemerkenswert ist, dass es sich bei den Basen um Mistral-Modelle handelt. Der 8B ist mit gebaut Ministral-3-8B-Instruct-2512. Beide 1B-Varianten nutzen Ministral-3-3B-Instruct-2512.
Leistung
Nemotron-3-Embed-8B-BF16 Ränge Nr. 1 insgesamt auf RTEB (Stand: 17. Juli 2026), der Retrieval Embedding Benchmark. Die Evaluierung umfasst ihre 16 öffentlichen Aufgaben. Alle folgenden Zahlen sind durchschnittliche NDCG@10 bei einer Modellsequenzlänge von 4096.
| Modell | Parameter | Emb dim | RTEB | ViDoRe-V3-Textual content | MMTEB (Abruf) |
|---|---|---|---|---|---|
| Nemotron-3-Embed-8B-BF16 | ~8B | 4096 | 78,46 | 60,60 | 75,45 |
| Nemotron-3-Embed-1B-BF16 | 1,14B | 2048 | 72,38 | 57,74 | 71.04 |
| Nemotron-3-Embed-1B-NVFP4 | 1,14B | 2048 | 72,00 | — | — |
| Lama-nemotron-embed-vl-1b-v2 | — | — | 61,98 | 52,54 | 59,71 |
| Lama-nemotron-embed-1b-v2 | — | — | 60,47 | 52.10 | 59,58 |
Zwei Lücken sind erwähnenswert. Der 1B gewinnt 10,4 RTEB-Punkte über llama-nemotron-embed-vl-1b-v2die Basislinie der vorherigen Era. Unabhängig davon kostet NVFP4 0,38 RTEB-Punkte gegenüber seinem BF16-Mutterunternehmen oder 99,5 % Retention.
Wie das 1B-Modell gebaut wurde?
Diese 1B-Ergebnisse stammen aus einer Komprimierungspipeline und nicht aus einem kleineren Trainingslauf. Der Elternteil warfare nemotron-3-embed-3bbeschnitten und über zwei Iterationsrunden destilliert.
Zuerst wurde der 3B-Elternteil mit auf 2B beschnitten NVIDIA ModelOpt mcore_minitron Neural Structure Search (NAS). Die Suche umfasst versteckte Breite, FFN-Größe, Aufmerksamkeitspunkte und Tiefe. Anschließend wird der beste Kandidat aus der Prime-10-Pareto-Entrance ausgewählt. Diese Kandidaten wurden mit einem 50.000 domäneninternen Kalibrierungskorpus bewertet.
Als nächstes wurde das 2B-Modell aus dem fein abgestimmten 8B-Einbettungslehrer destilliert. Destillation kombiniert Kosinus-Distanzverlust (COS) Und mittlerer quadratischer Fehler (MSE) Verlust. Die Datenmischung warfare mehrsprachig und domänenintern. Schließlich wurde derselbe Vorgang wiederholt, um den 1.14B-Kontrollpunkt zu erzeugen.
Der NVFP4-Serving-Kompromiss
Die Komprimierung wird dann im Bereitstellungsformat fortgesetzt. Die Quantisierung trifft nur Gewichte und Aktivierungen linearer Ebenen und zielt auf die NVFP4 Datentyp. Das Forschungsteam verwendete nvidia-modelopt v0.45.0. Quantisierungsbewusste Destillation (QAD) befolgt, hauptsächlich um die Genauigkeit bei langen Eingaben wiederherzustellen.
Für die Kalibrierung wurden 512 Proben verwendet: 256 Abfragen und 256 Passagen von abisee/cnn_dailymail. Beim QAD-Coaching wurden 20.000 Proben verwendet.
Das Forschungsteam berichtet, dass Blackwell NVFP4 liefert bis zu 2x höherer Durchsatz als BF16. Es behält Über 99 % der BF16-Abrufgenauigkeit. Die NVFP4-Karte dokumentiert auch dynamische Einbettungsgrößen. Sie können den 2048-d-Vektor von Anfang an auf 1024 oder 512 Dimensionen aufteilen. Danach wieder normalisieren.
Interaktiver Erklärer: Der fünfstufige Abrufpfad
Beobachten Sie den Pfadverlauf, bevor Sie den Code berühren. Es animiert Präfixierung, bidirektionale Kodierung, durchschnittliches Pooling, L2-Normalisierung und Skalarproduktbewertung. Die Ergebnisse ergeben sich aus der veröffentlichten erwarteten Ausgabe jeder Karte.
Bereitstellungsmatrix
Wie aus dieser exemplarischen Vorgehensweise hervorgeht, teilen sich die Prüfpunkte keine Laufzeitpfade.
| Besonderheit | 8B-BF16 | 1B-BF16 | 1B-NVFP4 |
|---|---|---|---|
| Transformers / Satztransformatoren | Ja | Ja | NEIN |
vLLM für /v2/embed |
0,25,0 | 0,25,0 | 0,25,0 |
| Mikroarchitekturen | Ampere, Hopper, Blackwell | Ampere, Hopper, Blackwell | Ampere, Hopper, Lovelace, Blackwell |
| Testen Sie die {Hardware} | A100 80 GB, H100 80 GB | A100 80 GB, H100 80 GB | GB200, RTX 6000 PRO, A100, H100, L40, L4 |
| Trainingsdaten | Über 50 Millionen Proben | 8,5 Mio.+ (Destillation) | 20.000 (QAD) |
Neben den Kontrollpunkten veröffentlichte das NVIDIA-Forschungsteam eine optimierte Model NIM-Mikroservice für das 1B-Modell. Das Rust-basierte NIM entspricht oder übertrifft den vLLM-Checkpoint auf GB200 und RTX PRO 6000. NVIDIA hat Eingabesequenzlängen von 256 und 1024 getestet. Separat NVIDIA NeMo AutoModel Die Rezepte umfassen Feinabstimmung und Destillation.
Verwendung im Code
Unter Berücksichtigung dieser Pfade stehen Präfixe an erster Stelle. Anfragen nehmen question: und Dokumente nehmen passage: . Einbettungen sind L2-normalisiert, sodass das Skalarprodukt der Kosinusähnlichkeit entspricht.
# pip set up --upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"
import torch
from sentence_transformers import SentenceTransformer
QUERIES = ("How can somebody cut back publicity to pollen throughout allergy season?")
DOCUMENTS = ("Individuals with pollen allergy can cut back publicity by staying indoors "
"on dry, windy days, avoiding early-morning out of doors exercise, and "
"going outdoors after rain when pollen ranges are decrease.")
mannequin = SentenceTransformer(
"nvidia/Nemotron-3-Embed-8B-BF16",
gadget="cuda",
model_kwargs={"dtype": torch.bfloat16,
# use "sdpa" if FlashAttention-2 is unavailable
"attn_implementation": "flash_attention_2"},
processor_kwargs={"padding_side": "left"},
)
mannequin.max_seq_length = 32768
q = mannequin.encode_query(QUERIES, batch_size=1, convert_to_tensor=True)
d = mannequin.encode_document(DOCUMENTS, batch_size=1, convert_to_tensor=True)
print(mannequin.similarity(q, d)) # card's printed q(3)/d(3) rating: 0.8008encode_query Und encode_document Lesen Sie die gespeicherten Eingabeaufforderungen. Sie fügen Präfixe additionally nie von Hand hinzu. Zum Servieren, /v2/embed wendet sie an input_type stattdessen:
vllm serve nvidia/Nemotron-3-Embed-1B-NVFP4
--max-model-len 4096
--max-num-batched-tokens 4096
--max-cudagraph-capture-size 4096import numpy as np, requests
def embed(input_type: str, texts: record(str)) -> np.ndarray:
r = requests.submit(
"http://localhost:8000/v2/embed",
json={"mannequin": "nvidia/Nemotron-3-Embed-1B-NVFP4",
"input_type": input_type, # "question" or "doc"
"texts": texts,
"embedding_types": ("float"),
"truncate": "END"},
timeout=120,
)
r.raise_for_status()
return np.array(r.json()("embeddings")("float"), dtype=np.float32)
scores = embed("question", QUERIES) @ embed("doc", DOCUMENTS).TAnwendungsfälle mit Beispielen
- Mehrsprachige Unternehmenssuche: Ein Help-Staff indiziert Hindi-, Japanisch- und Englisch-Tickets gemeinsam. Da der Abruf sprachübergreifend erfolgt, kann bei einer deutschen Abfrage ein japanischer Lösungshinweis angezeigt werden.
- Code-Abruf: Schulung inklusive
coir_apps,coir_cosqa,synthetic_text2sqlund SWE-Financial institution. Die Suche von natürlicher Sprache in Code ähnelt daher eher der Verteilung. - Agentenspeicher: Das Restrict von 32.768 Token ermöglicht es einem Agenten, lange Konversationszusammenfassungen ohne aggressives Chunking einzubetten.
- Kostengestufte RAG: Stellen Sie 1B-NVFP4 für den Rückruf großer Mengen bereit und leiten Sie harte Abfragen an 8B weiter. Da die Breiten unterschiedlich sind, sind zwei Indizes erforderlich.
Wichtige Erkenntnisse
- Nemotron-3-Embed-8B-BF16 belegt Platz 1 bei RTEB mit durchschnittlich 78,46 NDCG@10.
- Drei offene Kontrollpunkte umfassen 8B BF16, 1B BF16 und 1B NVFP4.
- NVFP4 behält über 99 % der BF16-Genauigkeit bei bis zu 2-fachem Blackwell-Durchsatz.
- Der 1B stammte aus der ModelOpt NAS-Beschneidung plus COS+MSE-Destillation aus dem 8B.
- Alle Kontrollpunkte verwenden OpenMDW-1.1 und unterstützen 32.768-Token-Eingaben.
Schauen Sie sich das an NVIDIA-Startbeitrag zu Hugging Face, Nemotron 3 Embed-Sammlung, 8B-BF16-Karte, 1B-BF16-Karte Und 1B-NVFP4-Karte. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 150k+ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.
Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Vernetzen Sie sich mit uns
Asif Razzaq ist CEO von Marktechpost Media Inc.. Als visionärer Unternehmer und Ingenieur setzt sich Asif dafür ein, das Potenzial der künstlichen Intelligenz für das soziale Wohl zu nutzen. Sein jüngstes Unterfangen ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch eine ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die sowohl technisch fundiert als auch für ein breites Publikum leicht verständlich ist. Die Plattform verfügt über mehr als 2 Millionen monatliche Aufrufe, was ihre Beliebtheit beim Publikum verdeutlicht.