Einbettungsmodelle entscheiden darüber, welche Passagen ein Agent jemals sieht. NVIDIA veröffentlicht Nemotron 3 Embed-Modell um an dieser Ebene zu arbeiten. Es zielt auf RAG im Produktionsmaßstab, Agentenabruf, Codeabruf und Agentenspeicher ab.

Was ist Nemotron 3 Embed?

Die Modellsammlung umfasst drei offene Kontrollpunkte. Nemotron-3-Embed-8B-BF16 ist die Choice, bei der die Genauigkeit an erster Stelle steht. Nemotron-3-Embed-1B-BF16 vereint das gleiche Design auf kleinerer Stellfläche. Nemotron-3-Embed-1B-NVFP4 ist der Blackwell-optimierte 4-Bit-Pfad.

Bei allen drei handelt es sich um transformatorische Encoder, mit denen trainiert wird bidirektionale Aufmerksamkeitsmaskierung. Die endgültige Einbettung erfolgt aus durchschnittliches Pooling über Darstellungen auf Token-Ebene. Die maximale Sequenzlänge beträgt 32.768 Token an jedem Kontrollpunkt.

Jedes Modell wurde in 34 Sprachen evaluiert. Alle drei tragen das OpenMDW-Lizenzvereinbarung, Model 1.1 (OpenMDW-1.1). Bemerkenswert ist, dass es sich bei den Basen um Mistral-Modelle handelt. Der 8B ist mit gebaut Ministral-3-8B-Instruct-2512. Beide 1B-Varianten nutzen Ministral-3-3B-Instruct-2512.

Leistung

Nemotron-3-Embed-8B-BF16 Ränge Nr. 1 insgesamt auf RTEB (Stand: 17. Juli 2026), der Retrieval Embedding Benchmark. Die Evaluierung umfasst ihre 16 öffentlichen Aufgaben. Alle folgenden Zahlen sind durchschnittliche NDCG@10 bei einer Modellsequenzlänge von 4096.

Zwei Lücken sind erwähnenswert. Der 1B gewinnt 10,4 RTEB-Punkte über llama-nemotron-embed-vl-1b-v2die Basislinie der vorherigen Era. Unabhängig davon kostet NVFP4 0,38 RTEB-Punkte gegenüber seinem BF16-Mutterunternehmen oder 99,5 % Retention.

Wie das 1B-Modell gebaut wurde?

Diese 1B-Ergebnisse stammen aus einer Komprimierungspipeline und nicht aus einem kleineren Trainingslauf. Der Elternteil warfare nemotron-3-embed-3bbeschnitten und über zwei Iterationsrunden destilliert.

Zuerst wurde der 3B-Elternteil mit auf 2B beschnitten NVIDIA ModelOpt mcore_minitron Neural Structure Search (NAS). Die Suche umfasst versteckte Breite, FFN-Größe, Aufmerksamkeitspunkte und Tiefe. Anschließend wird der beste Kandidat aus der Prime-10-Pareto-Entrance ausgewählt. Diese Kandidaten wurden mit einem 50.000 domäneninternen Kalibrierungskorpus bewertet.

Als nächstes wurde das 2B-Modell aus dem fein abgestimmten 8B-Einbettungslehrer destilliert. Destillation kombiniert Kosinus-Distanzverlust (COS) Und mittlerer quadratischer Fehler (MSE) Verlust. Die Datenmischung warfare mehrsprachig und domänenintern. Schließlich wurde derselbe Vorgang wiederholt, um den 1.14B-Kontrollpunkt zu erzeugen.

Der NVFP4-Serving-Kompromiss

Die Komprimierung wird dann im Bereitstellungsformat fortgesetzt. Die Quantisierung trifft nur Gewichte und Aktivierungen linearer Ebenen und zielt auf die NVFP4 Datentyp. Das Forschungsteam verwendete nvidia-modelopt v0.45.0. Quantisierungsbewusste Destillation (QAD) befolgt, hauptsächlich um die Genauigkeit bei langen Eingaben wiederherzustellen.

Für die Kalibrierung wurden 512 Proben verwendet: 256 Abfragen und 256 Passagen von abisee/cnn_dailymail. Beim QAD-Coaching wurden 20.000 Proben verwendet.

Das Forschungsteam berichtet, dass Blackwell NVFP4 liefert bis zu 2x höherer Durchsatz als BF16. Es behält Über 99 % der BF16-Abrufgenauigkeit. Die NVFP4-Karte dokumentiert auch dynamische Einbettungsgrößen. Sie können den 2048-d-Vektor von Anfang an auf 1024 oder 512 Dimensionen aufteilen. Danach wieder normalisieren.

Interaktiver Erklärer: Der fünfstufige Abrufpfad

Beobachten Sie den Pfadverlauf, bevor Sie den Code berühren. Es animiert Präfixierung, bidirektionale Kodierung, durchschnittliches Pooling, L2-Normalisierung und Skalarproduktbewertung. Die Ergebnisse ergeben sich aus der veröffentlichten erwarteten Ausgabe jeder Karte.

Bereitstellungsmatrix

Wie aus dieser exemplarischen Vorgehensweise hervorgeht, teilen sich die Prüfpunkte keine Laufzeitpfade.

Neben den Kontrollpunkten veröffentlichte das NVIDIA-Forschungsteam eine optimierte Model NIM-Mikroservice für das 1B-Modell. Das Rust-basierte NIM entspricht oder übertrifft den vLLM-Checkpoint auf GB200 und RTX PRO 6000. NVIDIA hat Eingabesequenzlängen von 256 und 1024 getestet. Separat NVIDIA NeMo AutoModel Die Rezepte umfassen Feinabstimmung und Destillation.

Verwendung im Code

Unter Berücksichtigung dieser Pfade stehen Präfixe an erster Stelle. Anfragen nehmen question: und Dokumente nehmen passage: . Einbettungen sind L2-normalisiert, sodass das Skalarprodukt der Kosinusähnlichkeit entspricht.

# pip set up --upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"
import torch
from sentence_transformers import SentenceTransformer

QUERIES = ("How can somebody cut back publicity to pollen throughout allergy season?")
DOCUMENTS = ("Individuals with pollen allergy can cut back publicity by staying indoors "
             "on dry, windy days, avoiding early-morning out of doors exercise, and "
             "going outdoors after rain when pollen ranges are decrease.")

mannequin = SentenceTransformer(
    "nvidia/Nemotron-3-Embed-8B-BF16",
    gadget="cuda",
    model_kwargs={"dtype": torch.bfloat16,
                  # use "sdpa" if FlashAttention-2 is unavailable
                  "attn_implementation": "flash_attention_2"},
    processor_kwargs={"padding_side": "left"},
)
mannequin.max_seq_length = 32768

q = mannequin.encode_query(QUERIES, batch_size=1, convert_to_tensor=True)
d = mannequin.encode_document(DOCUMENTS, batch_size=1, convert_to_tensor=True)
print(mannequin.similarity(q, d))  # card's printed q(3)/d(3) rating: 0.8008

encode_query Und encode_document Lesen Sie die gespeicherten Eingabeaufforderungen. Sie fügen Präfixe additionally nie von Hand hinzu. Zum Servieren, /v2/embed wendet sie an input_type stattdessen:

vllm serve nvidia/Nemotron-3-Embed-1B-NVFP4 
  --max-model-len 4096 
  --max-num-batched-tokens 4096 
  --max-cudagraph-capture-size 4096

import numpy as np, requests

def embed(input_type: str, texts: record(str)) -> np.ndarray:
    r = requests.submit(
        "http://localhost:8000/v2/embed",
        json={"mannequin": "nvidia/Nemotron-3-Embed-1B-NVFP4",
              "input_type": input_type,          # "question" or "doc"
              "texts": texts,
              "embedding_types": ("float"),
              "truncate": "END"},
        timeout=120,
    )
    r.raise_for_status()
    return np.array(r.json()("embeddings")("float"), dtype=np.float32)

scores = embed("question", QUERIES) @ embed("doc", DOCUMENTS).T

Anwendungsfälle mit Beispielen

• Mehrsprachige Unternehmenssuche: Ein Help-Staff indiziert Hindi-, Japanisch- und Englisch-Tickets gemeinsam. Da der Abruf sprachübergreifend erfolgt, kann bei einer deutschen Abfrage ein japanischer Lösungshinweis angezeigt werden.
• Code-Abruf: Schulung inklusive coir_apps, coir_cosqa, synthetic_text2sqlund SWE-Financial institution. Die Suche von natürlicher Sprache in Code ähnelt daher eher der Verteilung.
• Agentenspeicher: Das Restrict von 32.768 Token ermöglicht es einem Agenten, lange Konversationszusammenfassungen ohne aggressives Chunking einzubetten.
• Kostengestufte RAG: Stellen Sie 1B-NVFP4 für den Rückruf großer Mengen bereit und leiten Sie harte Abfragen an 8B weiter. Da die Breiten unterschiedlich sind, sind zwei Indizes erforderlich.

Wichtige Erkenntnisse

• Nemotron-3-Embed-8B-BF16 belegt Platz 1 bei RTEB mit durchschnittlich 78,46 NDCG@10.
• Drei offene Kontrollpunkte umfassen 8B BF16, 1B BF16 und 1B NVFP4.
• NVFP4 behält über 99 % der BF16-Genauigkeit bei bis zu 2-fachem Blackwell-Durchsatz.
• Der 1B stammte aus der ModelOpt NAS-Beschneidung plus COS+MSE-Destillation aus dem 8B.
• Alle Kontrollpunkte verwenden OpenMDW-1.1 und unterstützen 32.768-Token-Eingaben.

Schauen Sie sich das an NVIDIA-Startbeitrag zu Hugging Face, Nemotron 3 Embed-Sammlung, 8B-BF16-Karte, 1B-BF16-Karte Und 1B-NVFP4-Karte. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 150k+ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Vernetzen Sie sich mit uns

Asif Razzaq ist CEO von Marktechpost Media Inc.. Als visionärer Unternehmer und Ingenieur setzt sich Asif dafür ein, das Potenzial der künstlichen Intelligenz für das soziale Wohl zu nutzen. Sein jüngstes Unterfangen ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch eine ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die sowohl technisch fundiert als auch für ein breites Publikum leicht verständlich ist. Die Plattform verfügt über mehr als 2 Millionen monatliche Aufrufe, was ihre Beliebtheit beim Publikum verdeutlicht.

Wenn Sie auch nur ein wenig von KI-Sprachmodellen besessen sind, sollten Sie sich Qwen3-TTS-Flash nicht entgehen lassen. Es handelt sich um das neue Flaggschiff-Textual content-to-Speech-System von Qwen, das für die Erzeugung natürlicher, ausdrucksstarker und menschenähnlicher Sprache in über 49 Lauten, 10 Sprachen und 9 chinesischen Dialekten entwickelt wurde. Dieses Modell richtet sich an Kreative, Entwickler, Pädagogen und alle, die Stimmen in Studioqualität wünschen, ohne Synchronsprecher einzustellen oder teure Instruments zu kaufen.

Und das Beste daran? Sie können es direkt über die Qwen-API verwenden.

In diesem Artikel erkläre ich, was das Modell besonders macht, warum diese Updates wichtig sind und wie Sie es nutzen können.

Was ist neu in Qwen3-TTS Flash?

Qwen3-TTS-Flash ist ein Flaggschiff-Textual content-to-Speech-Modell, das als Teil der Qwen3-Serie veröffentlicht wurde. Der Schwerpunkt liegt auf der natürlichen, ausdrucksstarken und mehrsprachigen Stimmerzeugung. Das Modell unterstützt die Synthese mehrerer Klangfarben, mehrerer Sprachen und mehrerer Dialekte, was bedeutet, dass Sie mit demselben Modell Sprache in verschiedenen Stilen, Akzenten und Sprachen erzeugen können.

Im Gegensatz zu älteren TTS-Systemen liest Qwen3-TTS-Flash nicht nur den Textual content. Es versteht Ton, Tempo, Emotionen, Persönlichkeit und Absicht. Die Ergebnisse klingen ruhig, dramatisch, unbeschwert, kindisch, gebieterisch, heat oder verspielt. Es reagiert sowohl auf den Inhalt des Textes als auch auf den gewünschten Stil.

Über 49 hochwertige Sounds

Das erste, was Qwen3-TTS-Flash auszeichnet, ist die Vielfalt der Stimmen. Das Modell unterstützt 49 ausdrucksstarke Klangfarben. Das sind keine einfachen Stimmen. Sie sind ausgereifte Charakterpersönlichkeiten mit emotionaler Bandbreite und Identität.

Sie erhalten sanfte Gesprächsstimmen, tiefe, reife Stimmen, kindliche Töne, Charaktere im Anime-Stil, herzliche Erzähler, strenge Lehrer, freundliche Begleiter und mehr. Dies macht es nützlich für Lern-Apps, Podcasts, Spielfiguren, Markenvideos, Storytelling und virtuelle Assistenten.

Einige Beispiele sind:

• Momo, der energisch und verspielt klingt
• Ono Anna, die freundlich und heat klingt
• Vivian, die einen stolzen, selbstbewussten Ton hat
• Eldric Sage, der älter und weiser klingt
• Bunny, der süß und ausdrucksstark klingt
• Elias, der streng und förmlich spricht

Jede Stimme trägt Persönlichkeit in sich. Sie können die Unterschiede in Einstellung, Alter und Energie spüren. Viele andere TTS-Modelle klingen, als würden sie dieselbe Basisstimme mit unterschiedlichen Filtern verwenden. Qwen3-TTS-Flash erstellt tatsächlich Charaktere.

Lesen Sie auch: Die 9 besten Open-Supply-Textual content-to-Speech-Modelle (TTS).

Echte mehrsprachige Sprachsynthese

Qwen3 TTS Flash funktioniert in 10 Hauptsprachen. Dazu gehören Chinesisch, Englisch, Deutsch, Italienisch, Portugiesisch, Spanisch, Japanisch, Koreanisch, Französisch und Russisch. Das Modell schneidet bei Genauigkeitstests intestine ab. Es erreicht eine niedrigere Wortfehlerrate als Systeme wie MiniMax, ElevenLabs und GPT 4o Audio Preview. Dies ist ein großer Vorteil für Groups, die globale Inhalte oder Produkte erstellen.

Dialekte

Dieses Modell beherrscht nicht nur Sprachen, es beherrscht auch Dialekte wunderbar.

Es unterstützt:

• Mandarin
• Kantonesisch
• Hokkien
• Sichuanesisch
• Shaanxi
• Wu
• Peking
• Tianjin
• Nanjing

Regionale Sprache wird mit korrektem Ton, Rhythmus, Kadenz, Umgangssprache und dem Charme nachgebildet, der bei generischen TTS-Modellen normalerweise verloren geht.

Bessere Kontrolle der Sprechgeschwindigkeit

Frühere TTS-Modelle hatten oft Probleme mit der Prosodie, was dazu führte, dass sich die Stimmen mechanisch oder zu flach anfühlten. Qwen3-TTS-Flash macht einen großen Schritt nach vorne, indem es dies deutlich verbessert. Anstatt Textual content in einem einheitlichen Rhythmus zu lesen, passt das Modell Ton und Tempo je nach Bedeutung an. Pausen entstehen ganz natürlich in Momenten, in denen ein menschlicher Sprecher innehalten würde. Emotionale Abschnitte werden subtil betont und das Modell ändert die Geschwindigkeit je nach Stimmung des Satzes.

Der Rhythmus fühlt sich natürlich an. Die Sprechgeschwindigkeit passt sich an. Die Ausgabe ist flüssig und leicht anzuhören.

Wie greife ich auf das Qwen TTS-Modell zu?

Abhängig von Ihrem Arbeitsablauf können Sie auf zwei Arten auf Qwen3-TTS zugreifen:

Verwendung der Qwen-API

Dies ist die offizielle und zuverlässigste Methode.

Sie benötigen lediglich:

• Ein DashScope-API-Schlüssel von der Alibaba Cloud-Plattform
• Das DashScope Python SDK

Beispielcode:

import os
import requests
import dashscope

textual content = "Let me advocate a T shirt to everybody. This one is basically good wanting and the colour is stylish."

response = dashscope.MultiModalConversation.name(
    mannequin="qwen3-tts-flash-2025-11-27",
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    textual content=textual content,
    voice="Ryan",
    language_type="English",
    stream=False
)

audio_url = response.output.audio.url
save_path = "audio.wav"

strive:
    r = requests.get(audio_url)
    r.raise_for_status()
    with open(save_path, 'wb') as f:
        f.write(r.content material)
    print("Saved to", save_path)
besides Exception as e:
    print("Error:", str(e))

Hugging Face verwenden (kostenlose Testversion)

Qwen bietet eine kostenlose Demo zu Hugging Face Areas an, in der Sie:

• Textual content einfügen
• Wählen Sie eine Stimme aus
• Hören Sie sich das generierte Audio an oder laden Sie es herunter

Diese Model eignet sich intestine zum Testen, aber die kostenpflichtige API bietet eine viel höhere Wiedergabetreue, eine stabilere Prosodie und eine schnellere Generierung. Klicken Sie hier, um es auszuprobieren!

Probieren wir es aus!

Um zu verstehen, wie sich Qwen3-TTS-Flash in realen Szenarien verhält, habe ich es mit drei verschiedenen Skripten und drei verschiedenen Stimmen getestet. Jede Aufgabe zielt auf einen einzigartigen Sprechstil ab: Werbung, Erzählung und professionelle Berufsberatung. Hier ist, was ich gefunden habe.

Aufgabe 1: Werbeskript (Stimme: Vivian, Sprache: Englisch)

Verwendetes Skript:

Hören Sie für eine Sekunde auf zu scrollen. Wenn Sie das hören, müssen Sie aufhören, für teure KI-Bootcamps zu bezahlen.

Analytics Vidhya hat eine riesige Bibliothek mit kostenlosen Kursen geöffnet, die Sie sehen müssen. Ich spreche von vollständigen Lehrplänen zu Python und SQL sowie von hochmodernen Technologien wie generativer KI, RAG-Systemen und KI-Agenten.

Warum es tun? Da es sich um praxisorientiertes Programmieren handelt, ist es absolut auf dem neuesten Stand, und ja – Sie erhalten kostenlose Zertifikate für Ihren Lebenslauf.

Dies ist Ihr Karriere-Cheat-Code. Gehen Sie jetzt zu Analytics Vidhya dot com und beginnen Sie noch heute mit dem Aufbau Ihrer Zukunft.

Ausgabe:

Meine Rezension

Vivians Timbre kam mit diesem Drehbuch im Promo-Stil hervorragend zurecht. Die Energie conflict klar, ohne übertrieben zu klingen. Das Modell behielt ein gleichmäßiges Tempo bei, betonte die richtigen Formulierungen und lieferte einen überzeugenden Name-to-Motion. Die Aussprache conflict klar und die Übergänge zwischen den Sätzen fühlten sich natürlich an. Diese Ausgabe ist stark genug für Marketingvideos, Instagram-Reels oder YouTube-Anzeigen, ohne dass eine zusätzliche Bearbeitung erforderlich ist.

Aufgabe 2: Narratives + reflektierendes Drehbuch (Stimme: Chelsie, Sprache: Englisch)

Verwendetes Skript:

Stellen Sie sich vor, Sie wachen in einer Welt auf, in der sich Ihr Zeitplan einfach von selbst verwaltet. Keine störenden Alarme mehr, nur ein sanfter Anstieg der Beleuchtung, um Ihren Tag zu beginnen.

In der modernen Zeit ist künstliche Intelligenz nicht nur ein Schlagwort; es ist in den Stoff unseres täglichen Lebens eingewebt. Von der Organisation komplexer Daten mit 5G-Geschwindigkeit bis hin zum Fahren autonomer Fahrzeuge ist Automatisierung der neue Commonplace.

Aber die wichtige Frage bleibt: Bringt uns diese Technologie näher zusammen oder treibt sie uns weiter auseinander? Es ist an der Zeit, die Artwork und Weise zu überdenken, wie wir uns im digitalen Zeitalter vernetzen. Willkommen zum nächsten Kapitel.

Ausgabe:

Meine Rezension:

Chelsie hat den nachdenklichen Ton wunderbar gemeistert. Die Stimme vermittelte emotionale Wärme, perfekt für Storytelling, Produktdemos oder Movies im Dokumentarfilmstil. Das Tempo wurde in den richtigen Momenten verlangsamt, was dem Drehbuch ein nachdenkliches und filmisches Gefühl verlieh. Die Pausen und Stressmuster klangen sehr menschlich, ohne Roboterartefakte. Dies ist best für Erzählungen oder das Erzählen von Markengeschichten.

Aufgabe 3: Karriereorientiertes Drehbuch (Stimme: Ryan, Sprache: Englisch)

Verwendetes Skript:

Generative KI ist nicht nur ein Schlagwort; Es ist der am schnellsten wachsende Karriereweg in der Technologiegeschichte.

Reden wir über Zahlen. Die Nachfrage nach GenAI-Ingenieuren ist explodiert, aber der Talentpool ist nahezu leer. Aus diesem Grund zahlen Unternehmen enorme Prämien – spezialisierte Stellen verdienen locker einhundertfünfzigtausend Greenback professional Jahr.

Vom Finanzwesen bis zum Gesundheitswesen ist jede Branche verzweifelt daran interessiert, LLMs und Agenten zu integrieren. Wenn Sie eine Karriere suchen, die zukunftssichere Sicherheit und Hebelwirkung bietet, dann ist dies das Richtige für Sie.

Der beste Zeitpunkt für einen Wechsel conflict gestern. Der zweitbeste Zeitpunkt ist jetzt. Beginnen Sie mit dem Bau.

Ausgabe:

Meine Rezension:

Ryans Stimme lieferte einen starken, professionellen Ton mit genau dem richtigen Maß an Autorität. Das Modell betonte effektiv berufsorientierte Formulierungen und sorgte gleichzeitig für eine reibungslose, sichere Übermittlung. Diese Ausgabe klingt wie etwas, das direkt aus einem modernen Tech-Erklärer oder einem LinkedIn-Lernmodul stammt. Keine spürbaren Verzerrungen oder Geschwindigkeitsprobleme, sodass es für Podcast-Intros, Berufsberatungsvideos oder Tech-Werbung geeignet ist.

Leistung und praktischer Wert

Das Modell ist schnell, ausdrucksstark und zuverlässig. Es erzeugt eine natürliche Sprache mit starker Klarheit. Es unterstützt lange Texte und funktioniert intestine in Anwendungen. Aufgrund der geringen Wortfehlerrate eignet es sich für professionelle Audio-Anwendungsfälle.

Da es über eine API erfolgt, können Entwickler es integrieren in:

• Cell Apps
• Internet-Apps
• Lernplattformen
• Spiele
• Chatbots
• Kundensupportströme
• Sprachagenten
• Videoskripte

Es ist eines der wenigen TTS-Modelle, das Maßstab, Ausdruck, mehrsprachige Ausgabe und Charakterstimmen in einem einzigen Paket vereint.

Lesen Sie auch:

Abschluss

Qwen3-TTS-Flash ist eines der leistungsfähigsten mehrsprachigen TTS-Systeme, die derzeit verfügbar sind. Mit seiner riesigen Klangfarbenbibliothek, der natürlichen Prosodie, der starken Dialektunterstützung und der schnellen Generierung ist es sowohl für den täglichen Einsatz als auch für den Einsatz in großen Unternehmen konzipiert. Egal, ob Sie ein Video kommentieren, einen Voicebot erstellen oder Charakterdialoge erstellen, dieses Modell ist leistungsstark, flexibel und über die API äußerst einfach zu verwenden.

Hallo, ich bin Nitika, eine technisch versierte Content material-Erstellerin und Vermarkterin. Kreativität und das Lernen neuer Dinge sind für mich selbstverständlich. Ich habe Erfahrung in der Erstellung ergebnisorientierter Content material-Strategien. Ich kenne mich intestine mit Website positioning-Administration, Key phrase-Operationen, Internet-Content material-Schreiben, Kommunikation, Content material-Strategie, Redaktion und Schreiben aus.

Das Europas AI-Ökosystem im Jahr 2025 ist eine robuste Enviornment offener Innovationen, mehrsprachigen Fähigkeiten und Argumentationen für Unternehmensgröße. Im Folgenden präsentieren wir eine eingehende, faktenüberprüfte Überprüfung der fortschrittlichsten KI-Modelle der Area mit technischen Spezifikationen, Lizenzierung und herausragenden Stärken. Jeder Eintrag enthält Hyperlinks zu offiziellen Modellinformationen zur weiteren Erkundung.

1. Mistral AI (Frankreich)

Mistral AI wurde 2023 in Paris gegründet und ist eine führende Kraft in Open-Gewicht-LLMs. Ihre Modelle sind für Effizienz, Expertenmischungen (MOE) und Wettbewerbsbenchmarks (MOE) erkannt. Insbesondere konzentriert sich Mistral auf die Maximierung der Leistung von Leistung und Parameter und eine breite Kontextunterstützung.

Bemerkenswerte Modelle (2025):

Stärken:

• Hohe Leistung professional Parameter; effiziente und skalierbare Architekturen.
• Unternehmens-, Argumentations- und Codierungsspezialisierung.
• Open-Gewicht Apache 2.0-Lizenzierung für Schlüsselmodelle

2. Aleph Alpha (Deutschland)

Aleph Alpha aus Heidelberg entwickelt souveräne LLMs, die sich auf Mehrsprachigkeit, Erklärung und Einhaltung der EU-Vorschriften konzentrieren.

Bemerkenswerte Modelle (2025):

Stärken:

• Betonung auf erklärbare und sichere KI -Pipelines.
• EU AI Act Compliance, Datensouveränität und Unterstützung für Anwendungen des öffentlichen Sektors.
• Open ALEPH-Lizenz unterstützt den nichtkommerziellen/pädagogischen Einsatz mit voller Transparenz.

3. Velvet AI (Italien – Almawave)

Velvet -Modelle, die von AlmaWave entwickelt und am Leonardo Supercomputer ausgebildet wurden, betonen Nachhaltigkeit, mehrsprachige Reichweite und breite Anwendung in der Branche.

Technische Spezifikationen (2025):

Stärken:

• Umweltfreundliche Architektur, breite europäische Sprachberichterstattung.
• Optimiert für Gesundheitswesen, Finanzen und öffentliche Verwaltung.
• Open-Supply- und Transparenzethos.

4. Minerva (Italien)

Minerva Italiens erste LLM -Familie, die auf italienischen Sprachdaten basiert, ist ein kollaboratives Produkt von Sapienza NLP, Honest und Cineca.

Bemerkenswerter Modell:

Stärken:

• Entworfen für italienische und englische sprachliche Leistung.
• Transparente, offene Trainingsdaten; Anweisungsabstimmung für sicherere Ausgänge.

5. Eurollm-9b (EU)

Eine pan-europäische Initiative, die alle 24 offiziellen EU-Sprachen, darunter 11 weitere, unterstützt und sowohl in Foundation- als auch in Formularen veröffentlicht wird.

Modellübersicht:

Stärken:

• Unübertroffen offene mehrsprachige Abdeckung.
• Übertrifft offene Modelle in ähnlicher Größe in Übersetzungs- und Argumentationsbenchmarks.
• Synthetische Datensätze, Eurofilter -Technologie zum Ausgleich von Sprachen.

6. Lighton (Frankreich)

Das in Paris ansässige Lighton bietet Unternehmensklassen, lokale, in Privatsphäre ausgerichtete generative KI an. Im Jahr 2024 wurde es Europas erstes generatives KI -Startup für den Börsengang.

Modellzusammenfassung:

Stärken:

• Unterstützt eine voll non-public Bereitstellung von On-Prem.
• Integriert die Domänenspezialisierung und die optische Computerforschung.

Vergleichstabelle

Modell	Parameter	Kontextfenster	Sprachen unterstützt	Lizenz	Schlüsselstärken
Mistral Small 3.1	24b	128k Token	En, multimodal (Bilder)	Apache 2.0	Effizienz, multimodal
Mixtral 8x7b	56b	32k Token	Mehrsprachig	Apache 2.0	Moe, Benchmark -Führer
Magistral klein	24b	40k Token	En, mehrsprachig	Apache 2.0	Argumentation
Devstral Small	24b	128k Token	Codierung, en	Apache 2.0	Software program -Agent, Code
Samt 14b	14b	128k Token	IT/DE/FR/ES/PT/EN	Apache 2.0	Nachhaltigkeit, mehrsprachig
Samt 2b	2B	32k Token	Es/en	Apache 2.0	Leicht, effizient
Minerva 7b	7.4b	32K-128K*	Es/en	Open-Supply	Forschung, Code, italienischer Fokus
Eurollm-9b	9b	32K-128K*	35 (EU+additional)	Open-Supply	Mehrsprachige, offene Benchmarks
Pharia 1 llm	7b	32k*	De/fr/es	Öffnen Sie Aleph	Mehrsprachige EU -Konformität

*Kontextfenstergrößen für Minerva und Eurollm können je nach Implementierung und Freigabe variieren.

Abschluss

Europas KI -Fortschritte im Jahr 2025 spiegeln ein Umfeld wider, auf das konzentriert wird Offenheit, Nachhaltigkeit, mehrsprachige Unterstützung und Konformität. Mistral Leads mit agilen, leistungsfähigen Modellen; Aleph Alpha Pioneers Erklärung und Datensouveränität; Italiens Minerva und Velvet befassen sich mit nationaler Sprache und nachhaltiger Ausbildung; Eurollm setzt die Messlatte für Inklusivität; und Lighton liefert Privatsphäre von Unternehmensqualität.

Diese kollektiven Bemühungen positionieren Europa als immer einflussreicherer Akteur in der globalen KI, insbesondere im Bereich der Mehrsprachigkeit, ethischen Innovationen und technischer Offenheit.

---

Asif Razzaq ist der CEO von Marktechpost Media Inc. Sein jüngstes Bestreben ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch die ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die von einem breiten Publikum technisch intestine und leicht verständlich sind. Die Plattform verfügt über über 2 Millionen monatliche Ansichten und veranschaulicht ihre Beliebtheit des Publikums.

Heute wurde die Open Flash Platform (OFP) -Initiative mit Eröffnungsmitgliedern Hammerspace, Linux Group, Los Alamos Nationwide Laboratory, Scaleflux, SK Hynix und Los Alamos -Labor gestartet XSIGHT -SYSTEME. OCP beabsichtigt, die Anforderungen aus der nächsten Datenspeicherwelle für AI zu befriedigen.

„Die Konvergenz der Datenerstellung, die mit aufkommenden AI-Anwendungen verbunden ist, verbunden mit Einschränkungen bei der Stromverfügbarkeit, Scorching-Knowledge-Centern und den Raumbeschränkungen des Rechenzentrums, bedeutet, dass wir einen Blanko-Slate-Ansatz zum Aufbau von AI-Dateninfrastrukturen verfolgen müssen“, sagte OFP in seiner Ankündigung.

Vor einem Jahrzehnt setzte NVME Flash als Efficiency -Stufe durch, indem er Legacy Storage -Busse und -Controller unintermediert. OFP entsperren nun die Kapazitätsebene, indem Speicher Server und proprietäre Software program -Stapel entsteht. OFP nutzt offene Requirements und Open Supply – insbesondere parallele NFS und Commonplace -Linux -, um Flash direkt im Speichernetz zu platzieren. Offene, standardbasierte Lösungen, die zwangsläufig herrschen. Durch die Bereitstellung einer Größenordnung höherer Kapazitätsdichte, erhebliche Leistungseinsparungen und viel niedrigerer TCO beschleunigt OFP diese Unvermeidlichkeit.

Aktuelle Lösungen sind von Natur aus mit einem Speicherservermodell gebunden, das übermäßige Ressourcen erfordert, um die Leistung und Fähigkeit zu fördern. Entwürfe aller aktuellen All-Flash-Anbieter sind nicht optimiert, um das Beste in der Blitzdichte zu erleichtern und Lösungen an die Betriebsdauer eines Prozessors (in der Regel fünf Jahre) im Vergleich zur Betriebsdauer von Flash (typischerweise acht Jahre) zu verbinden. Diese Speicherserver führen auch proprietäre Datenstrukturen ein, die Datenumgebungen durch Einführung neuer Silos fragmentieren, was zu einer Verbreitung von Datenkopien und dem Hinzufügen von Lizenzkosten zu jedem Knoten führt.

OFP befürwortet einen offenen, standardbasierten Ansatz, der mehrere Elemente enthält:

• Flash -Geräte – gekonnt, aber nicht beschränkt darauf, QLC Flash für seine Dichte. Die Flash-Sourcing sollte flexibel sein, damit Kunden NAND von verschiedenen Fabriken erwerben können, möglicherweise über Controller-Accomplice oder direktes Moduldesign, wodurch ein Einzelanbieter-Sperre vermieden wird.
• IPUS/DPUs – sind bis zu einem Punkt gereift, dass sie viel mehr ressourcenintensive Prozessoren für das Servieren von Daten ersetzen können. Sowohl niedrigere als auch niedrigere Stromanforderungen bedeuten eine viel effizientere Komponente für Datendienste.
• OFP -Kartusche – Eine Patrone enthält die gesamte wesentliche {Hardware}, um Daten in einem Formfaktor zu speichern und zu servieren, der für niedrige Stromverbrauch und Blitzdichte optimiert ist.
• OFP -Tabletts – Ein OFP -Tablett passt zu einer Reihe von OFP -Patronen und liefert Stromverteilung und -ausstattung für verschiedene Rechenzentrumsregal -Designs.
• Linux -Betriebssystem – OFP verwendet Commonplace Linux Durchführen von Aktien -NFs zur Lieferung von Datendiensten von jeder Patrone.

„Unsere Ziele sind nicht bescheiden und es gibt viel Arbeit im Geschäft, aber durch die Nutzung offener Designs und Branchenstandardkomponenten als Group führt diese Initiative zu enormen Verbesserungen der Datenspeichereffizienz.“ OFP sagte.

„Die Stromeffizienz ist nicht elective. Es ist die einzige Möglichkeit, die AI-Periode zu skalieren. Die offene Flash-Plattform entfernt die Fesseln des Legacy-Speichers und ermöglicht es, Exabyte mit weniger als 50 Kilowatt zu speichern, gegenüber dem gestrigen Megawatt von gestern. Scaleflux.

„Agility ist alles für KI-und nur offene Requirements, die Sie mit standardbasiertem Speicher anpassen können, können Sie schnelle, Kontrollkosten und niedrigere Stromnutzung anpassen“, sagte Gary Grider, Direktor von HPC,. Los Alamos Nationwide Labor.

„Flash wird die nächste treibende Kraft für die KI-Ära sein. Um ihr volles Potenzial auszuschöpfen, müssen sich Speichersysteme entwickeln. Wir glauben, dass offene und standardbasierte Architekturen wie OFP das volle Potenzial von Flash-basierten Speichersystemen maximieren können, indem sie die Energieeffizienz erheblich verbessert und die Maßstäbe des Skalierens ausschaltet“, sagte Hoshik Kim, SVP, Head of Reminiscence Analysis Analysis bei Memay Analysis bei Memay Analysis bei Memay Analysis bei Memay Analysis bei Reminiscence Analysis bei Reminiscence Analysis bei den Reminiscence Analysis bei der Reminiscence Analysis bei den Reminiscence Analysis bei den Reminiscence Analysis bei der Anmeldung von Reminiscence Analysis bei AT-Barrieren bei Barrieren, in denen Barrieren aufgenommen werden, können sie erheblich verbessert werden. SK Hynix.

„Offene, standardbasierte Lösungen, die zwangsläufig herrschen. Durch die Bereitstellung von 10-fachen höherer Kapazitätsdichte und einer 50-prozent-niedrigeren TCO beschleunigt OFP diese Unvermeidlichkeit“, sagte David Flynn, Gründer und CEO, CEO, Hammerspace.

Wenn Sie mit KI/ML -Workloads (wie ich) arbeiten und versuchen, herauszufinden, welches Datenformat zu wählen sind, ist dieser Beitrag für Sie. Egal, ob Sie ein Pupil, Analyst oder Ingenieur sind, wenn Sie die Unterschiede zwischen Apache Iceberg, Delta Lake und Apache Hudi kennen, können Ihnen eine Menge Kopfschmerzen ersparen, wenn es um Leistung, Skalierbarkeit und Echtzeit-Updates geht. Am Ende dieses Handbuchs haben Sie ein solides Kernfunktionen und können das beste offene Tischformat für KI/ML -Workloads auswählen. Lass uns eintauchen!

Warum brauchen wir das offene Tabellenformat für KI/ML -Workloads?

Traditionelle Datenseen haben einige Einschränkungen. Um diese Herausforderungen zu bewältigen, wurden drei führende offene Tabellenformate entworfen. Ich habe später in der Put up ein Architekturdiagramm für jedes Format hinzugefügt:

1. Apache Iceberg
2. Delta Lake
3. Apache Hudi

Wichtige Vorteile dieser Formate

Diese Formate befassen sich mit einigen der wichtigsten Probleme mit herkömmlichen Datenseen:

• Mangel an Säure -Transaktionen: Iceberg, Delta Lake und Hudi lösen diese Gewährleistung der Zuverlässigkeit, gleichzeitigen Lesevorgänge und gleichzeitigen Schreibvorgänge.
• Keine früheren Datenverfolgung: Iceberg, Delta Lake und Hudi ermöglichen dies, indem Sie vergangene Datenzustände für Debuggen, ML -Coaching oder Prüfung reproduzieren.
• Daten und Metadaten Skalierbarkeit: Alle drei Formate unterstützen Echtzeitdatenskalierbarkeit durch Dateiverdichtung.

Vergleich basierend auf AI/ML -Anwendungsfällen

Schauen wir uns die Ansätze jedes Codecs in Schlüsselbereichen an:

• Characteristic Shops: Wie intestine jedes Format die Datenanforderungen für Schulungs -ML -Modelle unterstützt.
• Modelltraining: Wie intestine jedes Format die Datenanforderungen für Schulungs -ML -Modelle unterstützt.
• Skalierbare ML -Pipelines: Wie intestine jedes Format umgeht, um die Datenverarbeitung mit groß angelegten Daten zu machen.

Lesen Sie auch: Was sind Datenseen? Schritt -by -Step -Leitfaden

Was ist der Apache -Eisberg?

Apache Iceberg Das offene Tabellenformat ist zu einem Branchenstandard für die Verwaltung von Datenseen und die Lösung der Probleme des traditionellen Datensees geworden. Es bietet hohe Analysen für große Datensätze.

Bezüglich Characteristic ShopsApache Iceberg unterstützt Säuretransaktionen unter Verwendung von Snapshot -Isolation, um gleichzeitige Schreibvorgänge und Zuverlässigkeit sicherzustellen. Darüber hinaus ermöglicht Iceberg Schema -Änderungen, ohne vorhandene Abfragen zu brechen, was bedeutet, dass Sie die Datensätze nicht umschreiben müssen, um Änderungen wie in herkömmlichen Datenseen vorzunehmen. Iceberg unterstützt Zeitreisen mit Schnappschüssen und ermöglicht es Benutzern, ältere Versionen abzufragen. Iceberg reduziert die schlechte Abfrageleistung durch versteckte Partitionierung und Metadatenindexierung, um die Abfrageleistung zu beschleunigen, und verbessert die Datenorganisation und den Zugriffeffizienz.

Bezüglich ModelltrainingIceberg unterstützt die ML -Datenanforderungen, indem es schnelles Datenabruf für schnelleres Modelltraining optimiert, indem die Zeitreise unterstützt und die Snapshot -Isolation verwendet wird, um sicherzustellen, dass die Daten konsistent bleiben und aufgrund gleichzeitiger Aktualisierungen nicht beschädigt werden. Es filtert Daten effizient durch versteckte Partitionierung, um die Abfragegeschwindigkeit zu verbessern und unterstützt Prädikatschubdownsicherstellen, dass ML -Frameworks wie Spark, Pytorch und TensorFlow -Lastdaten effizient laden. Iceberg ermöglicht die Schema -Evolution, ohne die sich entwickelnden ML -Bedürfnisse zu brechen.

In Bezug auf skalierbare ML -Pipelines bietet seine Kompatibilität mit verschiedenen Verarbeitungsmotoren wie Apache Spark, Flink, Trino und Presto Flexibilität beim Aufbau skalierbarer ML -Pipelines. Es unterstützt eine schnellere Pipeline -Ausführung, um kürzere ML -Modelltrainingszyklen zu gewährleisten. Iceberg unterstützt die inkrementelle Datenverarbeitung, sodass ML -Pipelines den gesamten Datensatz nicht neu aufbauen müssen. Sie müssen nur veränderte oder neue Daten verarbeiten, was zu Kosteneinsparungen in einer Cloud -Umgebung führt. Iceberg unterstützt Säuretransaktionen, um eine sichere gleichzeitige Schreibvorgänge und die zuverlässigen ML -Datenpipelines zu gewährleisten, wodurch Datenkonsistenzen in verteilten Umgebungen vermieden werden.

Was ist Apache Delta Lake?

Apache Delta Lakeentwickelt von den Erstellern von Apache Spark-Databricks, ist eine Open-Supply-Datenspeicherebene, die nahtlos in Spark sowohl für das Lesen als auch für das Schreiben integriert wird. Es verschmilzt Apache -Parquetdatendateien mit einem ausgeklügelten Metadatenprotokoll und verfügt über tiefe Integrationen mit Spark

In Bezug auf Characteristic -Shops führt Delta Lake Säure -Transaktionen durch und verarbeitet die Paramperium, um sicherzustellen, dass Schreibvorgänge, Aktualisierungen und Deletten nicht zu korrupten Daten führen. Um die Durchsetzbarkeit und Konsistenz innerhalb von Delta Lake zu gewährleisten, können Metadaten die Transaktionen verfolgen. Darüber hinaus verhindert Delta Lake, schlechte Daten in die Tabelle einzugeben, indem Tabellenbeschränkungen erzwungen und Schema -Änderungen ermöglicht werden. Dennoch erfordern einige Schemaveränderungen, wie das Ablegen von Säulen, eine sorgfältige Handhabung. Benutzer können frühere Versionen der Daten abfragen, da die Zeitreisefunktionen durch das Transaktionsprotokoll aktiviert sind. Delta Lake optimiert die Abfrageleistung durch die Verwendung seiner Metadaten- und Transaktionsprotokolle. Wichtig ist, dass Delta Lake Echtzeitänderungen mit der Unterstützung von Streaming-Schreibvorgängen ermöglicht. Darüber hinaus löst es Kosten- und Speicherprobleme durch Echtzeitdateiverdichtung.

Der Delta Lake unterhält zuverlässige und versionierte Trainingsdaten mit Säuretransaktionen im Modelltraining. ML -Modelle verwenden die Zeitreise- und Rollback -Funktion, um auf historischen Schnappschüssen zu trainieren, was die Reproduzierbarkeit und das Debuggen verbessert. Die Verwendung von Z-Order verbessert die Abfrageleistung und senkt die I/A-Kosten, da sie ähnliche Daten zusammenklingen. Darüber hinaus wurde berichtet, dass Delta Lake die Leseleistung durch Partitionsbeschneidung, Metadatenindexierung und Z-Bestellung verbessert. Schließlich behält Delta Lake unterstützende Schemaänderungen ohne Auswirkungen auf die Verfügbarkeit.

Bei skalierbaren ML -Pipelines erleichtert die enge Kopplung von Delta Lake mit Apache Spark es, in vorhandene ML -Workflows zu integrieren. Neue Daten werden kontinuierlich aufgenommen, da sie Echtzeit-Streaming mit strukturiertem Spark-Streaming unterstützt, was eine schnellere Entscheidungsfindung ermöglicht. Zuletzt hilft Delta Lake mehreren ML -Groups, dank Säuretransaktionen gleichzeitig ohne Korruption am selben Datensatz zu arbeiten.

Was ist Apache Hudi?

Apache Hudi Verbessert den Apache Information Lake Stack mit einer Open-Sourcing-Transaktionsspeicherschicht, die Echtzeit-Analysen und inkrementelle Verarbeitung unterstützt. Hudi ermöglicht es Information Lakes, inkrementelle Verarbeitung zu unterstützen, die es langsamer Batch-Verarbeitung in nahezu Echtzeitanalysen verwandeln kann.

In Bezug auf Characteristic -Shops hat Hudi Säuretransaktionen ermöglicht und es ist möglich, Ereignisse mithilfe der Festungszeitleiste und den Metadatenschichten zu verfolgen. Daher besteht keine Probability auf inkonsistente Daten, die sich aus Schreibvorgängen, Aktualisierungen und Löschern ergeben. Hudi ermöglicht eine Schema -Entwicklung, aber bestimmte Schema -Änderungen, wie z. B. Ablagerungssäulen, müssen Sorgfalt erfordern, um nicht vorhandene Fragen zu brechen. Hudis Commit Timeline ermöglicht auch Zeitreisen und Rollback -Funktionen, die die Abfrage älterer Versionen und die Rückrollwechsel unterstützt. Darüber hinaus wird die Abfrageleistung von Hudi durch die Verwendung mehrerer Indexierungstechniken, einschließlich Bloomfilter sowie globale und partitionelle Indizes, verbessert. Hudi optimiert häufig aktualisierte Tabellen mithilfe des MERGE-On-Learn-Speichermodells (MORE-Learn). Hudi erlaubt Streaming -Schreibvorgänge, bietet aber kein vollständig kontinuierliches Streaming wie das Funkenstreaming von Delta Lake. Stattdessen arbeitet Hudi mit Micro-Batch- oder inkrementellen Stapelmodi mit Integrationen zu Apache Kafka, Flink und Funkenstreaming.

Hudi eignet sich hervorragend für Implementierungen für maschinelles Lernen in Echtzeit wie Betrugserkennung oder Empfehlungssystemen, da es in Echtzeit-Updates während des Modelltrainings ermöglicht. Es senkt die Rechenkosten, da das System nur die geänderten Daten laden muss, anstatt ganze Datensätze neu zu laden. Inkrementelle Merge-on-Learn-Abfragen werden nahtlos verwaltet. Die flexiblen Einnahmemodi optimieren Hudis Batch- und Echtzeit-ML-Coaching und können mehrere ML-Pipelines gleichzeitig unterstützen.

In Bezug auf skalierbare ML-Pipelines wurde Hudi für Streaming-First-Workloads entwickelt. Daher ist es für KI/ML-Anwendungsfälle am besten geeignet, in denen Daten häufig wie in Advert-Bidding-Systemen aktualisiert werden müssen. Es verfügt über integrierte kleine Dateiverwaltungsfunktionen, um Leistungs Engpässe zu verhindern. Hudi ermöglicht auch eine effiziente Entwicklung über Datensätze, indem sie Updates auf Datensatzebene integrieren und sowohl für ML-Characteristic-Shops als auch für Trainingspipelines löschen.

Apache Iceberg vs. Delta Lake vs. Hudi: Welches offene Tabellenformat sollten Sie für AI/ML -Workloads auswählen?

Wenn Sie es so weit geschafft haben, haben wir einige der wichtigen Ähnlichkeiten und Unterschiede zwischen Apache Iceberg, Delta Lake und Apache Hudi erfahren.

Es ist an der Zeit, zu entscheiden, welches Format für Ihren Anwendungsfall am sinnvollsten ist! Meine Empfehlung wird geführt, anhand derer Szenario am besten anwendbar ist:

• Eisberg: Entscheiden Sie sich für Eisberg, wenn Sie brauchen effiziente, groß angelegte Batch-Verarbeitung mit Erweitertes Metadatenmanagementinsbesondere wenn sie mit historischen Daten arbeiten und benötigen Zeitreisen.
• Delta Lake: Am besten für Echtzeit, Streaming-KI/ML-Workloads Wo Säuretransaktionen Und Inkrementelle Datenverarbeitung sind entscheidend.
• Hudi: Preferrred, wenn Sie brauchen Hochfrequenz-Updates In Echtzeit-Streaming KI/ML -Arbeitsbelastung und bevorzugen mehr feinkörnige Kontrolle über Daten.

Abschluss

Wenn Ihr Hauptanliegen darin besteht, Daten und Echtzeit-Updates zu streamen, ist Delta Lake oder Hudi möglicherweise die beste Wahl im offenen Tabellenformat für AI/ML-Workloads. Wenn Sie jedoch erweiterte Datenverwaltung, historische Versioning und Batch -Verarbeitungsoptimierung benötigen, fällt Iceberg auf. Für Anwendungsfälle, die sowohl Streaming- als auch Stapelverarbeitung mit Datenaktualisierungen auf Datensatzebene erfordern, ist Hudi wahrscheinlich die beste Choice.

Wenn Ihnen jemand rät, „Ihre Grenzen zu kennen“, schlägt er Ihnen wahrscheinlich vor, beispielsweise in Maßen Sport zu treiben. Für einen Roboter stellt das Motto jedoch Lernbeschränkungen oder Einschränkungen einer bestimmten Aufgabe innerhalb der Maschinenumgebung dar, um Aufgaben sicher und korrekt zu erledigen.

Stellen Sie sich zum Beispiel vor, Sie bitten einen Roboter, Ihre Küche zu reinigen, obwohl er die Physik seiner Umgebung nicht versteht. Wie kann die Maschine einen praktischen Mehrschrittplan erstellen, um sicherzustellen, dass der Raum makellos ist? Große Sprachmodelle (LLMs) können ihnen nahe kommen, aber wenn das Modell nur auf Textual content trainiert wird, werden ihm wahrscheinlich wichtige Particulars zu den physischen Einschränkungen des Roboters entgehen, etwa wie weit er reichen kann oder ob es in der Nähe Hindernisse gibt, die es zu vermeiden gilt. Bleiben Sie nur bei LLMs, und am Ende werden Sie wahrscheinlich Nudelflecken aus Ihren Dielen entfernen.

Um Roboter bei der Ausführung dieser Aufgaben mit offenem Ende zu unterstützen, verwendeten Forscher am Pc Science and Synthetic Intelligence Laboratory (CSAIL) des MIT Bildverarbeitungsmodelle, um zu sehen, was sich in der Nähe der Maschine befindet, und um ihre Einschränkungen zu modellieren. Die Strategie des Groups besteht darin, dass ein LLM einen Plan entwirft, der in einem Simulator überprüft wird, um sicherzustellen, dass er sicher und realistisch ist. Wenn diese Abfolge von Aktionen nicht durchführbar ist, generiert das Sprachmodell einen neuen Plan, bis es zu einem Plan kommt, den der Roboter ausführen kann.

Diese Trial-and-Error-Methode, die die Forscher „Planning for Robots through Code for Steady Constraint Satisfaction“ (PRoC3S) nennen, testet langfristige Pläne, um sicherzustellen, dass sie alle Einschränkungen erfüllen, und ermöglicht es einem Roboter, so unterschiedliche Aufgaben wie das Schreiben auszuführen einzelne Buchstaben, das Zeichnen eines Sterns sowie das Sortieren und Platzieren von Blöcken an verschiedenen Positionen. In Zukunft könnte PRoC3S Robotern dabei helfen, kompliziertere Aufgaben in dynamischen Umgebungen wie Häusern zu erledigen, wo sie möglicherweise aufgefordert werden, eine allgemeine Aufgabe zu erledigen, die aus vielen Schritten besteht (z. B. „Mach mir Frühstück“).

„LLMs und klassische Robotiksysteme wie Aufgaben- und Bewegungsplaner können diese Artwork von Aufgaben nicht alleine ausführen, aber zusammen ermöglichen ihre Synergien eine ergebnisoffene Problemlösung“, sagt Doktorand Nishanth Kumar SM ’24, Co-Leiter Autor eines neuen Artikels über PRoC3S. „Wir erstellen im laufenden Betrieb eine Simulation der Umgebung des Roboters und probieren viele mögliche Aktionspläne aus. Imaginative and prescient-Modelle helfen uns, eine sehr realistische digitale Welt zu schaffen, die es dem Roboter ermöglicht, für jeden Schritt eines langfristigen Plans über mögliche Maßnahmen nachzudenken.“

Die Arbeit des Groups wurde im vergangenen Monat in einem Papier vorgestellt, das auf der Convention on Robotic Studying (CoRL) in München, Deutschland, gezeigt wurde.

Die Methode der Forscher verwendet ein LLM, das vorab auf Texten aus dem Web trainiert wurde. Bevor PRoC3S mit der Ausführung einer Aufgabe beauftragt wurde, stellte das Group seinem Sprachmodell eine Beispielaufgabe (z. B. das Zeichnen eines Quadrats) zur Verfügung, die mit der Zielaufgabe (Zeichnen eines Sterns) zusammenhängt. Die Beispielaufgabe umfasst eine Beschreibung der Aktivität, einen langfristigen Plan und relevante Particulars zur Umgebung des Roboters.

Doch wie haben sich diese Pläne in der Praxis bewährt? In Simulationen hat PRoC3S jeweils acht von zehn Malen erfolgreich Sterne und Buchstaben gezeichnet. Es könnte auch digitale Blöcke in Pyramiden und Linien stapeln und Gegenstände wie Früchte auf einem Teller präzise platzieren. In jeder dieser digitalen Demos erledigte die CSAIL-Methode die geforderte Aufgabe konsistenter als vergleichbare Ansätze „LLM3“ Und „Code als Richtlinien“.

Als nächstes brachten die CSAIL-Ingenieure ihren Ansatz in die reale Welt. Ihre Methode entwickelte und führte Pläne an einem Roboterarm aus und brachte ihm bei, Blöcke in geraden Linien anzuordnen. PRoC3S ermöglichte es der Maschine außerdem, blaue und rote Blöcke in passende Schüsseln zu legen und alle Objekte in die Nähe der Tischmitte zu bewegen.

Kumar und Co-Hauptautor Aidan Curtis SM ’23, der auch Doktorand bei CSAIL ist, sagen, dass diese Ergebnisse zeigen, wie ein LLM sicherere Pläne entwickeln kann, denen Menschen vertrauen können, dass sie in der Praxis funktionieren. Die Forscher stellen sich einen Heimroboter vor, dem eine allgemeinere Anfrage gestellt werden kann (wie „Carry mir ein paar Chips“) und der zuverlässig die spezifischen Schritte erkennt, die zu seiner Ausführung erforderlich sind. PRoC3S könnte einem Roboter helfen, Pläne in einer identischen digitalen Umgebung zu testen, um eine funktionierende Vorgehensweise zu finden – und, was noch wichtiger ist, Ihnen einen leckeren Snack zu bringen.

Für zukünftige Arbeiten wollen die Forscher die Ergebnisse mithilfe eines fortschrittlicheren Physiksimulators verbessern und sie mithilfe skalierbarerer Datensuchtechniken auf komplexere Aufgaben mit längerem Horizont erweitern. Darüber hinaus planen sie, PRoC3S auf cellular Roboter wie einen Vierbeiner für Aufgaben anzuwenden, die das Gehen und Scannen der Umgebung umfassen.

„Die Verwendung von Basismodellen wie ChatGPT zur Steuerung von Roboteraktionen kann aufgrund von Halluzinationen zu unsicherem oder falschem Verhalten führen“, sagt Eric Rosen, Forscher am AI Institute, der nicht an der Forschung beteiligt ist. „PRoC3S geht dieses Drawback an, indem es grundlegende Modelle für die Aufgabenführung auf hoher Ebene nutzt und gleichzeitig KI-Techniken einsetzt, die explizit über die Welt nachdenken, um nachweislich sichere und korrekte Aktionen sicherzustellen. Diese Kombination aus planungsbasierten und datengesteuerten Ansätzen könnte der Schlüssel zur Entwicklung von Robotern sein, die in der Lage sind, ein breiteres Spektrum an Aufgaben zu verstehen und zuverlässig auszuführen, als dies derzeit möglich ist.“

Die Co-Autoren von Kumar und Curtis sind ebenfalls CSAIL-Companion: der MIT-Studentenforscher Jing Cao und die MIT-Professoren für Elektrotechnik und Informatik Leslie Pack Kaelbling und Tomás Lozano-Pérez. Ihre Arbeit wurde teilweise von der Nationwide Science Basis, dem Air Pressure Workplace of Scientific Analysis, dem Workplace of Naval Analysis, dem Military Analysis Workplace, MIT Quest for Intelligence und dem AI Institute unterstützt.