Die offene Spracherkennung ist seit einiger Zeit keine Whisper-Monokultur mehr. Im März 2026 Cohere hat Transcribe veröffentlichtein 2B Apache 2.0-Modell, das die Spitze einnahm Umarmendes Gesicht Öffnen Sie die ASR-Bestenliste bei einer durchschnittlichen Wortfehlerrate von 5,42 %. Fünf Wochen später IBM hat Granite Speech 4.1 2B ausgeliefert bei 5,33 %. Seitdem ARK-ASR-3B Und MOSS-Transcribe-preview-2B haben noch niedrigere Zahlen gemeldet.

Die Spitze dieser Bestenliste ist jetzt durch weniger als einen WER-Punkt getrennt. Das hat für jeden, der sich für ein Modell entscheidet, eine konkrete Konsequenz: Der Rang ist nicht mehr die entscheidende Variable. Lizenz, Sprachabdeckung, Streaming-Unterstützung und Kosten professional Audiostunde sind. Diese Zusammenfassung vergleicht das Feld auf allen vier.

Erstens ein Downside mit der Bestenlistennummer, die jeder zitiert

Beim Open ASR Leaderboard-Durchschnitt handelt es sich nicht um eine einzelne feste Größe, und die derzeit nebeneinander aufgeführten Modelle wurden nicht alle auf die gleiche Weise bewertet.

Die 5,42 % von Cohere sind ein Durchschnitt aus acht englischen Testsätzen, einschließlich TED-LIUM. Das ergibt: AMI 8,13, Earnings-22 10,86, GigaSpeech 9,34, LibriSpeech clear 1,25, LibriSpeech different 2,37, SPGISpeech 3,08, TED-LIUM 2,49, VoxPopuli 5,87 im Durchschnitt genau 5,42.

Die 5,04 % von ARK-ASR-3B sind ein Durchschnitt Sieben Sätze. TED-LIUM fehlt. Die MOSS-Transcribe-preview-2B-Karte besagt dies ausdrücklich: TED-LIUM ist derzeit nicht Teil des Bestenlistenlaufs und daher ausgeschlossen.

TED-LIUM ist eines der einfacheren Units in der Suite, daher erhöht sich der Durchschnitt, wenn man es weglässt. Berechnen Sie die veröffentlichten Ergebnisse professional Datensatz von Cohere über dieselben sieben Sätze, die ARK berichtet, neu, und Cohere landet bei 5,84 und nicht bei 5,42. Machen Sie dasselbe mit Granite Speech 4.1 2B und es bewegt sich von 5,33 auf 5,65. Auf vergleichbarer Foundation liegt der Vorsprung von ARK bei größer als die Schlagzeilen vermuten lassen, nicht kleiner – aber der Punkt ist, dass man eine veröffentlichte Zahl nicht von einer anderen subtrahieren kann, um eine aussagekräftige Antwort zu erhalten.

Zwei weitere Vorbehalte gehören auf die gleiche Seite:

Einige Ergebnisse sind offen für die Bestenliste geeignet: Die MOSS-Transcribe-preview-2B-Karte besagt, dass das Modell mit Reinforcement Studying auf den Open ASR Leaderboard-Trainingssplits verfeinert wurde. Das wird offengelegt, was mehr ist als die meisten anderen, aber es bedeutet, dass die Punktzahl eher den Maßstab als die Leistungsfähigkeit misst.

Non-public-Observe-Daten ordnen das Board neu: Appen beigesteuerte zurückgehaltene Auswertungssätze Abdeckung australischer, kanadischer, indischer und amerikanischer Akzente in Skript- und Konversationssituationen. Wenn diese privaten Units aktiviert sind, wechselt zoom/scribe_v1 von Platz 4 auf Platz 1 und der Anführer der öffentlichen Bestenliste verliert eine Place. Modelle, die auf saubere Lesesprache abgestimmt sind, verschlechtern sich bei spontanem Gesprächsaudio unverhältnismäßig stark.

Nutzen Sie die Bestenliste, um eine Auswahlliste zu erstellen. Verwenden Sie es nicht, um einen Gewinner auszuwählen.

Die Genauigkeitsstufe

Kohärente Transkription (2B, Apache 2.0, 14 Sprachen) ist das Modell, das tatsächlich in Produktion ging. Es wurde im letzten Monat über 620.000 Mal heruntergeladen und bietet umfassende Laufzeitunterstützung transformersvLLM, mlx-audio für Apple Silicon, einen Rust-Port und einen WebGPU-Construct. Es handelt sich um einen Conformer-Encoder mit einem leichten Transformer-Decoder, der von Grund auf trainiert wurde. Cohere führte auch eine menschliche Präferenzbewertung durch, bei der geschulte Annotatoren Transkripte hinsichtlich Bedeutungserhalt, Halluzination und benannter Entitäten bewerteten: eine durchschnittliche Gewinnrate von 61 %, 78 % gegen IBM Granite 4.0 1B Speech und 64 % gegen Whisper Massive-v3.

Der Abschnitt zu den Einschränkungen auf der Modellkarte ist ungewöhnlich ehrlich und sollte vor der Entscheidung gelesen werden. Es gibt keine automatische Spracherkennung, keine Zeitstempel und keine Tagebuchführung, und das Modell ist bestrebt, Stille zu transkribieren, daher empfiehlt Cohere, ein VAD oder Noise Gate voranzustellen. Das Repo ist trotz der Apache 2.0-Lizenz auch durch eine Kontaktinformationsvereinbarung geschützt.

Granite Speech 4.1 2B (2B, Apache 2.0) ist die bessere Wahl, wenn Sie mehr Kapazität benötigen, als eine niedrigere Anzahl. Sechs Sprachen für ASR plus bidirektionale Sprachübersetzung, Key phrase-Pay attention-Biasing für Namen und Fachjargon, Interpunktion und Truecasing, einschließlich deutscher Groß- und Kleinschreibung von Substantiven. Auf 174.000 Stunden trainiert. RTFx 231.29. IBM liefert auch zwei Geschwister aus: -plus fügt sprecherattributierte ASR und Zeitstempel auf Wortebene hinzu und -nar wird weiter unten besprochen.

Canary-Qwen-2.5B (2.5B, CC-BY-4.0, Englisch) koppelt einen FastConformer-Encoder mit einem Qwen3-1.7B-Decoder und läuft in zwei Modi – reine Transkription oder LLM-Modus, in dem der Decoder Fragen zum Transkript zusammenfasst und beantwortet. 5,63 % WER bei RTFx 418. Beachten Sie, dass AMI auf etwa 15 % der Trainingsdaten überabgetastet wurde, was die Ausgabe in Richtung wörtlicher, disfluenzerhaltender Transkripte verzerrt. Das ist ein Function für juristische Arbeiten und ein Ärgernis für Besprechungsnotizen.

Qwen3-ASR-1.7B (Apache 2.0) deckt 52 Sprachen und Dialekte ab – 30 Sprachen plus 22 chinesische Dialekte – bei 5,76 %. Es wird mit einem vollständigen Inferenz-Toolkit und einem separaten erzwungenen Ausrichtungsmodell für Zeitstempel in 11 Sprachen geliefert. Für alles, was Mandarin oder die regionale chinesische Sprache berührt, ist dies der offensichtliche Ausgangspunkt.

Die Durchsatzstufe

Die Genauigkeit im oberen Bereich des Feldes variiert jetzt um etwa einen WER-Punkt. Der Durchsatz variiert um mehr als eine Größenordnung, was bedeutet, dass der Durchsatz in der Regel über die Rechnung entscheidet.

Sittich TDT 0.6B v3 (0,6B, CC-BY-4.0) ist der Durchsatzführer unter den mehrsprachigen offenen Modellen mit RTFx 3332,74 in 25 europäischen Sprachen mit automatischer Spracherkennung und bewältigt bis zu 24 Minuten in einem einzigen Durchgang auf einem A100 80 GB. Es kostet 6,32 % WER – etwa einen Punkt mehr als Granite 4.1 2B für etwa das Vierzehnfache des Audios professional GPU-Sekunde.

Granite Speech 4.1 2B-NAR ist das interessantere technische Ergebnis. Es ist nicht autoregressiv: Es bearbeitet eine CTC-Hypothese in einem einzigen Vorwärtsdurchlauf mithilfe eines bidirektionalen LLM und erreicht RTFx ~1820 auf einem H100 bei Stapelgröße 128. Um dorthin zu gelangen, verzichtet es auf Japanisch, Sprachübersetzung und Key phrase-Biasing.

Qwen3-ASR-0.6B Behält alle 52 Sprachen bei und erreicht einen 2000-fachen Durchsatz bei Parallelität 128.

Die Streaming-Stufe

Ein Batch-WER scheint der falsche Check für ein Streaming-Modell zu sein, und die Bestenliste bewertet sie trotzdem. Voxtral Realtime liegt bei 7,68 % und Kyutai STT 2.6B bei 6,40 % – beide unter Whisper – und keine der beiden Zahlen sagt etwas Nützliches über ihren Verwendungszweck aus.

Voxtral Mini 4B Realtime 2602 (Apache 2.0, 13 Sprachen) ist ein 3.4B-Sprachmodell mit einem von Grund auf trainierten kausalen 970M-Audio-Encoder mit Schiebefenster-Aufmerksamkeit auf beiden Hälften für effektiv unbegrenztes Streaming. Die Transkriptionsverzögerung ist in 80-ms-Schritten von 80 ms bis 1200 ms konfigurierbar, plus einer eigenständigen 2400-ms-Possibility; Mistral empfiehlt 480 ms als Candy Spot und berichtet, dass es bei dieser Einstellung mit führenden offenen Offline-Modellen mithalten kann. Es läuft auf einer einzelnen 16-GB-GPU und hatte Day-0-vLLM-Echtzeit-API-Unterstützung.

Kyutai STT (CC-BY-4.0) gibt es in zwei Formen: als ~1B-Englisch/Französisch-Modell mit einer Verzögerung von 0,5 Sekunden und einem integrierten semantischen Sprachaktivitätsdetektor und als 2,6B-Modell nur für Englisch mit einer Verzögerung von 2,5 Sekunden. Für Sprachagenten ist der semantische VAD wichtiger als die Transkriptionsverzögerung – er sagt voraus, wann der Sprecher tatsächlich fertig ist, was die wahrgenommene Latenz beim Abwechseln bestimmt. Ein H100 bedient 400 gleichzeitige Streams in Echtzeit.

Die Deckungsstufe

Metas omnilingualer ASR (Apache 2.0, Korpus CC-BY) konkurriert nicht auf WER und sollte nicht so bewertet werden, als ob dies der Fall wäre. Es deckt nativ mehr als 1.600 Sprachen ab und erweitert sich durch Zero-Shot-In-Context-Lernen auf mehr als 5.400 Sprachen. Es basiert auf einem wav2vec 2.0-Encoder, der auf 7B skaliert und in etwa 4,3 Millionen Stunden vorab trainiert wurde. Die 7B LLM-ASR-Variante erreicht eine Zeichenfehlerrate von unter 10 % bei 78 % der unterstützten Sprachen, darunter 500+, die noch nie zuvor von einem ASR-System unterstützt wurden. Die Encodergrößen reichen von 300M bis 7B. Meta veröffentlichte außerdem den Omnilingual ASR Corpus, der mehr als 350 unterversorgte Sprachen abdeckt.

Whisper Massive-v3 (1.55B, MIT, 99 Sprachen) wurde hinsichtlich der Genauigkeit von etwa zehn offenen Modellen überholt und bleibt für eine große Klasse von Projekten der korrekte Standardwert. MIT ist die am wenigsten belastete Lizenz auf diesem Gebiet. Das Laufzeit-Ökosystem – Whisper.cpp, Sooner-Whisper, WhisperX – hat unter den neueren Versionen kein Äquivalent. Wenn Ihre Anforderung „etwas Sprache, etwas {Hardware}, kein Lizenzanwalt“ lautet, ist dies immer noch die Antwort.

Der Vorsprung der Forschung

diffusion-gemma-asr-klein vom YC-Startup Interfaze ist die architektonisch kreativste Veröffentlichung des Jahres. Es erzeugt Transkripte durch paralleles Diffusions-Diffusions-Rauschunterdrücken über einen 256-Token-Canvas in 8 bis 16 Schritten, sodass die Dekodierungskosten nicht mit der Länge des Transkripts steigen. Es wurden nur ~42 Millionen Parameter trainiert – 0,16 % der Gewichte – auf einem eingefrorenen 26B DiffusionGemma und einem eingefrorenen Flüsterklein-Encoder. Beim LibriSpeech-Check-Clear erreicht es 6,6 % WER bei etwa 11- bis 17-facher Echtzeit. Es erreicht außerdem 15,7 % bei FLEURS Englisch und 29,6 % CER bei FLEURS Mandarin. Behandeln Sie daher die LibriSpeech-Zahl als Obergrenze. Niemand sollte dies einsetzen. Jeder, der an ASR arbeitet, sollte es lesen.

MOSS-Transkribieren-Diarisieren 0,9B (Apache 2.0, 50+ Sprachen) löst das Downside, das die meisten Zusammenfassungen ignorieren: Es gibt Sprecherbezeichnungen, Wortzeitstempel und Transkript in einer Era aus, anstatt ASR an einen separaten Diarisierungsstapel zu verketten. 128.000 Kontext, etwa 90 Minuten Audio in einem Durchgang, RTF ~0,017 auf einer RTX 4090, mit Hotword-Bias.

Die Lizenzaufteilung liest bis zur Bereitstellung niemand

Dies ist der Abschnitt, der den Versand tatsächlich blockiert, und das Feld ist sauber unterteilt:

Apache 2.0: Cohere Transcribe, Granite Speech 4.1 (alle drei Varianten), Qwen3-ASR (beide Größen), Voxtral Mini Realtime, Omnilingual ASR, ARK-ASR, MOSS-Transcribe. Keine Quellenangabepflicht, kommerzielle Nutzung uneingeschränkt. Beachten Sie, dass das Repo von Cohere einer Kontaktinformationsvereinbarung unterliegt, obwohl die Lizenz selbst Apache 2.0 ist.

MIT: Whisper Massive-v3. Die freizügigste Possibility auf diesem Gebiet.

CC-BY-4.0: Canary-Qwen-2.5B, Parakeet TDT 0.6B v3, Kyutai STT. Gewerblich nutzbar, Namensnennung erforderlich. Für ein eingebettetes Produkt oder eine White-Label-API stellt dies eine echte Compliance-Verpflichtung dar und ist der häufigste Grund dafür, dass Groups am Ende ein Modell ausliefern, das nicht das genaueste ist, das sie getestet haben.

Metas Omnilingual ASR trennt die beiden: Apache 2.0 für Modelle, CC-BY für den Korpus.

Wie man tatsächlich wählt

Führen Sie diese Reihenfolge aus, nicht nur die Ranglistenreihenfolge:

1. Lizenz: Wenn die Namensnennung ein Blocker ist, entfernt CC-BY-4.0 Parakeet, Canary-Qwen und Kyutai, bevor Sie irgendetwas vergleichen.
2. Sprachabdeckung: Die 14 Sprachen von Cohere, die 6 von Granite und die Nur-Englisch-Sprache von Canary sind harte Grenzen, keine weichen. Darüber hinaus verfügt Cohere über keine automatische Spracherkennung, sodass Sie die Sprache im Voraus kennen müssen.
3. Streaming oder Batch: Das ist architektonisch. Kein Aufwand an Optimierung verwandelt einen Offline-Encoder-Decoder in ein Streaming-Modell mit geringer Latenz.
4. Dann messen Sie WER auf Ihrem eigenen Audio: Der Abstand zwischen den Prime-Ten-Modellen im öffentlichen Benchmark beträgt weniger als einen Punkt. Die Streuung Ihres akzentuierten, verrauschten, domänenspezifischen Audios wird um ein Vielfaches höher sein und die Modelle werden nicht in derselben Reihenfolge eingestuft.
5. Berechnen Sie dann die Kosten professional Audiostunde auf Ihren eigenen GPUs: RTFx-Zahlen werden bei großen Batchgrößen auf Rechenzentrumshardware gemessen und nicht übertragen.

Die nützliche Zusammenfassung des Jahres 2026 ist nicht, dass ein einzelnes Modell gewonnen hat. Es liegt daran, dass ein 2B-Modell mit offenem Gewicht und einer freizügigen Lizenz jetzt die Preise übertrifft, die geschlossene APIs vor 18 Monaten verlangten, und dass die verbleibende Entscheidung eher eine Beschaffungsfrage als eine Forschungsfrage ist.

---

Quellen:

Die Positionen in der Bestenliste sind stay und ändern sich häufig. Alle Zahlen wurden am 23. Juli 2026 anhand von Primärquellen überprüft.

In der Welt der Sprach-KI wird der Unterschied zwischen einem hilfreichen Assistenten und einer unangenehmen Interaktion in Millisekunden gemessen. Während sich textbasierte Retrieval-Augmented Era (RAG)-Systeme einige Sekunden „Denkzeit“ leisten können, müssen Sprachagenten innerhalb von 200 Sekunden reagierenMS Funds, um einen natürlichen Gesprächsfluss aufrechtzuerhalten. Standardmäßige Produktionsvektordatenbankabfragen fügen normalerweise 50–300 hinzuMS der Netzwerklatenz, wodurch effektiv das gesamte Funds verbraucht wird, bevor ein LLM überhaupt mit der Generierung einer Antwort beginnt.

Das Salesforce-KI-Forschungsteam hat veröffentlicht VoiceAgentRAGeine Open-Supply-Architektur mit zwei Agenten, die diesen Abrufengpass umgehen soll, indem das Abrufen von Dokumenten von der Antwortgenerierung entkoppelt wird.

Die Twin-Agent-Architektur: Schneller Redner vs. Langsamer Denker

VoiceAgentRAG fungiert als Speicherrouter, der zwei gleichzeitige Agenten über einen asynchronen Ereignisbus orchestriert:

• Der schnelle Redner (Vordergrundagent): Dieser Agent verwaltet den kritischen Latenzpfad. Bei jeder Benutzerabfrage wird zunächst ein lokaler In-Reminiscence-Speicher überprüft Semantischer Cache. Wenn der erforderliche Kontext vorhanden ist, dauert die Suche etwa 0,35MS. Bei einem Cache-Fehler greift es auf die Distant-Vektordatenbank zurück und speichert die Ergebnisse sofort für zukünftige Runden zwischen.
• Der Langsame Denker (Hintergrundagent): Dieser Agent wird als Hintergrundaufgabe ausgeführt und überwacht kontinuierlich den Gesprächsstrom. Es nutzt ein Schiebefenster des letzten sechs Gesprächsrunden vorhersagen 3–5 wahrscheinliche Folgethemen. Anschließend ruft es relevante Dokumentblöcke aus dem Distant-Vektorspeicher in den lokalen Cache ab, bevor der Benutzer überhaupt seine nächste Frage stellt.

Um die Suchgenauigkeit zu optimieren, wird der Sluggish Thinker angewiesen, zu generieren Beschreibungen im Dokumentstil statt Fragen^{. Dadurch wird sichergestellt, dass die resultierenden Einbettungen besser mit der tatsächlichen Prosa in der Wissensdatenbank übereinstimmen.}

Das technische Rückgrat: Semantisches Caching

Die Effizienz des Methods hängt von einem speziellen semantischen Cache ab, der mit einem In-Reminiscence implementiert wird FAISS IndexFlat IP (inneres Produkt)^.

• Indizierung zur Einbettung von Dokumenten: Im Gegensatz zu passiven Caches, die nach Abfragebedeutung indizieren, indiziert VoiceAgentRAG Einträge selbst Einbettungen von Dokumenten. Dadurch kann der Cache eine ordnungsgemäße semantische Suche über seinen Inhalt durchführen und so die Relevanz sicherstellen, selbst wenn die Formulierung des Benutzers von den Vorhersagen des Methods abweicht.
• Schwellenwertmanagement: Da die Kosinus-Ähnlichkeit zwischen Abfrage und Dokument systematisch geringer ist als die Ähnlichkeit zwischen Abfrage und Abfrage, verwendet das System einen Standardschwellenwert von $tau = 0,40$ um Präzision und Erinnerung in Einklang zu bringen.
• Wartung: Der Cache erkennt Beinahe-Duplikate mithilfe von a 0,95 Kosinus-Ähnlichkeitsschwelle und beschäftigt a Am wenigsten kürzlich genutzt (LRU) Räumungspolitik mit a 300 Sekunden Time-To-Dwell (TTL).
• Prioritätsabruf: Bei einem Quick-Talker-Cache-Fehlschlag, a PriorityRetrieval Das Ereignis veranlasst den Sluggish Thinker, einen sofortigen Abruf mit einem durchzuführen erweitertes High-Ok (2x die Standardeinstellung) um den Cache um den neuen Themenbereich schnell zu füllen.

Benchmarks und Leistung

Das Forschungsteam bewertete das System anhand von Qdrant Cloud als Distant-Vektordatenbank für 200 Abfragen und 10 Konversationsszenarien.

Metrisch	Leistung
Gesamt-Cache-Trefferrate	75 % (79 % bei warmen Kurven)
Beschleunigung des Abrufs	316x $(110 ms rightarrow 0,35 ms)$
Gesamte Zeitersparnis beim Abrufen	16,5 Sekunden über 200 Umdrehungen

Die Architektur ist in thematisch kohärenten oder thematisch nachhaltigen Szenarien am effektivsten. Zum Beispiel, ‚Funktionsvergleich‘ (S8) erreicht a 95 % Trefferquote. Umgekehrt sank die Leistung in volatileren Szenarien; Das Szenario mit der niedrigsten Leistung struggle „Bestandskunden-Improve“ (S9) bei a 45 % Trefferquotewährend „Gemischtes Schnellfeuer“ (S10) 55 % beibehielt.

Integration und Help

Das VoiceAgentRAG-Repository ist auf umfassende Kompatibilität mit dem gesamten KI-Stack ausgelegt:

• LLM-Anbieter: Unterstützt OpenAI, Anthropisch, Zwillinge/Vertex-KIUnd Ollama. Das Standardbewertungsmodell des Papiers struggle GPT-4o-mini.
• Einbettungen: Die Forschung genutzt OpenAI text-embedding-3-small (1536 Dimensionen), aber das Repository bietet Unterstützung für beide OpenAI Und Ollama Einbettungen.
• STT/TTS: Unterstützt Flüstern (lokal oder OpenAI) für Speech-to-Textual content und Edge-TTS oder OpenAI für Textual content-to-Speech.
• Vector Shops: Integrierte Unterstützung für FAISS Und Qdrant.

Wichtige Erkenntnisse

• Twin-Agent-Architektur: Das System löst den RAG-Latenzengpass, indem es einen „Quick Talker“ im Vordergrund für Cache-Suchen unter einer Millisekunde und einen „Sluggish Thinker“ im Hintergrund für vorausschauendes Vorabholen verwendet.
• Deutliche Beschleunigung: Es wird eine 316-fache Abrufgeschwindigkeit erreicht $(110 ms rightarrow 0,35 ms)$ bei Cache-Treffern, was entscheidend ist, um innerhalb des natürlichen Sprachantwortbudgets von 200 ms zu bleiben.
• Hohe Cache-Effizienz: Über verschiedene Szenarien hinweg behält das System eine Gesamt-Cache-Trefferquote von 75 % bei und erreicht bei thematisch zusammenhängenden Gesprächen wie Funktionsvergleichen einen Spitzenwert von 95 %.
• Dokumentindiziertes Caching: Um die Genauigkeit unabhängig von der Benutzerformulierung sicherzustellen, indiziert der semantische Cache Einträge nach Dokumenteinbettungen und nicht nach der Einbettung der vorhergesagten Abfrage.
• Vorausschauendes Vorabrufen: Der Hintergrundagent verwendet ein Schiebefenster der letzten sechs Gesprächsrunden, um wahrscheinliche Folgethemen vorherzusagen und den Cache während natürlicher Pausen zwischen den Gesprächsrunden zu füllen.

---

Schauen Sie sich das an Papier Und Repo hier. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Mistral AI wurde veröffentlicht Voxtral TTSein offenes Textual content-to-Speech-Modell, das den ersten großen Schritt des Unternehmens in die Audioerzeugung markiert. Nach der Veröffentlichung seiner Transkriptions- und Sprachmodelle stellt Mistral nun die letzte „Ausgabeschicht“ des Audio-Stacks bereit und positioniert sich damit als direkter Konkurrent proprietärer Sprach-APIs im Entwickler-Ökosystem.

Voxtral TTS ist mehr als nur ein synthetischer Sprachgenerator. Es handelt sich um eine leistungsstarke, modulare Komponente, die für die Integration in Echtzeit-Sprachworkflows konzipiert ist. Durch die Veröffentlichung des Modells unter a CC BY-NC-LizenzDas Mistral-Staff setzt seine Strategie fort, Entwicklern die Entwicklung und Bereitstellung bahnbrechender Funktionen zu ermöglichen, ohne den Einschränkungen durch Closed-Supply-API-Preise oder Datenschutzbeschränkungen unterliegen zu müssen.

Architektur: Das 4B-Parameter-Hybridmodell

Während sich viele neuere Entwicklungen im Textual content-to-Speech-Bereich auf huge, ressourcenintensive Architekturen konzentrierten, wurde bei der Entwicklung von Voxtral TTS auf Effizienz geachtet. ^{Die Modellfunktionen 4B-Parameternach modernen Grenzstandards als Leichtgewichtmodell eingestuft.}

Diese Parameteranzahl wird über eine Hybridarchitektur verteilt, die darauf ausgelegt ist, die üblichen Kompromisse zwischen Erzeugungsgeschwindigkeit und Natürlichkeit des Klangs zu lösen. Das System besteht aus drei Hauptkomponenten:

1. Transformator-Decoder-Spine: Ein 3.4B-Parametermodul basierend auf der Ministral-Architektur, das das Textverständnis übernimmt und semantische Darstellungen von Sprache vorhersagt.
2. Akustischer Transformator mit Strömungsanpassung: Ein 390M-Parametermodul, das diese semantischen Darstellungen in detaillierte akustische Merkmale umwandelt.
3. Neuronaler Audio-Codec: Ein 300M-Parameterdecoder, der die akustischen Merkmale wieder in eine Excessive-Constancy-Audiowellenform umwandelt.

Durch die Trennung der „Bedeutung“ der Sprache (Semantik) von der „Textur“ der Stimme (Akustik) sorgt Voxtral TTS für langfristige Konsistenz und liefert gleichzeitig die feinkörnigen Nuancen, die für eine lebensechte Interaktion erforderlich sind.

Leistung: 70 ms Latenz und hoher Durchsatz

Im Kontext produktionstauglicher KI ist die Latenz die entscheidende Einschränkung. Mistral hat Voxtral TTS für Streaming-Inferenz mit geringer Latenz optimiert, wodurch es für Konversationsagenten und Echtzeitübersetzung geeignet ist.

Das Modell erreicht a 70 ms Modelllatenz für ein typisches 10-Sekunden-Sprachbeispiel und eine Eingabe von 500 Zeichen. Diese Geschwindigkeit ist entscheidend für die Reduzierung der wahrgenommenen Verzögerung bei Voice-First-Anwendungen, bei denen selbst kleine Pausen den Fluss der Mensch-Maschine-Interaktion stören können.

Darüber hinaus verfügt das Modell über eine hohe Echtzeitfaktor (RTF) von ca. 9,7x. Das bedeutet, dass das System Audio quick zehnmal schneller synthetisieren kann, als es gesprochen wird. Für Entwickler bedeutet dieser Durchsatz niedrigere Rechenkosten und die Möglichkeit, Arbeitslasten mit hoher Parallelität auf Commonplace-Inferenzhardware zu bewältigen.

Globale Reichweite: 9 Sprachen und Dialektgenauigkeit

Voxtral TTS ist von Haus aus mehrsprachig und unterstützt 9 Sprachen von Anfang an: Englisch, Französisch, Deutsch, Spanisch, Niederländisch, Portugiesisch, Italienisch, Hindi und Arabisch.

Das Trainingsziel für das Modell geht über die einfache phonetische Übersetzung hinaus. Mistral hat die Aufnahmefähigkeit des Modells hervorgehoben numerous Dialektewobei die subtilen Veränderungen in Kadenz und Prosodie erkannt werden, die regionale Sprecher auszeichnen. Diese technische Präzision macht das Modell zu einem effektiven Werkzeug für globale Anwendungen – vom internationalen Kundensupport bis zur lokalisierten Inhaltserstellung –, bei denen ein allgemeiner, „abgeflachter“ Akzent oft den menschlichen Take a look at nicht besteht.

Adaptive Sprachanpassung

Eines der herausragenden Merkmale für KI-Entwickler ist die Benutzerfreundlichkeit des Modells Stimmanpassung. Voxtral TTS unterstützt das Klonen von Stimmen ohne oder mit wenigen Schüssen und ermöglicht so die Anpassung an eine neue Stimme mit nur wenigen Handgriffen 3 Sekunden Referenzaudio.

Diese Funktion ermöglicht die Erstellung konsistenter Markenstimmen oder personalisierter Benutzererlebnisse, ohne dass umfangreiche Feinabstimmungen erforderlich sind. Da das Modell eine faktorisierte Darstellung verwendet, kann es die Eigenschaften einer Referenzstimme (Klangfarbe, Ton und Tonhöhe) auf jeden generierten Textual content anwenden und dabei die korrekte sprachliche Prosodie der Zielsprache beibehalten.

Benchmarks: Eine Herausforderung für die proprietären Giganten

Die Bewertungen von Mistral konzentrieren sich insbesondere darauf, wie Voxtral TTS im Vergleich zu den aktuellen Branchenführern im Bereich der synthetischen Sprache abschneidet ElfLabs. In menschlichen Präferenztests, die von Muttersprachlern durchgeführt wurden, Voxtral TTS zeigte deutliche Zuwächse an Natürlichkeit und Ausdruckskraft.

• Vs. ElevenLabs Flash v2.5: Voxtral TTS erreichte a 68,4 % Gewinnquote in mehrsprachigen Voice-Cloning-Bewertungen.
• Vs. ElevenLabs v3: Das Modell erreichte Parität oder höhere Werte in SprecherähnlichkeitDies beweist, dass ein Modell mit offener Gewichtung die Wiedergabetreue der fortschrittlichsten proprietären Flaggschiff-Stimmen effektiv erreichen kann.

Diese Benchmarks deuten darauf hin, dass sich die Leistungslücke zwischen Open-Supply-Instruments und kostenintensiven APIs für viele Anwendungsfälle in Unternehmen praktisch geschlossen hat.

Bereitstellung und Integration

Voxtral TTS ist als Teil eines umfassenden Programs konzipiert Audio-Intelligenz Stapel. Es integriert sich nativ mit Voxtrale Transkriptionwodurch eine Finish-to-Finish-Speech-to-Speech-Pipeline (S2S) erstellt wird.

Für KI-Entwickler, die auf einer lokalen oder privaten Cloud-Infrastruktur aufbauen, ist der geringe Platzbedarf des Modells ein erheblicher Vorteil. Das Staff von Mistral hat bestätigt, dass das Modell effizient genug ist, um im Standardbetrieb zu laufen Smartphone und Laptop computer {Hardware} einmal quantisiert. Diese „Edge-Readiness“ ermöglicht eine neue Klasse privater Offline-Anwendungen, von sicheren Unternehmensassistenten bis hin zu Instruments für die Barrierefreiheit auf dem Gerät.

Spezifikation	Metrisch
Modellgröße	4B Parameter
Latenz (10 Sekunden Stimme / 500 Zeichen)	70ms
Echtzeitfaktor (RTF)	~9,7x
Unterstützte Sprachen	9
Referenz-Audio erforderlich	3 – 30 Sekunden
Lizenz	CC BY-NC

Wichtige Erkenntnisse

• Hocheffizientes 4B-Parametermodell: Voxtral TTS ist ein Frontier-Modell mit offenem Gewicht 4B-Parameter Footprint unter Verwendung einer Hybridarchitektur, die autoregressive semantische Generierung mit Circulate-Matching für akustische Particulars kombiniert.
• Extrem niedrige Latenz von 70 ms: Das für Echtzeitanwendungen optimierte Modell erreicht a 70 ms Modelllatenz für ein typisches 10-Sekunden-Sprachbeispiel (Eingabe von 500 Zeichen) und eine beeindruckende Echtzeitfaktor (RTF) von ca. 9,7x.
• Überlegene mehrsprachige Leistung: Das Modell unterstützt 9 Sprachen (Englisch, Französisch, Deutsch, Spanisch, Niederländisch, Portugiesisch, Italienisch, Hindi und Arabisch) und übertraf die Leistung ElevenLabs Flash v2.5 mit einem 68,4 % Gewinnquote in menschlichen Präferenztests für das Klonen mehrsprachiger Stimmen.
• Sofortige Sprachanpassung: Entwickler können mit nur wenig Aufwand ein Excessive-Constancy-Stimmenklonen erreichen 3 Sekunden Referenzaudiowas eine sprachübergreifende Zero-Shot-Anpassung ermöglicht, bei der die einzigartige Identität eines Sprechers über verschiedene Sprachen hinweg erhalten bleibt.
• Vollständige Audio-Stack-Integration: Es ist als „Ausgabeschicht“ einer einheitlichen Audio-Intelligence-Pipeline konzipiert und lässt sich nativ integrieren Voxtrale Transkription um durchgängige Speech-to-Speech-Workflows mit geringer Latenz zu erstellen.

---

Schauen Sie sich das an Papier, Modellgewicht Und Technische Particulars. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

eine erhebliche Anzahl von Aufgaben zu automatisieren. Seit der Veröffentlichung von ChatGPT im Jahr 2022 sehen wir immer mehr KI-Produkte auf dem Markt, die LLMs nutzen. Es gibt jedoch noch viele Verbesserungsmöglichkeiten bei der Artwork und Weise, wie wir LLMs nutzen. Die Verbesserung Ihrer Eingabeaufforderung mit einem LLM-Eingabeaufforderungsverbesserer und die Verwendung zwischengespeicherter Token sind beispielsweise zwei einfache Techniken, mit denen Sie die Leistung Ihrer LLM-Anwendung erheblich verbessern können.

In diesem Artikel bespreche ich mehrere spezifische Techniken, die Sie bei der Erstellung und Strukturierung Ihrer Eingabeaufforderungen anwenden können, um Latenz und Kosten zu reduzieren und auch die Qualität Ihrer Antworten zu erhöhen. Ziel ist es, Ihnen diese spezifischen Techniken vorzustellen, damit Sie sie sofort in Ihre eigene LLM-Anwendung implementieren können.

Warum Sie Ihre Eingabeaufforderung optimieren sollten

In vielen Fällen verfügen Sie möglicherweise über eine Eingabeaufforderung, die mit einem bestimmten LLM funktioniert und angemessene Ergebnisse liefert. Allerdings haben Sie in vielen Fällen nicht viel Zeit damit verbracht, die Eingabeaufforderung zu optimieren, sodass noch viel Potenzial offen bleibt.

Ich behaupte, dass Sie mit den spezifischen Techniken, die ich in diesem Artikel vorstelle, ohne großen Aufwand sowohl die Qualität Ihrer Antworten verbessern als auch die Kosten senken können. Nur weil ein Immediate und LLM funktionieren, heißt das nicht, dass es optimum funktioniert, und in vielen Fällen können Sie mit sehr geringem Aufwand große Verbesserungen feststellen.

Spezifische Techniken zur Optimierung

In diesem Abschnitt werde ich die spezifischen Techniken behandeln, die Sie zur Optimierung Ihrer Eingabeaufforderungen verwenden können.

Behalten Sie statische Inhalte immer frühzeitig bei

Die erste Technik, die ich behandeln werde, besteht darin, statische Inhalte immer früh in Ihrer Eingabeaufforderung beizubehalten. Mit statischen Inhalten beziehe ich mich auf Inhalte, die gleich bleiben, wenn Sie mehrere API-Aufrufe durchführen.

Der Grund, warum Sie den statischen Inhalt frühzeitig beibehalten sollten, liegt darin, dass alle großen LLM-Anbieter wie Anthropic, Google und OpenAI zwischengespeicherte Token verwenden. Zwischengespeicherte Token sind Token, die bereits in einer vorherigen API-Anfrage verarbeitet wurden und kostengünstig und schnell verarbeitet werden können. Es variiert von Anbieter zu Anbieter, aber zwischengespeicherte Eingabe-Tokens kosten normalerweise etwa 10 % der normalen Eingabe-Tokens.

Zwischengespeicherte Token sind Token, die bereits in einer vorherigen API-Anfrage verarbeitet wurden und verarbeitet werden können günstiger und schneller als normale Token

Das heißt, wenn Sie denselben Immediate zweimal hintereinander einsenden, kosten die Enter-Tokens des zweiten Prompts nur 1/10 der Enter-Tokens des ersten Prompts. Dies funktioniert, weil die LLM-Anbieter die Verarbeitung dieser Eingabe-Tokens zwischenspeichern, was die Bearbeitung Ihrer neuen Anfrage günstiger und schneller macht.

---

In der Praxis werden Eingabetokens zwischengespeichert, indem Variablen am Ende der Eingabeaufforderung beibehalten werden.

Wenn Sie beispielsweise eine lange Systemaufforderung mit einer Frage haben, die von Anfrage zu Anfrage unterschiedlich ist, sollten Sie etwa so vorgehen:

immediate = f"""
{lengthy static system immediate}

{consumer immediate}
"""

Zum Beispiel:

immediate = f"""
You're a doc professional ...
It is best to at all times reply on this format ...
If a consumer asks about ... you need to reply ...

{consumer query}
"""

Hier haben wir zuerst den statischen Inhalt der Eingabeaufforderung, bevor wir zuletzt den variablen Inhalt (die Benutzerfrage) einfügen.

---

In manchen Szenarien möchten Sie Dokumentinhalte einspeisen. Wenn Sie viele verschiedene Dokumente verarbeiten, sollten Sie den Dokumentinhalt am Ende der Eingabeaufforderung beibehalten:

# if processing completely different paperwork
immediate = f"""
{static system immediate}
{variable immediate instruction 1}
{doc content material}
{variable immediate instruction 2}
{consumer query}
"""

Angenommen, Sie verarbeiten dieselben Dokumente mehrmals. In diesem Fall können Sie sicherstellen, dass auch die Tokens des Dokuments zwischengespeichert werden, indem Sie zuvor sicherstellen, dass keine Variablen in die Eingabeaufforderung eingefügt werden:

# if processing the identical paperwork a number of occasions
immediate = f"""
{static system immediate}
{doc content material} # maintain this earlier than any variable directions
{variable immediate instruction 1}
{variable immediate instruction 2}
{consumer query}
"""

Beachten Sie, dass zwischengespeicherte Token normalerweise nur aktiviert werden, wenn die ersten 1024 Token in zwei Anfragen gleich sind. Wenn Ihre statische Systemaufforderung im obigen Beispiel beispielsweise kürzer als 1024 Token ist, werden Sie keine zwischengespeicherten Token verwenden.

# do NOT do that
immediate = f"""
{variable content material} < --- this removes all utilization of cached tokens
{static system immediate}
{doc content material}
{variable immediate instruction 1}
{variable immediate instruction 2}
{consumer query}
"""

Ihre Eingabeaufforderungen sollten immer zuerst mit den statischsten Inhalten (der Inhalt variiert von Anfrage zu Anfrage) und dem dynamischsten Inhalt (der Inhalt variiert am meisten von Anfrage zu Anfrage) erstellt werden.

1. Wenn Sie eine lange System- und Benutzeraufforderung ohne Variablen haben, sollten Sie diese zunächst beibehalten und die Variablen am Ende der Eingabeaufforderung hinzufügen
2. Wenn Sie beispielsweise Textual content aus Dokumenten abrufen und dasselbe Dokument zweimal verarbeiten, sollten Sie dies tun

Könnte der Inhalt eines Dokuments sein, oder wenn Sie eine lange Eingabeaufforderung haben -> nutzen Sie Caching

Frage zum Schluss

Eine weitere Technik, die Sie zur Verbesserung der LLM-Leistung nutzen sollten, besteht darin, die Benutzerfrage immer am Ende Ihrer Eingabeaufforderung zu platzieren. Idealerweise organisieren Sie es so, dass Ihre Systemaufforderung alle allgemeinen Anweisungen enthält und die Benutzeraufforderung einfach nur aus der Benutzerfrage besteht, wie zum Beispiel unten:

system_prompt = "<basic directions>"

user_prompt = f"{user_question}"

In den Immediate-Engineering-Dokumenten von Anthropic kann der Standing, der die Benutzeraufforderung am Ende enthält, die Leistung um bis zu 30 % verbessern, insbesondere wenn Sie lange Kontexte verwenden. Durch das Einfügen der Frage am Ende wird dem Modell klarer, welche Aufgabe es erfüllen möchte, und es führt in vielen Fällen zu besseren Ergebnissen.

Verwendung eines Immediate-Optimierers

Wenn Menschen Eingabeaufforderungen schreiben, werden diese häufig unordentlich, inkonsistent, enthalten redundante Inhalte und weisen keine Struktur auf. Daher sollten Sie Ihre Eingabeaufforderung immer über einen Eingabeaufforderungsoptimierer einspeisen.

Der einfachste Immediate-Optimierer, den Sie verwenden können, besteht darin, einen LLM dazu aufzufordern Verbessere diese Eingabeaufforderung {immediate}, und Sie erhalten eine strukturiertere Eingabeaufforderung mit weniger redundanten Inhalten usw.

Ein noch besserer Ansatz besteht jedoch darin, einen bestimmten Immediate-Optimierer zu verwenden, wie er beispielsweise in den Konsolen von OpenAI oder Anthropic zu finden ist. Bei diesen Optimierern handelt es sich um LLMs, die speziell zur Optimierung Ihrer Eingabeaufforderungen erstellt und erstellt wurden und in der Regel bessere Ergebnisse liefern. Darüber hinaus sollten Sie darauf achten, Folgendes einzubeziehen:

• Particulars zu der Aufgabe, die Sie erreichen möchten
• Beispiele für Aufgaben, bei denen die Eingabeaufforderung erfolgreich conflict, sowie für die Eingabe und Ausgabe
• Beispiel für Aufgaben, bei denen die Eingabeaufforderung fehlgeschlagen ist, mit Eingabe und Ausgabe

Die Bereitstellung dieser zusätzlichen Informationen führt in der Regel zu weitaus besseren Ergebnissen und Sie erhalten am Ende eine viel bessere Eingabeaufforderung. In vielen Fällen benötigen Sie nur etwa 10 bis 15 Minuten und erhalten am Ende eine wesentlich leistungsfähigere Eingabeaufforderung. Dies macht die Verwendung eines Immediate-Optimierers zu einem der Ansätze mit dem geringsten Aufwand zur Verbesserung der LLM-Leistung.

Benchmark-LLMs

Das von Ihnen verwendete LLM hat auch erhebliche Auswirkungen auf die Leistung Ihrer LLM-Anwendung. Verschiedene LLMs eignen sich für unterschiedliche Aufgaben, daher müssen Sie die verschiedenen LLMs in Ihrem spezifischen Anwendungsbereich ausprobieren. Ich empfehle, zumindest einen Zugang zu den größten LLM-Anbietern wie Google Gemini, OpenAI und Anthropic einzurichten. Die Einrichtung ist ganz einfach und der Wechsel Ihres LLM-Anbieters dauert nur wenige Minuten, wenn Sie bereits Anmeldeinformationen eingerichtet haben. Darüber hinaus können Sie auch das Testen von Open-Supply-LLMs in Betracht ziehen, obwohl diese in der Regel einen höheren Aufwand erfordern.

Sie müssen nun einen spezifischen Benchmark für die Aufgabe festlegen, die Sie erreichen möchten, und herausfinden, welches LLM am besten funktioniert. Darüber hinaus sollten Sie die Modellleistung regelmäßig überprüfen, da die großen LLM-Anbieter ihre Modelle gelegentlich aktualisieren, ohne unbedingt eine neue Model herauszubringen. Natürlich sollten Sie auch bereit sein, neue Modelle der großen LLM-Anbieter auszuprobieren.

Abschluss

In diesem Artikel habe ich vier verschiedene Techniken behandelt, mit denen Sie die Leistung Ihrer LLM-Anwendung verbessern können. Ich habe die Verwendung zwischengespeicherter Token, die Frage am Ende der Eingabeaufforderung, die Verwendung von Eingabeaufforderungsoptimierern und die Erstellung spezifischer LLM-Benchmarks besprochen. Diese sind alle relativ einfach einzurichten und durchzuführen und können zu einer erheblichen Leistungssteigerung führen. Ich glaube, dass es viele ähnliche und einfache Techniken gibt, und Sie sollten immer versuchen, nach ihnen Ausschau zu halten. Diese Themen werden normalerweise in verschiedenen Blogbeiträgen beschrieben, wobei Anthropic einer der Blogs ist, der mir am meisten dabei geholfen hat, die LLM-Leistung zu verbessern.

Finden Sie mich in den sozialen Netzwerken:

Abonnieren Sie meinen E-newsletter

Nehmen Sie Kontakt auf

LinkedIn

X / Twitter

Medium

Sie können auch einige meiner anderen Artikel lesen: