Warum schneiden aktuelle Audio-KI-Modelle oft schlechter ab, wenn sie längere Überlegungen generieren, anstatt ihre Entscheidungen auf den tatsächlichen Klang zu stützen? Das Forschungsteam von StepFun veröffentlicht Step-Audio-R1, ein neues Audio-LLM, das für die Berechnungsskalierung in Testzeiten entwickelt wurde und diesen Fehlermodus behebt, indem es zeigt, dass der Genauigkeitsabfall mit der Gedankenkette keine Audiobeschränkung, sondern ein Trainings- und Modalitätserdungsproblem ist.

Das Kernproblem, die Begründung von Audiomodellen gegenüber Textsurrogaten

Die meisten aktuellen Audiomodelle erben ihr Argumentationsverhalten aus dem Texttraining. Sie lernen zu argumentieren, als würden sie Transkripte lesen, und nicht als würden sie zuhören. Das StepFun-Workforce nennt dies Textual Surrogate Reasoning. Das Modell verwendet imaginäre Wörter und Beschreibungen anstelle von akustischen Hinweisen wie Tonhöhenkontur, Rhythmus, Klangfarbe oder Hintergrundgeräuschmustern.

Dieses Missverhältnis erklärt, warum eine längere Gedankenkette oft die Audioleistung beeinträchtigt. Das Modell gibt mehr Token aus, um falsche oder modalitätsirrelevante Annahmen auszuarbeiten. Step-Audio-R1 greift hier an, indem es das Modell zwingt, Antworten anhand akustischer Beweise zu begründen. Die Trainingspipeline ist rund um die Modality Grounded Reasoning Distillation (MGRD) organisiert, die Argumentationsspuren auswählt und destilliert, die explizit auf Audiofunktionen verweisen.

Architektur

Die Architektur bleibt nah an den bisherigen Step-Audio-Systemen:

• Ein Qwen2-basierter Audio-Encoder verarbeitet Rohwellenformen mit 25 Hz.
• Ein Audioadapter sampelt die Encoder-Ausgabe um den Faktor 2 auf 12,5 Hz herunter und richtet Frames am Sprach-Token-Stream aus.
• Ein Qwen2.5 32B-Decoder nutzt die Audiofunktionen und generiert Textual content.

Der Decoder erzeugt im Inneren immer einen expliziten Argumentationsblock <assume> Und </assume> Tags, gefolgt von der endgültigen Antwort. Durch diese Trennung können Trainingsziele die Struktur und den Inhalt des Denkens beeinflussen, ohne den Fokus auf die Genauigkeit der Aufgabe zu verlieren. Das Modell wird als 33B-Parameter-Audio-Textual content-zu-Textual content-Modell veröffentlicht Hugging Face unter Apache 2.0.

Trainingspipeline, vom Kaltstart bis zum Audio Grounded RL

Die Pipeline verfügt über eine überwachte Kaltstartphase und eine Verstärkungslernphase, die sowohl Textual content- als auch Audioaufgaben mischen.

Kaltstart verwendet etwa 5 Millionen Beispiele und deckt 1 Milliarde Token aus reinen Textdaten und 4 Milliarden Token aus gepaarten Audiodaten ab. Zu den Audioaufgaben gehören automatische Spracherkennung, paralinguistisches Verstehen und Dialoge im Stil von Audiofragen und Antworten. Ein Bruchteil der Audiodaten enthält eine Audiokette von Gedankenspuren, die von einem früheren Modell generiert wurden. Textdaten umfassen Multi-Flip-Dialoge, die Beantwortung von Wissensfragen, Mathematik und Code-Argumentation. Alle Beispiele haben ein gemeinsames Format, in das die Argumentation eingebettet ist <assume> Tags, auch wenn der Argumentationsblock zunächst leer ist.

Überwachtes Lernen trainiert Step-Audio-R1, diesem Format zu folgen und nützliche Argumente für Audio und Textual content zu generieren. Dies ergibt eine Grundkette des Denkverhaltens, ist jedoch immer noch auf textbasiertes Denken ausgerichtet.

Modalitätsbasierte Argumentationsdestillation MGRD

MGRD wird in mehreren Iterationen angewendet. Für jede Runde stellt das Forschungsteam Audiofragen, bei denen die Bezeichnung von tatsächlichen akustischen Eigenschaften abhängt. Zum Beispiel Fragen zur Sprecheremotion, zum Hintergrundgeschehen in Klangszenen oder zur musikalischen Struktur. Das aktuelle Modell erzeugt mehrere Argumentations- und Antwortkandidaten professional Frage. Ein Filter behält nur Ketten, die drei Einschränkungen erfüllen:

1. Sie beziehen sich auf akustische Hinweise, nicht nur auf Textbeschreibungen oder imaginäre Transkripte.
2. Sie sind als kurze Schritt-für-Schritt-Erklärungen logisch schlüssig.
3. Ihre endgültigen Antworten sind gemäß Labels oder programmatischen Prüfungen korrekt.

Diese akzeptierten Spuren bilden einen destillierten Audio-Gedankenketten-Datensatz. Das Modell wird anhand dieses Datensatzes zusammen mit den ursprünglichen Textbegründungsdaten feinabgestimmt. Darauf folgt Reinforcement Studying with Verified Rewards, RLVR. Bei Textfragen basieren die Belohnungen auf der Richtigkeit der Antwort. Bei Audiofragen mischt der Belohnungsmix die Antwortkorrektheit und das Argumentationsformat mit einer typischen Gewichtung von 0,8 für Genauigkeit und 0,2 für Argumentation. Das Coaching verwendet PPO mit etwa 16 erfassten Antworten professional Eingabeaufforderung und unterstützt Sequenzen mit bis zu etwa 10.240 Token, um eine lange Beratung zu ermöglichen.

Benchmarks, die die Lücke zum Gemini 3 Professional schließen

Bei einer kombinierten Sprache-zu-Textual content-Benchmark-Suite, die Massive Bench Audio, Spoken MQA, MMSU, MMAU und Wild Speech umfasst, erreicht Step-Audio-R1 eine durchschnittliche Punktzahl von etwa 83,6 Prozent. Gemini 2.5 Professional meldet etwa 81,5 Prozent und Gemini 3 Professional erreicht etwa 85,1 Prozent. Allein auf Massive Bench Audio erreicht Step-Audio-R1 etwa 98,7 Prozent und ist damit höher als bei beiden Gemini-Versionen.

Für das Rede-to-Speech-Argumentation nutzt die Step-Audio-R1-Echtzeitvariante die Streaming-Stile „Hören beim Denken“ und „Denken beim Sprechen“. Beim Speech-to-Speech von Massive Bench Audio wird eine Argumentationsgenauigkeit von etwa 96,1 Prozent erreicht, wobei die Latenz des ersten Pakets etwa 0,92 Sekunden beträgt. Dieser Wert übertrifft GPT-basierte Echtzeit-Basiswerte und native Audiodialoge im Gemini 2.5 Flash-Stil, während die Interaktion weniger als eine Sekunde beträgt.

Ablationen, worauf es beim Audio-Argument ankommt

Der Ablationsabschnitt bietet mehrere Designsignale für Ingenieure:

• Eine Belohnung im Argumentationsformat ist erforderlich. Ohne diese Möglichkeit verkürzt oder entfernt Verstärkungslernen tendenziell die Gedankenkette, was zu niedrigeren Audio-Benchmark-Ergebnissen führt.
• RL-Daten sollten auf Probleme mit mittlerem Schwierigkeitsgrad abzielen. Die Auswahl von Fragen, bei denen „Go“ bei 8 in einem mittleren Bereich liegt, führt zu stabileren Belohnungen und sorgt für eine lange Argumentation.
• Das Skalieren von RL-Audiodaten ohne eine solche Auswahl hilft nicht. Die Qualität der Eingabeaufforderungen und Beschriftungen ist wichtiger als die bloße Größe.

Die Forscher beschreiben außerdem eine Selbsterkennungs-Korrekturpipeline, die die Häufigkeit von Antworten wie „Ich kann nur Textual content lesen und keinen Ton hören“ in einem Modell reduziert, das auf die Verarbeitung von Geräuschen trainiert ist. Hierbei wird die direkte Präferenzoptimierung für kuratierte Präferenzpaare verwendet, bei denen das korrekte Verhalten darin besteht, Audioeingaben zu bestätigen und zu verwenden.

Wichtige Erkenntnisse

1. Step-Audio-R1 ist eines der ersten Audio-Sprachmodelle, das eine längere Gedankenkette in einen konsistenten Genauigkeitsgewinn für Audioaufgaben umwandelt und so den bei früheren Audio-LLMs aufgetretenen Fehler bei der invertierten Skalierung behebt.
2. Das Modell zielt explizit auf Textual Surrogate Reasoning ab, indem es die Modality Grounded Reasoning Destillation verwendet, die nur diejenigen Argumentationsspuren filtert und destilliert, die auf akustischen Hinweisen wie Tonhöhe, Klangfarbe und Rhythmus statt auf imaginären Transkripten beruhen.
3. Architektonisch kombiniert Step-Audio-R1 einen Qwen2-basierten Audio-Encoder mit einem Adapter und einem Qwen2.5 32B-Decoder, der immer generiert <assume> Argumentationssegmente vor den Antworten und wird als 33B-Audio-Textual content-zu-Textual content-Modell unter Apache 2.0 veröffentlicht.
4. Bei umfassenden Audio-Verständnis- und Argumentations-Benchmarks, die Sprache, Umgebungsgeräusche und Musik abdecken, übertrifft Step-Audio-R1 Gemini 2.5 Professional und erreicht eine Leistung, die mit Gemini 3 Professional vergleichbar ist, und unterstützt gleichzeitig eine Echtzeitvariante für Sprache-zu-Sprache-Interaktion mit geringer Latenz.
5. Das Trainingsrezept kombiniert groß angelegte überwachte Gedankenketten, modalitätsbasierte Destillation und Reinforcement Studying mit verifizierten Belohnungen und bietet einen konkreten und reproduzierbaren Entwurf für die Erstellung zukünftiger Audio-Argumentationsmodelle, die tatsächlich von der Skalierung der Testzeitberechnung profitieren.

Redaktionelle Anmerkungen

Step-Audio-R1 ist eine wichtige Veröffentlichung, da es die Gedankenkette von einer Belastung in ein nützliches Werkzeug für das Audio-Argumentieren umwandelt, indem es sich direkt mit textuellem Ersatzdenken mit Modality Grounded Reasoning Destillation und Reinforcement Studying mit verifizierten Belohnungen befasst. Es zeigt, dass die Skalierung der Testzeitberechnung Audiomodellen zugute kommen kann, wenn die Argumentation in akustischen Merkmalen verankert ist und Benchmark-Ergebnisse liefert, die mit Gemini 3 Professional vergleichbar sind, während sie gleichzeitig offen und für Ingenieure praktisch nutzbar bleiben. Insgesamt verwandelt diese Forschungsarbeit die erweiterte Überlegung in Audio-LLMs von einem konsistenten Fehlermodus in ein kontrollierbares und reproduzierbares Entwurfsmuster.

---

Schauen Sie sich das an Papier, Repo, Projektseite Und Modellgewichte. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Wie kann die Sprachbearbeitung so direkt und kontrollierbar werden wie das einfache Umschreiben einer Textzeile? StepFun AI verfügt über die Open-Supply-Lösung Step-Audio-EditX, ein 3B-Parameter-LLM-basiertes Audiomodell, das ausdrucksstarke Sprachbearbeitung in eine textähnliche Operation auf Token-Ebene umwandelt, statt in eine Signalverarbeitungsaufgabe auf Wellenformebene.

Warum Entwickler sich für steuerbares TTS interessieren?

Die meisten Zero-Shot-TTS-Systeme kopieren Emotionen, Stil, Akzent und Klangfarbe direkt aus einem kurzen Referenzaudio. Sie können natürlich klingen, aber die Kontrolle ist schwach. Stilaufforderungen in der Texthilfe gelten nur für domäneninterne Stimmen, und die geklonte Stimme ignoriert häufig die angeforderte Emotion oder den angeforderten Sprechstil.

Frühere Arbeiten versuchen, Faktoren mit zusätzlichen Encodern, gegnerischen Verlusten oder komplexen Architekturen zu entwirren. Step-Audio-EditX behält eine relativ verwickelte Darstellung bei und ändert stattdessen die Daten und das Put up-Trainingsziel. Das Modell lernt die Kontrolle, indem es viele Paare und Tripletts sieht, bei denen der Textual content festgelegt ist, sich aber ein Attribut mit großem Spielraum ändert.

Architektur, Twin-Codebuch-Tokenizer plus kompaktes Audio-LLM

Step-Audio-EditX verwendet den Twin-Codebuch-Tokenizer von Step-Audio wieder. Sprache wird in zwei Token-Streams abgebildet, einen linguistischen Stream bei 16,7 Hz mit einem Codebuch mit 1024 Einträgen und einen semantischen Stream bei 25 Hz mit einem Codebuch mit 4096 Einträgen. Die Token sind im Verhältnis 2 zu 3 verschachtelt. Der Tokenizer speichert Prosodie- und Emotionsinformationen, sodass diese nicht vollständig entwirrt werden können.

Zusätzlich zu diesem Tokenizer erstellt das StepFun-Forschungsteam ein 3B-Parameter-Audio-LLM. Das Modell wird von einem Textual content-LLM initialisiert und dann auf einem gemischten Korpus mit einem 1:1-Verhältnis aus reinem Textual content und Twin-Codebook-Audio-Tokens in Chat-Stil-Eingabeaufforderungen trainiert. Der Audio-LLM liest Textual content-Tokens, Audio-Tokens oder beides und generiert als Ausgabe immer Twin-Codebook-Audio-Tokens.

Ein separater Audio-Decoder übernimmt die Rekonstruktion. Ein auf Diffusionstransformatoren basierendes Flussanpassungsmodul sagt Mel-Spektrogramme aus Audio-Tokens, Referenzaudio und einer Lautsprechereinbettung voraus, und ein BigVGANv2-Vocoder wandelt Mel-Spektrogramme in Wellenformen um. Das Stream-Matching-Modul wird auf etwa 200.000 Stunden hochwertiger Sprache trainiert, wodurch die Aussprache und die Ähnlichkeit der Klangfarben verbessert werden.

Synthetische Daten mit großem Spielraum statt komplizierter Encoder

Die Schlüsselidee ist das Lernen mit großem Spielraum. Das Modell wird nachträglich auf Drillinge und Vierlinge trainiert, die den Textual content unverändert lassen und nur ein Attribut mit einer deutlichen Lücke ändern.

Für Zero-Shot-TTS verwendet Step-Audio-EditX einen hochwertigen internen Datensatz, hauptsächlich Chinesisch und Englisch, mit einer kleinen Menge Kantonesisch und Sichuanesisch und etwa 60.000 Sprechern. Die Daten decken große Unterschiede in Stil und Emotion innerhalb und zwischen Sprechern ab.(arXiv)

Für die Bearbeitung von Emotionen und Sprechstilen erstellt das Staff synthetische Triolen mit großem Rand (Textual content, Audio-Impartial, Audio-Emotion oder -Stil). Synchronsprecher nehmen für jede Emotion und jeden Stil etwa 10 Sekunden lange Clips auf. Durch das Zero-Shot-Klonen von StepTTS werden dann neutrale und emotionale Versionen für denselben Textual content und denselben Sprecher erstellt. Ein Margin-Scoring-Modell, das an einem kleinen, von Menschen beschrifteten Satz trainiert wird, bewertet Paare auf einer Skala von 1 bis 10, und es werden nur Proben mit einem Rating von mindestens 6 aufbewahrt.

Die paralinguistische Bearbeitung, die Atmung, Lachen, gefüllte Pausen und andere Tags umfasst, verwendet eine halbsynthetische Strategie auf Foundation des NVSpeech-Datensatzes. Das Forschungsteam erstellt Vierlinge, bei denen das Ziel das Unique-NVSpeech-Audio und -Transkript ist und die Eingabe eine geklonte Model ist, bei der Tags aus dem Textual content entfernt wurden. Dies ermöglicht eine Überwachung der Zeitbereichsbearbeitung ohne Margenmodell.

Reinforcement-Studying-Daten nutzen zwei Präferenzquellen. Menschliche Annotatoren bewerten 20 Kandidaten professional Eingabeaufforderung auf einer 5-Punkte-Skala hinsichtlich Korrektheit, Prosodie und Natürlichkeit, und Paare mit einer Marge von mehr als 3 werden beibehalten. Ein Verständnismodell bewertet Emotionen und Sprechstil auf einer Skala von 1 bis 10, wobei Paare mit einem Abstand von mehr als 8 beibehalten werden.

Nach dem Coaching SFT plus PPO für Token-Sequenzen

Das Put up-Coaching besteht aus zwei Phasen: überwachte Feinabstimmung gefolgt von PPO.

In überwachte FeinabstimmungSystemansagen definieren Zero-Shot-TTS und Bearbeitungsaufgaben in einem einheitlichen Chat-Format. Für TTS wird die Eingabeaufforderungswellenform in zwei Codebuch-Tokens codiert, in eine Zeichenfolgenform umgewandelt und als Sprecherinformationen in die Systemansage eingefügt. Die Benutzernachricht ist der Zieltext und das Modell gibt neue Audio-Tokens zurück. Für die Bearbeitung enthält die Benutzernachricht Unique-Audio-Tokens sowie eine Anweisung in natürlicher Sprache, und das Modell gibt bearbeitete Tokens aus.

Durch verstärkendes Lernen wird dann die Befolgung der Anweisungen verfeinert. Ein 3B-Belohnungsmodell wird vom SFT-Kontrollpunkt aus initialisiert und mit Bradley Terry-Verlust auf Präferenzpaare mit großer Marge trainiert. Die Belohnung wird direkt anhand von Twin-Codebook-Token-Sequenzen berechnet, ohne dass die Wellenform dekodiert wird. Beim PPO-Coaching werden dieses Belohnungsmodell, ein Clip-Schwellenwert und eine KL-Strafe verwendet, um Qualität und Abweichung von der SFT-Richtlinie auszugleichen.

Step-Audio-Edit-Check, iterative Bearbeitung und Generalisierung

Um die Kontrolle zu quantifizieren, führte das Forschungsteam den Step-Audio-Edit-Check ein. Es verwendet Gemini 2.5 Professional als LLM zur Bewertung von Emotionen, Sprechstil und paralinguistischer Genauigkeit. Der Benchmark verfügt über 8 Sprecher, die aus Wenet Speech4TTS, GLOBE V2 und Libri Mild stammen, mit 4 Sprechern professional Sprache.

Das Emotionsset besteht aus 5 Kategorien mit 50 chinesischen und 50 englischen Eingabeaufforderungen professional Kategorie. Der Sprechstilsatz umfasst 7 Stile mit 50 Eingabeaufforderungen professional Sprache und Stil. Das paralinguistische Set verfügt über 10 Beschriftungen wie „Atmen“, „Lachen“, „Überraschung oh“ und „ähm“ mit 50 Eingabeaufforderungen professional Beschriftung und Sprache.

Die Bearbeitung wird iterativ ausgewertet. Iteration 0 ist der anfängliche Zero-Shot-Klon. Anschließend wendet das Modell drei Bearbeitungsrunden mit Textanweisungen an. Auf Chinesisch steigt die Emotionsgenauigkeit von 57,0 bei Iteration 0 auf 77,7 bei Iteration 3. Die Genauigkeit des Sprechstils steigt von 41,6 auf 69,2. Englisch zeigt ein ähnliches Verhalten, und eine prompte feste Ablation, bei der für alle Iterationen das gleiche Immediate-Audio verwendet wird, verbessert immer noch die Genauigkeit, was die Hypothese des großen Spielraums des Lernens unterstützt.

Das gleiche Bearbeitungsmodell wird auf vier Closed-Supply-TTS-Systeme angewendet: GPT 4o mini TTS, ElevenLabs v2, Doubao Seed TTS 2.0 und MiniMax Speech 2.6 hd. Bei allen verbessert eine Bearbeitungsiteration mit Step-Audio-EditX sowohl die Feelings- als auch die Stilgenauigkeit, und weitere Iterationen helfen weiterhin.

Paralinguistische Bearbeitung wird auf einer Skala von 1 bis 3 bewertet. Die durchschnittliche Punktzahl steigt von 1,91 bei Iteration 0 auf 2,89 nach einer einzigen Bearbeitung, sowohl in Chinesisch als auch in Englisch, was mit der nativen paralinguistischen Synthese in starken kommerziellen Systemen vergleichbar ist.

Wichtige Erkenntnisse

1. Step Audio EditX verwendet einen Twin-Codebuch-Tokenizer und einen 3B-Parameter-Audio-LLM, sodass Sprache als diskrete Token behandelt und Audio auf textähnliche Weise bearbeitet werden kann.
2. Das Modell stützt sich auf umfangreiche synthetische Daten für Emotionen, Sprechstil, paralinguistische Hinweise, Geschwindigkeit und Geräusche, anstatt zusätzliche entwirrende Encoder hinzuzufügen.
3. Überwachte Feinabstimmung plus PPO mit einem Belohnungsmodell auf Token-Ebene richtet das Audio-LLM so aus, dass es den Anweisungen zur Bearbeitung natürlicher Sprache sowohl für TTS als auch für Bearbeitungsaufgaben folgt.
4. Der Step Audio Edit Check-Benchmark mit Gemini 2.5 Professional als Juror zeigt deutliche Genauigkeitssteigerungen über 3 Bearbeitungsiterationen für Emotion, Stil und paralinguistische Kontrolle sowohl in Chinesisch als auch in Englisch.
5. Step Audio EditX kann Sprache aus Closed-Supply-TTS-Systemen nachbearbeiten und verbessern, und der vollständige Stack, einschließlich Code und Prüfpunkten, steht Entwicklern als Open Supply zur Verfügung.

Step Audio EditX ist ein präziser Fortschritt in der steuerbaren Sprachsynthese, da es den Step Audio-Tokenizer beibehält, ein kompaktes 3B-Audio-LLM hinzufügt und die Steuerung durch große Margin-Daten und PPO optimiert. Die Einführung des Step Audio Edit Check mit Gemini 2.5 Professional als Juror macht die Bewertungsgeschichte hinsichtlich Emotion, Sprechstil und paralinguistischer Kontrolle konkreter, und die offene Model senkt die Hürde für praktische Audiobearbeitungsforschung. Insgesamt fühlt sich die Audiobearbeitung mit dieser Model der Textbearbeitung viel näher an.

---

Schauen Sie sich das an Papier, Repo Und Modellgewichte. Schauen Sie sich gerne bei uns um GitHub-Seite für Tutorials, Codes und Notebooks. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 100.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.