Zu verstehen, was in einem Audioclip passiert, ist ein täuschend schwieriges Drawback. Das Transkribieren gesprochener Wörter ist der einfache Teil. Ein wirklich leistungsfähiges System muss außerdem erkennen, wer spricht, seinen emotionalen Zustand erkennen, Hintergrundgeräusche interpretieren, Musikinhalte analysieren und zeitbezogene Fragen wie „Was hat der Sprecher nach zwei Minuten gesagt?“ beantworten. Um all das zu bewältigen, mussten mehrere spezialisierte Systeme zusammengefügt werden.

Das OpenMOSS-Group, MOSI.AI und das Shanghai Innovation Institute veröffentlicht MOSS-Audio: ein Open-Supply-Audio-Verständnismodell, das alle diese Funktionen in einem einzigen Basismodell vereinen soll.

Was MOSS-Audio tatsächlich macht

MOSS-Audio unterstützt Sprachverständnis, Verständnis von Umgebungsgeräuschen, Musikverständnis, Audiountertitelung, zeitbewusste Qualitätssicherung und komplexes Denken über reales Audio. Sein Leistungsumfang gliedert sich in mehrere unterschiedliche Bereiche. Sprach- und Inhaltsverständnis Erkennt und transkribiert gesprochene Inhalte präzise und unterstützt die Zeitstempelausrichtung sowohl auf Wort- als auch auf Satzebene. Sprecher-, Feelings- und Ereignisanalyse identifiziert Sprechereigenschaften, analysiert emotionale Zustände anhand von Ton, Klangfarbe und Kontext und erkennt wichtige akustische Ereignisse im Audio. Szenen- und Sound-Cue-Extraktion zieht aussagekräftige Signale aus Hintergrundgeräuschen, Umgebungsgeräuschen und Nicht-Sprachsignalen, um auf Szenenkontext und Atmosphäre zu schließen. Musikverständnis analysiert Musikstil, emotionale Entwicklung und Instrumentierung. Beantwortung und Zusammenfassung von Audiofragen Beantwortet Fragen und Zusammenfassungen in Reden, Podcasts, Besprechungen und Interviews. Endlich, Komplexes Denken führt Multi-Hop-Argumentation über Audioinhalte durch, unterstützt durch Gedankenkettentraining und verstärkendes Lernen.

In der Praxis kann ein einziges MOSS-Audio-Modell alle oben genannten Aufgaben erfüllen, ohne zwischen verschiedenen Spezialsystemen wechseln zu müssen.

Vier Modellvarianten

Das Group veröffentlichte zum Begin vier Varianten: MOSS-Audio-4B-Anleitung, MOSS-Audio-4B-Denken, MOSS-Audio-8B-AnleitungUnd MOSS-Audio-8B-Denken. Es lohnt sich, die Namenskonvention zu verstehen, wenn Sie entscheiden, welche verwendet werden soll. Der Anweisen Varianten sind für die direkte Befolgung von Anweisungen optimiert und eignen sich daher intestine für Produktionspipelines, in denen Sie vorhersehbare, strukturierte Ausgaben wünschen. Der Denken Varianten bieten stärkere Denkkettenfähigkeiten und eignen sich besser für Aufgaben, die Multi-Hop-Inferenz erfordern. Die 4B-Modelle verwenden Qwen3-4B als LLM-Spine und die 8B-Modelle nutzen Qwen3-8BDies führt zu Gesamtmodellgrößen von etwa 4,6 B bzw. 8,6 B Parametern.

Die Architektur: Drei Komponenten arbeiten zusammen

MOSS-Audio folgt a Modularer Aufbau bestehend aus drei Komponenten: einem Audio-Encoder, einem Modalitätsadapter und einem großen Sprachmodell. Rohes Audio wird zunächst von kodiert MOSS-Audio-Encoder in kontinuierliche zeitliche Darstellungen um 12,5 Hz. Diese Darstellungen werden dann über den Adapter in den Einbettungsraum des Sprachmodells projiziert und schließlich vom LLM zur automatischen Regressionstextgenerierung verwendet.

Das Forschungsteam trainierte den Encoder von Grund auf, anstatt sich auf handelsübliche Audio-Frontends zu verlassen. Ihre Begründung: Ein dedizierter Encoder liefert robustere Sprachdarstellungen, eine engere zeitliche Ausrichtung und eine bessere Erweiterbarkeit über akustische Bereiche hinweg.

Zwei architektonische Neuerungen in MOSS-Audio sind es wert, im Element verstanden zu werden.

DeepStack Cross-Layer-Function-Injection: Eine häufige Schwäche von Audiomodellen besteht darin, dass es dazu kommt, dass akustische Informationen auf niedriger Ebene verloren gehen, beispielsweise Prosodie, transiente Ereignisse und lokale Zeit-Frequenz-Strukturen, wenn man sich nur auf die Funktionen der obersten Ebene des Encoders verlässt. MOSS-Audio begegnet diesem Drawback mit einem DeepStack-inspiriertes schichtübergreifendes Injektionsmodul zwischen dem Encoder und dem Sprachmodell: Zusätzlich zur Endschichtausgabe des Encoders werden Merkmale aus früheren und Zwischenschichten ausgewählt, unabhängig projiziert und in die frühen Schichten des Sprachmodells injiziert. Dadurch bleiben Multigranularitätsinformationen erhalten, die von akustischen Particulars auf niedriger Ebene bis hin zu semantischen Abstraktionen auf hoher Ebene reichen, und helfen dem Modell, Rhythmus, Klangfarbe, Transienten und Hintergrundstruktur beizubehalten, die eine einzelne Darstellung auf hoher Ebene nicht vollständig erfassen kann.

Zeitbewusste Darstellung: Zeit ist eine kritische Dimension im Audiobereich, für die Textmodelle von Natur aus nicht gerüstet sind. MOSS-Audio begegnet diesem Drawback durch a Einfügen von Zeitmarken Strategie während des Vortrainings: In festen Zeitintervallen werden explizite Zeittoken zwischen Audio-Body-Darstellungen eingefügt, um zeitliche Positionen anzuzeigen. Dadurch kann das Modell lernen, „was wann passiert ist“ innerhalb eines einheitlichen Textgenerierungsrahmens, der natürlich Zeitstempel-ASR, Ereignislokalisierung, zeitbasierte Qualitätssicherung und lange Audiorückblicke unterstützt – ohne dass ein separater Lokalisierungskopf oder eine Nachbearbeitungspipeline erforderlich ist.

Benchmark-Leistung

Die Zahlen sind stark. Zum allgemeinen Audioverständnis: MOSS-Audio-8B-Pondering erreicht eine durchschnittliche Genauigkeit von 71,08 über vier Benchmarks hinweg – 77,33 auf MMAU, 64,92 auf MMAU-Professional, 66,53 auf MMARUnd 75,52 auf MMSUübertrifft die meisten Open-Supply-Modelle. Dazu gehören auch größere Modelle: Step-Audio-R1 mit 33B erreicht 70,67 Punkte und Qwen3-Omni-30B-A3B-Instruct mit 30B Punkte 67,91. Im weiteren Kontext erzielt Kimi-Audio (7B) einen Wert von 61,14 und MiMo-Audio-7B einen Wert von 62,97 im gleichen Durchschnitt. Die 4B-Pondering-Variante erzielt einen Wert von 68,37, was bedeutet, dass das kleinere Modell mit Gedankenkettentraining alle größeren Open-Supply-Konkurrenten, die nur Instruktionen anbieten, übertrifft.

An Untertitel der Redebewertet mit einer LLM-as-a-Choose-Methodik in 13 feinkörnigen Dimensionen, darunter Geschlecht, Alter, Akzent, Tonhöhe, Lautstärke, Geschwindigkeit, Textur, Klarheit, Geläufigkeit, Emotion, Ton, Persönlichkeit und Zusammenfassung. MOSS-Audio-Instruct-Varianten führen in 11 von 13 Dimensionen, wobei MOSS-Audio-8B-Instruct die beste durchschnittliche Gesamtpunktzahl erreicht 3.7252.

An Automatische Spracherkennung (ASR) MOSS-Audio-8B-Instruct umfasst 12 Bewertungsdimensionen – darunter Gesundheitszustand, Codewechsel, Dialekt, Gesang und Nicht-Sprachszenarien – und erreicht dies niedrigste Gesamt-CER (Character Error Charge) von 11,30 über alle getesteten Modelle hinweg.

Wichtige Erkenntnisse

• Einzelmodell, vollständiger Audio-Stack: MOSS-Audio vereint Sprachtranskription, Sprecher- und Emotionsanalyse, Verständnis von Umgebungsgeräuschen, Musikanalyse, Audiountertitelung, zeitbewusste Qualitätssicherung und komplexe Argumentation in einem Open-Supply-Modell, wodurch die Notwendigkeit entfällt, mehrere spezialisierte Systeme miteinander zu verketten.
• Zwei architektonische Innovationen steigern die Leistung: DeepStack Cross-Layer Function Injection bewahrt akustische Multigranularitätsinformationen durch die direkte Injektion von Options aus Zwischen-Encoderschichten in die frühen Schichten des LLM, während das Einfügen von Zeitmarkern während des Vortrainings dem Modell explizite zeitliche Aufmerksamkeit für zeitstempelbasierte Aufgaben verleiht.
• Erstklassige Benchmark-Ergebnisse im effizienten Maßstab: MOSS-Audio-8B-Pondering erreicht eine durchschnittliche Genauigkeit von 71,08 bei allgemeinen Audio-Verständnis-Benchmarks und übertrifft damit alle Open-Supply-Modelle, einschließlich 30B+-Systeme, während die 4B Pondering-Variante allein jeden größeren Open-Supply-Nur-Anleitungs-Konkurrenten übertrifft.
• Dominante Zeitstempel-ASR-Genauigkeit: MOSS-Audio-8B-Instruct erreicht 35,77 AAS bei AISHELL-1 und 131,61 AAS bei LibriSpeech und übertrifft damit sowohl Qwen3-Omni-30B-A3B-Instruct (833,66) als auch das Closed-Supply-Gerät Gemini-3.1-Professional (708,24) bei demselben Benchmark deutlich.

Schauen Sie sich das an Modellgewichte Und Repo. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 130.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Web page ODER Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben?Vernetzen Sie sich mit uns

Der Beitrag OpenMOSS veröffentlicht MOSS-Audio: ein Open-Supply-Grundlagenmodell für Sprache, Ton, Musik und zeitbewusstes Audio-Denken erschien zuerst auf MarkTechPost.

[ad_2]

OLMo 2-Modelle sind die vollständig Open-Supply-Sprachmodelle von Ai2. Sie verfügen über dichte autoregressive Architekturen mit optimierten Trainings, Datenmischungen vor dem Coaching und fortschrittlichen Techniken zur Befehlsoptimierung. Durch die Verbesserung der Trainingsstabilität und die Verbesserung der Effizienz professional Token setzt OLMo 2 Maßstäbe in Bezug auf Leistung und Transparenz. Die Einführung von Dolmino Combine 1124, einem speziellen Datenmix für Lehrplanschulungen im Spätstadium, verbessert die Downstream-Fähigkeiten weiter. In Verbindung mit den Finest Practices von Tülu 3 erzielt OLMo 2-Instruct beeindruckende Ergebnisse im Vergleich zu anderen Lama 3.1 Und Qwen 2.5. Erfahren Sie mehr über diese Modelle!

Jeder möchte Open-Supply-Sprachmodelle, aber niemand möchte diese schweren Lasten heben.

Wir haben gerade unseren Artikel „2 OLMo 2 Livid“ veröffentlicht.
Wir können uns im Jahr 2025 nicht aufhalten. Hyperlinks unten. pic.twitter.com/oHoPWA6cod

— Nathan Lambert (@natolambert) 3. Januar 2025

2 OLAMo 2 Livid

OLMo 2 baut auf den Grundlagen seiner Vorgänger auf und bietet vollständig offene Sprachmodelle mit Parametergrößen von 7 Milliarden und 13 Milliarden. Im Gegensatz zu vielen Branchenkollegen gewährleistet OLMo 2 vollständige Transparenz und gibt Trainingsdaten, Code, Rezepte und sogar Zwischenkontrollpunkte frei. Dieses Engagement beschleunigt nicht nur die akademische und industrielle Forschung, sondern fördert auch ein kollaboratives KI-Entwicklungsökosystem.

Diese Modelle konkurrieren stark mit Branchenriesen wie Llama 3.1 und Qwen 2.5 und verbrauchen dabei weniger Rechenressourcen. Ihre Leistung bringt sie an die Pareto-Grenze, wo Effizienz auf Exzellenz trifft, was sie für verschiedene nachgelagerte Anwendungen von unschätzbarem Wert macht.

Alles zum Modell finden Sie in diesem Forschungsbericht – 2 OLAMo 2 Livid.

Hauptmerkmale der OLMo 2-Modelle

Verbesserte Trainingsstabilität

Beim Coaching umfangreicher Sprachmodelle kommt es häufig zu Instabilitäten wie Verlustspitzen. OLMo 2 begegnet diesen Herausforderungen durch:

• Datenkuration: Filtern wiederholter N-Gramm, um Gradienten- und Verlustspitzen zu minimieren.
• Verbesserte Initialisierung: Wechsel zu einem standardisierten Initialisierungsschema, das die Stabilität über Schichten hinweg gewährleistet.
• Regularisierungstechniken: Einbindung von Z-Verlust zur Stabilisierung der Ausgabeprotokolle.

Diese Anpassungen führen zu einem reibungsloseren Trainingsprozess und ermöglichen es den Modellen, größere Datensätze effizienter zu verarbeiten.

Optimierte Datenmischungen

Das Vortraining von OLMo 2 umfasst einen zweistufigen Ansatz:

• Vortrainingsphase: Nutzt eine Mischung hochwertiger Webdaten im Umfang von insgesamt 5 Billionen Token.
• Mittlere Trainingsphase: Führt domänenspezifische Datensätze ein, insbesondere in den Bereichen Mathematik und MINT, um spezielle Fähigkeiten zu stärken. Der Dolmino Combine 1124-Datensatz veranschaulicht diese Strategie und kombiniert aus dem Web stammende und kuratierte Daten für gezielte Leistungsverbesserungen.

Architektonische Fortschritte

OLMo 2 integriert moderne Innovationen zur Verbesserung seiner Transformatorarchitektur, darunter:

• RMSNorm: Eine stabile Normalisierungsmethode für Aktivierungen.
• Neugeordnete Ebenennorm: Normalisierung der Aufmerksamkeits- und Feedforward-Ausgaben und Verbesserung der Stabilität.
• Erhöhte Auflösung der Positionskodierung: Einführung rotierender Positionseinbettungen mit höherer Auflösung für eine bessere Sequenzverarbeitung.

Diese Funktionen steigern gemeinsam die Skalierbarkeit und Effizienz des Modells.

Exzellenz nach dem Coaching

Die Submit-Coaching-Pipeline von OLMo 2, inspiriert vom Tülu 3-Rezept, konzentriert sich auf die Optimierung der Anweisungen und das verstärkende Lernen. Zu den Schlüsselkomponenten gehören:

• Überwachte Feinabstimmung (SFT): Nutzung hochwertiger Eingabeaufforderungen zur Verbesserung der Fähigkeiten zur Befolgung von Anweisungen.
• Reinforcement Studying mit überprüfbaren Belohnungen (RLVR): Optimieren Sie die Leistung bei bestimmten Aufgaben wie Mathematik und sachlichem Denken durch die Belohnung korrekter Ergebnisse.

Dieser Ansatz hat zu OLMo 2-Instruct-Modellen geführt, die sich in Benchmarks wie GSM8K für mathematisches Denken und MMLU für Multitasking-Sprachverständnis auszeichnen.

Effizienz trifft Transparenz

OLMo 2 zeichnet sich durch eine effiziente Nutzung der Rechenressourcen aus. Durch die Reduzierung von FLOPs (Gleitkommaoperationen) während des Trainings wird eine hohe Leistung bei geringerer Umweltbelastung erreicht. Eine detaillierte Berichterstattung über Stromverbrauch und CO2-Emissionen unterstreicht das Engagement des Projekts für Nachhaltigkeit.

Infrastruktur als Forschungskatalysator

Der Erfolg des Projekts wird auch auf die fortschrittliche Infrastruktur von Ai2 zurückgeführt:

• Hochleistungscluster: Nutzung modernster {Hardware}, einschließlich NVIDIA H100-GPUs, in mehreren Rechenzentren.
• Becher-Workload-Administration: Gewährleistung einer nahtlosen Arbeitslastverteilung und -überwachung.

Diese Investitionen in die Infrastruktur haben die Ausbildungsunterbrechungen deutlich reduziert und die Ressourcenauslastung erhöht.

OLMo 2 gegen Qwen 2.5 gegen Llama 3.1 gegen andere

Um die Wirkung weiter zu veranschaulichen, übertreffen die Benchmarks von OLMo 2 bei bestimmten Aufgaben häufig die von Qwen 2.5 und Llama 3.1. Die Einbeziehung von Dolmino Combine 1124 hat die Leistung bei MINT- und mathematikbasierten Benchmarks erheblich verbessert. Darüber hinaus weist OLMo 2 bemerkenswerte Effizienzsteigerungen auf, indem es bis zu 20 % weniger FLOPs verwendet und gleichzeitig vergleichbare oder bessere Ergebnisse erzielt.

Probieren wir OLMo 2 aus

Um auf das Modell zuzugreifen, können Sie besuchen Hier. Sie können es ohne Anmeldung nutzen.

Immediate: Sie haben es eilig zur Arbeit. Sie gießen sich eine Tasse schwarzen Kaffee ein, aber er ist zu heiß. Sie beabsichtigen, eine festgelegte Menge kalter Milch hinzuzufügen, wissen aber, dass der Kaffee auch danach noch einige Minuten abkühlen muss, bevor Sie ihn trinken können.
In diesem Fall kühlt der Kaffee stärker ab:
1) Fügen Sie sofort Milch hinzu und warten Sie dann einige Minuten, bevor Sie trinken.
2) Warten Sie einige Minuten und fügen Sie dann erst kurz vor dem Trinken Milch hinzu.

Ausgabe:

Beobachtung: Die Antwort auf meine Aufforderung ist korrekt. OLMo 2 konnte das Downside verstehen und die richtige Antwort geben. DeepSeek V3 konnte dies in meinem vorherigen Artikel nicht richtig lösen DeepSeek V3 vs. Claude Sonnet 3.5.

Sie können dieses Modell auch lokal verwenden. Befolgen Sie dazu einfach die angegebene Anleitung Hier.

Wichtige Hyperlinks

Abschluss

OLMo 2 zeigt das bemerkenswerte Potenzial von Open-Supply-KI und setzt neue Maßstäbe in Bezug auf Transparenz und Innovation. Durch die Veröffentlichung seines Codes, seiner Daten und Erkenntnisse demokratisiert es den Zugang zu Spitzentechnologie und fördert so Zusammenarbeit und Fortschritt. Mit dem Engagement von Ai2 für Offenheit ermöglicht OLMo 2 Forschern und Entwicklern die freie Innovation, erweitert die Möglichkeiten für gesellschaftliche und industrielle Auswirkungen und treibt gleichzeitig die Zukunft von KI-Anwendungen voran.

Wenn Sie erfahren möchten, wie diese Modelle funktionieren, schauen Sie sich unsere an Generatives KI-Pinnacle-Programm!

Hallo, ich bin Nitika, eine technisch versierte Content material-Erstellerin und Vermarkterin. Kreativität und das Lernen neuer Dinge sind für mich selbstverständlich. Ich habe Erfahrung in der Erstellung ergebnisorientierter Content material-Strategien. Ich kenne mich intestine mit Web optimization-Administration, Key phrase-Operationen, Net-Content material-Schreiben, Kommunikation, Content material-Strategie, Redaktion und Schreiben aus.

[ad_2]