Zählen Sie China noch nicht aus dem KI -Rennen. Während alle über Chatgpt und Grok besessen sind, haben chinesische Technologiefirmen stillschweigend einen ernsthaften Wettbewerb ausgelegt. Zuerst kam Kimis K2 Und Alibabas Qwen3-Codierer. Jetzt hat Z.ai gerade ihre neuesten Modelle fallen gelassen: GLM 4.5 und seine leichtere GLM 4.5 -Air -Model, und sie packen schwerwiegende Hitze. Frühe Exams haben diese neuen Modelle auf dem dritten und 6. Platz weltweit gebracht, genau dort oben mit den großen Jungen wie Openai und Musk’s Grok. Aber hier ist wirklich wichtig – das sind nicht nur Chatbots. Sie sind für die „Agentic“ -KI gebaut, was bedeutet, dass sie tatsächlich Sachen selbst erledigen und nicht nur darüber sprechen können. Können sie tatsächlich die westliche KI überlisten, an die wir alle gewöhnt sind? Die Antworten könnten Sie überraschen. Lesen Sie weiter, um mehr zu erfahren.

Treffen Sie Z.ai: das chinesische KI -Kraftwerk

Z.ai, früher bekannt als Zhipu AI, ist ein in Peking ansässiges Startup, das seit 2019 LLMs baut. Das Unternehmen hat ein langfristiges Ziel, AGI (künstliche allgemeine Intelligenz) mit menschlicher Absicht auszurichten. Z.AI wurde an der Tsinghua College geboren und ist Chinas erster großer Akteur in Open-Gewicht-LLMs und hat die GLM-Serie (Basic Language Fashions) seit ihren frühen Tagen veröffentlicht, die jetzt weltweit weit verbreitet waren.

Wie breit? Heute verwenden mehr als 700.000 Entwickler die Modelle von Z.AI. Mit einer so wachsenden Präsenz in internationalen Benchmarks entwickelt sich Z.ai zu einer kritischen Kraft in der nächsten Welle der globalen KI -Innovation.

Falls die Benutzerbasis ihre Dominanz nicht erkennbar macht, wissen Sie, dass Z.ai von Schwergewichten wie Tencent, Alibaba und Hillhouse Capital unterstützt wird und jetzt einen Wert von über 2 Milliarden US -Greenback hat.

Additionally, ja, es ist nicht nur ein weiteres Labor, das Benchmarks verfolgt. Es ist ein Ai -Mammut und hat jetzt zwei neue Stoßzähne.

Die neuen GLM-4,5 und GLM-4,5 Luft

Wie das Unternehmen es in seine stellt Weblog Diese Ankündigung der Ankunft der neuen LLMs sind „Hybrid -Argumentationsmodelle“. Dies bedeutet, dass sie in der Lage sind, einen „Denkmodus für komplexe Argumentation und Software verwenden“ sowie einen „Nicht-Denken-Modus für sofortige Antworten“.

Beachten Sie für den Kontext, dass der GLM 4.5 bis heute das wirksamste Angebot von Z.ai ist, während GLM 4.5 Luft sein leichtes Geschwister ist. Hier ist eine kurze Beschreibung der beiden.

GLM 4.5

Mit einer Gesamtarchitektur von 355 Milliarden Gesamtparametern und 32 Milliarden aktiven Parametern ist dieses Flaggschiff-Modell für die groß angelegte Bereitstellung über Argumentations-, Erzeugungs- und Multi-Agent-Aufgaben ausgelegt.

GLM 4,5 Luft

Ein leichtes Geschwister mit 106 Milliarden Gesamtparametern und 12 Milliarden aktiven ist für eine Cloud-Inferenz für On-System und kleinerer Maßstab optimiert, ohne die Kernfunktionen zu beeinträchtigen.

Zusammen sind diese Modelle in der Lage, komplexes Denken, Werkzeuggebrauch und Codierung zu behandeln, gleichzeitig kosteneffizient und offen. Die Fashions sind Z.AIs Antwort auf Openais GPT-4O und Anthropics Claude 3, und die Benchmark-Ergebnisse machen dies ziemlich deutlich.

Nur Zahlen sind nicht das, was diese Model zu etwas Besonderem machen. Es ist die „Offenheit und Verwendbarkeit“ der neuen LLMs, die zumindest auf dem Papier versprochen wird. Im Gegensatz zu vielen geschlossenen APIs oder eingeschränkten Modellen hat Z.AI GLM 4,5 Open-Supply, Feinabstimmung und unter flexiblen Lizenzen (Apache/MIT) erhältlich gemacht. Auf diese Weise können Unternehmen und Entwickler ihren LLM -Stack besitzen, sie lokal ausführen und sogar für den kommerziellen Gebrauch ändern.

Ergebnis – Ein großes Hurra der Dev -Neighborhood!

Was andere betrifft, finden Sie hier einige wichtige Merkmale der GLM 4.5 -Familie von LLMs, die Ihnen einen Einblick in das geben, wozu sie fähig sind.

Schlüsselmerkmale des GLM 4.5 LLMs

Bei der Herstellung der neuen GLM 4.5 -Familie von LLMs wurde eine ausgeprägte Designphilosophie verfolgt. Hier ist alles, was neu ist, was sie auf den Tisch bringen.

1. Twin -Denkmodi für intelligentere Verwendung: GLM-4.5 führt zwei unterschiedliche Modi ein: Denken und Nichtdenken. Der Denkmodus erledigt komplexe Aufgaben wie Mathematik, Codierung und Logik. Es braucht Zeit, aber es begründet besser. Der nicht denkende Modus ist schnell und perfekt für lässige Antworten. Dieses Twin-Mode-Setup macht das Modell flexibel, bei Bedarf eine tiefe Analyse und schnelle Antworten, wenn dies nicht der Fall ist.
2. Für agierische Intelligenz gebaut: Die neuen Modelle von Z.AI unterstützen mehrstufige Argumentation, Funktionsaufruf und externe Werkzeugverbrauch. Das bedeutet, dass sie im Web durchsuchen, Folien erstellen oder sogar Web sites erstellen können, die durch natürliche Sprache sind.
3. Mit Schleim ausgebildet: Eine benutzerdefinierte RL-Engine: Z.AI baute Slime, ein leistungsstarkes Verstärkungslernsystem (RL). Es trennt das Coaching von der Datenerzeugung und beschleunigt den Prozess. Slime unterstützt lange, Werkzeugbasierte Aufgaben wie Software program Dev und Forschung. Es verwendet sogar FP8-Mischprezision für schnellere Rollouts. Laut Z.ai macht es GLM-4,5 intelligenter und effizienter.
4. Full-Stack Creator: Das neue Z.AI -Modell kann Apps entwerfen, Code generieren und sogar interaktive Spiele erstellen. Es funktioniert mit Instruments wie Claude Code und nimmt Anweisungen über einen einfachen Chat. Das Ergebnis? Ein Modell, das Ideen in echte Produkte verwandelt – Internet -Apps, Plakate, Folien, Sie nennen es. Es ist codiert, vereinfacht.

Wie kann ich GLM 4.5 zugreifen?

Wie Sie auf die neue GLM 4.5 -Familie zugreifen können, hängt davon ab, wie Sie sie verwenden möchten. Hier sind die 3 Möglichkeiten, wie Sie diese LLMs verwenden können und zugreifen können:

1. Direktzugriff (als Chatbot): Sie können die neuen Z.AI -LLMs als Chatbots direkt auf dem verwenden Z.AI -Web site. Wählen Sie einfach das Modell in der oberen linken Ecke aus und geben Sie dann Ihre Eingabeaufforderung ein, um es zu verwenden.
2. API -Zugang: Für den API -Zugang können Sie besuchen Z.AI -API, indem Sie hier klicken und verwenden Sie die API -Richtlinien nach Bedarf.
3. Offene Gewichte: GLM 4,5-Open-Gewicht-Modelle sind unter erhältlich Umarmung Und ModelsCope.

Sobald Sie den Zugriff haben, können Sie GLM 4.5 für Ihre erforderliche Aufgabe verwenden. Falls Sie sich fragen, was die LLM in Bezug auf die Leistung für Sie aufbewahrt, ist hier ein kurzer Blick darauf, was es für Inhalt, Picture und Codegenerierung tun kann.

Praktisch mit GLM 4.5

Um Ihnen einen Hinweis darauf zu geben, was Z.ai wirklich entwickelt hat, haben wir uns in den neuen LLMs ausprobiert. Hier ist, was wir in den Kategorien der Verwendung in den Verwendungskategorien gefunden haben:

Inhaltsgenerierung

Um seine Fähigkeiten zur Erzeugung von Inhalten zu testen, gab ich die folgende Aufforderung an GLM 4.5 auf Z.AI:

Immediate: “Schreiben Sie eine Produktbeschreibung von 100 Wörtern für ein intelligentes Elektrofahrrad für Stadtpendler. Heben Sie die Umweltfreundlichkeit, die intelligenten Funktionen und seine Portabilität hervor.“

Ausgabe:

Das LLM konnte eine ziemlich anständige Ausgabe erzeugen, basierend auf der einfachen und einfachen Inhaltsgenerierung. Es gelang es, eine gute Erzählung für die Beschreibung zu erstellen und dem Produkt sogar einen eigenen Namen zu geben. Halluzination oder nur eine Schrittweiterei lassen ich Sie entscheiden.

Als Inhaltsexperte würde ich es ein „gutes“ Ergebnis nennen – überhaupt nicht schlecht und nichts, was außergewöhnlich schreit.

Argumentation

Ich habe die Argumentationsfunktionen von Z.AIs neuem Modell unter Verwendung meines bevorzugten, uralten Mathematik- + Physikproblems getestet, das ich zuerst während meiner JEE-Vorbereitung studiert habe.

Immediate: “Vier Personen, die an der Ecke eines Quadrats stehen, schauen sich die Individual in der rechten Ecke an und bewegen sich. Wenn sich alle mit der gleichen Geschwindigkeit „S“ bewegen, wird sich jemals einer von ihnen jemals treffen? Wenn ja, wo? Erklären Sie Ihre Argumentation?“

Ausgabe:

Es scheiterte zunächst. Wir haben die Eingabeaufforderung auf GLM 4.5 auf mehreren Maschinen gefüttert, um ein isoliertes Downside zu vermeiden, nur um das Ergebnis zu erhalten – Syntaxfehler:

Erst als wir uns durch eine der Maschinen anmelden, konnte das LLM die richtige Reaktion liefern, und dies tat dies mit vollständiger Argumentation, obwohl es besonders lange dauerte. Ich bin mir nicht sicher, was das verursacht, aber anscheinend möchten Sie sich vielleicht anmelden und nach den idealen Antworten von GLM 4.5 überprüfen:

Im Gegenteil, mein LLM-Chatgpt 4o konnte in weniger als 2 Sekunden antworten und sogar ein Erklärungsdiagramm dafür machte. Hier ist seine Ausgabe:

Codierung

Ich habe die folgende Eingabeaufforderung verwendet, um die Codierungsfunktionen von GLM 4.5 zu testen.

Immediate: “Codieren Sie die Homepage einer Web site für einen Immobilienentwickler mit Sitz in Dubai. Halten Sie es einfach, elegant, mit einem Farbthema von Weiß und Beige. Liste über uns und kontaktieren Sie uns als die anklickbaren Hyperlinks zu anderen Seiten auf der Web site am Header“

Ausgabe:

Fantastischer Job hier von GLM 4.5. Es struggle in der Lage, die gesamte Homepage zu erzeugen, ohne dass ein einziger Fehler zu finden struggle. Es wurde sogar die Spezifitäten in Bezug auf das Farbschema und die Seitenverbindungen im Fußzeilen ausgewiesen. Sie können einen Blick auf den Code und die Aussehen der Web site hier aussehen:

GLM 4,5 Benchmarks

Mit den neuen Modellen struggle es das Ziel von Z.ai, mit den führenden LLMs der Welt zu konkurrieren, und obwohl es nicht führt, hat es einen harten Schlag für den Wettbewerb.

Hier sind einige der Benchmark -Leistungen als Beweis:

Gesamtleistung

Basierend auf insgesamt 12 Benchmarks, die „Agentic (3), Argumentation (7) und Codierung (2)“ von LLMs abdecken, gibt Z.AI an, dass der neue GLM 4.5 den 3. Platz belegt, während seine Luftversion 6 .. Dies ist mächtig beeindruckend, wenn man bedenkt, dass die Liste der Konkurrenten wie OpenAI, Anthropic, Google DeepMind, XAI und andere solche Bigwigs umfasst.

Es ist Benchmark -Leistungen werden über Anwendungsfälle verteilt, einschließlich:

Agentenaufgaben

Die Agent-Fähigkeit von GLM 4.5 wurde auf Tau-Bench und BFCL-V3 (Berkeley Funktion Calling Raupboard V3) gemessen. Bei beiden Benchmarks entspricht GLM-4,5 mit der Leistung von Claude 4 Sonett.

Für das Shopping des Webs wurde das neue LLM auf dem BrowseComp -Benchmark bewertet. GLM-4,5 übertraf Claude-4-opus (18,8%) und kamen in der Leistung von O4-Mini (28,3%) nahe, was korrekte Antworten für 26,4percentaller Fragen gab.

Argumentation

Wie Z.ai es ausdrückt, ermöglicht es ihnen in dem Denkmodus der neuen Modelle „komplexe Argumentationsprobleme, einschließlich Mathematik, Naturwissenschaften und logischer Probleme“. Hier sind seine Leistungsmetriken über Benchmarks wie MMLU Professional, Aime24, Math 500, Scicode und andere

Codierung

Die GLM 4.5-Familie wurde auf der verifizierten SWE-Bench und der terminalen Financial institution für ihre Codierungsfunktionen bewertet. Es wurde festgestellt, dass sich beide Modelle sowohl bei der Erstellung von Codierungsprojekten von Grund auf als auch bei den bestehenden Projekten agenten lösen Codierungsaufgaben aus. Ein großes Plus- Das LLM kann auch in vorhandene Codierungs-Toolkits wie Claude Code, Roo-Code und Codegeex integriert werden.

Sie können sich hier die Benchmark -Leistungen ansehen:

Abschluss

Die Freisetzung von GLM 4,5 und GLM 4.5 Air scheint ein brillant berechneter Streik im Herzen von AI -Monopolen zu sein. Z.AI hat deutlich gemacht, dass fortgeschrittene Leistung und Offenheit sich nicht gegenseitig ausschließen müssen. Mit offenen Modellen, leistungsstarken Argumentationsfunktionen, Intelligenz mit Werkzeugen und robusten agierenden Workflows drückt die GLM 4.5-Familie den Umschlag auf das, was praktische LLMs heute liefern können.

Noch wichtiger ist, dass Z.ai nicht nur Benchmarks jagt. Es baut ein Ökosystem mit RL -Infrastruktur wie Schleim. Das macht GLM 4,5 mehr als nur eine weitere Zahl in einer Rangliste. Es ist ein Sprungbrett in Richtung souveräner AI -Stapel, etwas, das jede Nation, jedes Unternehmen und jede Erbauer heute verzweifelt sucht.

OpenAI hat kürzlich eine Reihe von Audiomodellen der nächsten Technology vorgestellt und die Funktionen von Sprachanwendungen verbessert. Diese Fortschritte beinhalten neue Sprache zu Textual content (Stt) und Textual content-to-Speech (TTS) Modelle und bieten Entwicklern mehr Instruments, um anspruchsvolle Sprachmittel zu erstellen. Diese auf API veröffentlichten fortschrittlichen Sprachmodelle ermöglichen es den Entwicklern weltweit, versatile und zuverlässige Sprachmittel viel einfacher aufzubauen. In diesem Artikel werden wir die Funktionen und Anwendungen des neuesten GPT-4O-transkriben-, GPT-4O-Mini-Trancribe- und GPT-4O-Mini-TTS-Modellen untersuchen. Wir werden auch lernen, wie man auf OpenAIs Audiomodelle zugreift und sie selbst ausprobieren. Additionally lass uns anfangen!

OpenAIs neue Audiomodelle

OpenAI hat eine neue Technology von Audiomodellen eingeführt, die die Funktionen der Spracherkennung und Sprachsynthese verbessern sollen. Diese Modelle bieten Verbesserungen in Bezug auf Genauigkeit, Geschwindigkeit und Flexibilität und ermöglichen es den Entwicklern, leistungsstärkere KI-gesteuerte Sprachanwendungen aufzubauen. Die Suite enthält 2 Sprach-Textual content-Modelle und 1 Textual content-to-Speech-Modell, nämlich:

1. GPT-4O-Transkribe: Das fortschrittlichste Sprachmodell von OpenAI und bietet branchenführende Transkriptionsgenauigkeit. Es ist für Anwendungen ausgelegt, die präzise und zuverlässige Transkriptionen erfordern, z. B. Besprechungs- und Vorlesungstranskriptionen, Kundendienst -Anrufprotokolle und Inhaltsuntertitelung.
2. GPT-4O-Mini-Trankribe: Eine kleinere, leichte und effizientere Model des obigen Transkriptionsmodells. Es ist für Anwendungen mit niedrigerer Latenz wie Reside-Bildunterschriften, Sprachbefehle und interaktive AI-Agenten optimiert. Es bietet schnellere Transkriptionsgeschwindigkeiten, niedrigere Rechenkosten und ein Gleichgewicht zwischen Genauigkeit und Effizienz.
3. GPT-4O-Mini-TTs: Dieses Modell führt die Fähigkeit ein, die KI zu unterweisen, in bestimmten Stilen oder Tönen zu sprechen, wodurch die Stimmen von AI-generierten Menschen menschlicher klingen. Entwickler können jetzt den Sprachton des Agenten so anpassen, dass sie verschiedene Kontexte wie freundlich, professionell oder dramatisch entsprechen. Es funktioniert intestine mit OpenAs Speech-to-Textual content-Modellen und ermöglicht die Interaktionen mit reibungslosen Sprache.

Die Sprach-zu-Textual content-Modelle sind mit fortschrittlichen Technologien wie Rauschunterdrückung ausgestattet. Sie sind auch mit einem semantischen Sprachaktivitätsdetektor ausgestattet, der genau erkennen kann, wann der Benutzer das Sprechen beendet hat. Diese Innovationen helfen Entwicklern dabei, eine Reihe gemeinsamer Probleme zu bewältigen, während sie Sprachagenten aufbauen. Zusammen mit diesen neuen Modellen gab OpenAI außerdem bekannt, dass seine kürzlich gestarteten Agenten SDK jetzt Audio unterstützt, was es den Entwicklern noch einfacher macht, Sprachagenten zu erstellen.

Erfahren Sie mehr: Wie benutze ich OpenAI -Antworten API & Agent SDK?

Technische Innovationen hinter den Audiomodellen von OpenAI

Die Fortschritte in diesen Audiomodellen werden auf mehrere wichtige technische Innovationen zurückgeführt:

• Vorbereitung mit authentischen Audio -Datensätzen: Durch die Nutzung umfangreicher und vielfältiger Audiodaten wurde die Fähigkeit der Modelle bereichert, menschliche Sprachmuster zu verstehen und zu generieren.
• Erweiterte Destillationsmethoden: Diese Techniken wurden eingesetzt, um die Modellleistung zu optimieren und die Effizienz ohne Kompromisse zu gewährleisten.
• Verstärkungslernparadigma: Die Implementierung des Verstärkungslernens hat zu den verbesserten Genauigkeit und Anpassungsfähigkeit der Modelle in verschiedenen Sprachszenarien beigetragen.

So greifen Sie auf die Audiomodelle von OpenAI zu

Die Seite erfordert keine Anmeldung und Sie können mit dem Modell spielen, wie Sie möchten. Darüber hinaus gibt es in der oberen rechten Ecke sogar einen Umschalter, der Ihnen den Code für das Modell bietet, das von Ihren Auswahlmöglichkeiten entspricht.

Praktische Exams von OpenAIs Audiomodellen

Nachdem wir wissen, wie man das Modell benutzt, probieren wir es aus! Probieren wir zunächst die OpenAI.FM -Web site aus.

1. Verwenden Sie GPT-4O-Mini-Transcribe auf OpenAi.fm

Nehmen wir an, ich möchte einen Sprachvertreter von „Emergency Companies“ aufbauen.

Für diesen Agenten wähle ich das aus:

• Stimme – Nova
• Stimmung – sympathisch

Verwenden Sie die folgenden Anweisungen:

Ton: Ruhig, selbstbewusst und maßgeblich. Beruhigend, um den Anrufer beruhigt zu halten, während er mit der State of affairs umgeht. Professionell und dennoch einfühlsam, reflektiert echte Sorge um das Wohlbefinden des Anrufers.

Tempo: Stabil, klar und absichtlich. Nicht zu schnell, um Panik zu vermeiden, aber nicht zu langsam, um die Reaktion zu verzögern. Leichte Pausen, um dem Anrufer Zeit zu geben, um Informationen zu reagieren und zu verarbeiten.

Klarheit: Klarer, neutraler Akzent mit einer intestine ausgewiesenen Stimme. Vermeiden Sie Jargon oder komplizierte Begriffe mit einer einfachen, leicht verständlichen Sprache.

Empathie: Bestätigen Sie den emotionalen Zustand des Anrufers (Angst, Panik usw.), ohne ihn hinzuzufügen.

Bieten Sie während des Gesprächs ruhige Beruhigung und Unterstützung.

Verwenden Sie das folgende Skript:

„Hallo, das ist Rettungsdienste. Ich bin hier, um Ihnen zu helfen. Bitte bleiben Sie ruhig und hören Sie genau zu, während ich Sie durch diese State of affairs führe.“

„Hilfe ist unterwegs, aber ich brauche ein bisschen Informationen, um sicherzustellen, dass wir schnell und angemessen reagieren.“

„Bitte geben Sie mir Ihren Standort an. Die genaue Adresse oder die nahe gelegenen Wahrzeichen hilft uns, schneller zu Ihnen zu gelangen.“

„Danke; Wenn jemand verletzt ist, muss Sie bei ihnen bleiben und es vermeiden, sie zu bewegen, es sei denn, es ist erforderlich.“

„Wenn es blutet, üben Sie Druck auf die Wunde aus, um sie zu kontrollieren. Wenn die Particular person nicht atmet, werde ich Sie durch CPR führen. Bitte bleiben Sie bei ihnen und bleiben Sie ruhig.“

„Wenn es keine Verletzungen gibt, finden Sie bitte einen sicheren Ort und bleiben Sie dort. Vermeiden Sie Gefahr und warten Sie auf Eintreffen von Rettungskräften.“

„Es geht dir intestine. Bleib mit mir auf der Strecke, und ich werde sicherstellen, dass Hilfe auf dem Weg ist und Sie auf dem Laufenden halten, bis die Responder eintreffen.“

Ausgabe:

Conflict das nicht toll? Die neuesten Audio -Modelle von OpenAI sind jetzt auch über die API von OpenAI zugänglich, sodass Entwickler sie in verschiedene Anwendungen integrieren können.

Testen wir das jetzt.

2. Verwenden Sie GPT-4O-Audio-Präview über API

Wir werden über OpenAs API auf das Modell GPT-4O-Audio-Präview-Modells zugreifen und 2 Aufgaben ausprobieren: eine für Textual content-zu-Sprache und die andere für Speech-to-Textual content.

Aufgabe 1: Textual content-to-Speech

Für diese Aufgabe werde ich das Modell bitten, mir einen Witz zu erzählen.

Codeeingabe:

import base64
from openai import OpenAI


consumer = OpenAI(api_key = "OPENAI_API_KEY")
completion = consumer.chat.completions.create(
   mannequin="gpt-4o-audio-preview",
   modalities=("textual content", "audio"),
   audio={"voice": "alloy", "format": "wav"},
   messages=(
       {
           "function": "consumer",
           "content material": "Are you able to inform me a joke about an AI making an attempt to inform a joke?"
       }
   )
)
print(completion.selections(0))
wav_bytes = base64.b64decode(completion.selections(0).message.audio.knowledge)
with open("output.wav", "wb") as f:
   f.write(wav_bytes)

Antwort:

Aufgabe 2: Sprache zu Textual content

Für unsere zweite Aufgabe geben wir das Modell an Diese Audiodatei und sehen Sie, ob es uns über die Aufnahme erzählen kann.

Codeeingabe:

import base64
import requests
from openai import OpenAI
consumer = OpenAI(api_key = "OPENAI_API_KEY")


# Fetch the audio file and convert it to a base64 encoded string
url = "https://cdn.openai.com/API/docs/audio/alloy.wav"
response = requests.get(url)
response.raise_for_status()
wav_data = response.content material
encoded_string = base64.b64encode(wav_data).decode('utf-8')


completion = consumer.chat.completions.create(
   mannequin="gpt-4o-audio-preview",
   modalities=("textual content", "audio"),
   audio={"voice": "alloy", "format": "wav"},
   messages=(
       {
           "function": "consumer",
           "content material": (
               {
                   "sort": "textual content",
                   "textual content": "What's on this recording?"
               },
               {
                   "sort": "input_audio",
                   "input_audio": {
                       "knowledge": encoded_string,
                       "format": "wav"
                   }
               }
           )
       },
   )
)
print(completion.selections(0).message)

Antwort:

Benchmarkergebnisse der Audiomodelle von OpenAI

Um die Leistung seiner neuesten Sprach-Textual content-Modelle zu bewerten, führte OpenAI Benchmark-Exams unter Verwendung der Wortfehlerrate (WER) durch, einer Standardmetrik in der Spracherkennung. Wer misst die Transkriptionsgenauigkeit durch Berechnung des Prozentsatzes der falschen Wörter im Vergleich zu einem Referenztranskript. Eine niedrigere Had been zeigt eine bessere Leistung mit weniger Fehlern an.

Wie die Ergebnisse zeigen, bieten die neuen Sprach-zu-Textual content-Modelle-GPT-4O-Transcribe und GPT-4O-Mini-Transcribe-im Vergleich zu früheren Modellen wie Whisper verbesserte Wortfehlerraten und verbesserte Spracherkennung.

Leistung bei Fleurs Benchmark

Eines der wichtigsten Benchmarks ist Fleurs (wenige Schuss-Lernbewertung von universellen Repräsentationen von Sprach), ein mehrsprachiger Sprachdatensatz, der über 100 Sprachen mit manuell transkribierten Audio-Samples abdeckt.

Die Ergebnisse zeigen, dass die neuen Modelle von Openai:

• Erreichen Sie niedrigere Had been in mehreren Sprachen und zeigen Sie eine verbesserte Transkriptionsgenauigkeit.
• Zeigen Sie eine stärkere mehrsprachige Abdeckung, wodurch sie für verschiedene sprachliche Anwendungen zuverlässiger werden.
• Übertreffen Sie Whisper V2 und Whisper V3, OpenAs Modelle der vorherigen Technology, in allen bewerteten Sprachen.

Kosten für Openai -Audiomodelle

Abschluss

Die neuesten Audio-Modelle von OpenAI sind eine signifikante Verschiebung von rein textbasierten Agenten zu hoch entwickelten Sprachmitteln, wodurch die Lücke zwischen KI und menschlicher Wechselwirkung überbrückt. Diese Modelle verstehen nicht nur, was sie sagen sollen – sie verstehen, wie man es sagt, und erfassen Ton, Tempo und Emotionen mit bemerkenswerter Präzision. OpenAI bietet Entwicklern sowohl Sprach- und Textual content- als auch Textual content-zu-Sprach-Funktionen, die sich natürlicher und ansprechender anfühlen.

Die Verfügbarkeit dieser Modelle über API bedeutet, dass Entwickler jetzt eine höhere Kontrolle über den Inhalt und die Bereitstellung von AI-generierten Sprache haben. Darüber hinaus erleichtert die Agenten von OpenAI, SDK, die traditionellen textbasierten Agenten in voll funktionsfähige Sprachagenten einfacher und eröffnen neue Möglichkeiten für Kundendienst, Zugänglichkeitstools und Echtzeit-Kommunikationsanwendungen. Während OpenAI seine Sprachtechnologie weiter verfeinert, setzen diese Fortschritte einen neuen Normal für KI-betriebene Interaktionen.

Häufig gestellte Fragen