Präzise ASR (Automatische Spracherkennung) beginnt mit den richtigen Daten – nicht mit „mehr“ Daten. Ihr Sammlungsplan sollte widerspiegeln, wie echte Benutzer sprechen: Akzente und Dialekte, Hintergrundgeräusche, Gerätemikrofone, Kanalcodecs und sogar die Artwork und Weise, wie Menschen mitten im Satz die Sprache wechseln. Dieser Leitfaden führt Sie durch einen praktischen, datenschutzorientierten Prozess zum Sammeln, Kennzeichnen und Verwalten von Audiodaten, denen Fashions (und Compliance-Groups) vertrauen können.

Der Prozess der Audiosammlung für Spracherkennungsmodelle

1) Legen Sie das Datenziel fest (bevor Sie aufzeichnen)

Definieren Sie, was das Modell verstehen muss und unter welchen Bedingungen. Ein enger Umfang verhindert unnötige Sammlung und macht die Qualitätssicherung messbar.

• Anwendungsfälle: Diktieren, Contact-Heart, Befehle, Besprechungen, IVR
• Sprachen/Dialekte & erwartet Code-Umschaltung
• Kanäle und Umgebungen: Telefon, App/Desktop, Fernfeld; ruhig vs. laut
• Zielmetriken: WER/CER, Entitätsgenauigkeit, TagebuchLatenz (beim Streaming)
• Lieferinhalt: einseitig Datenspez Jeder unterschreibt

2) Probenahmeplan: Wer, wo, wie viel

Stimmen Sie Lautsprecher, Akzente, Geräte und Geräusche aufeinander ab, damit die Ergebnisse verallgemeinert und truthful bleiben. Planen Sie im Voraus Stunden professional „Slice“ ein.

• Sprechervielfalt: Area, Altersgruppe, Geschlecht, Sprechgeschwindigkeit
• Akzentquoten professional Dialekt (z. B. jeweils 10–15 %)
• Äußerungsmix: lesen, Konversation, Befehl/Abfrage
  
• Vokabelschwerpunkt: Domänenbegriffe, Zahlen/Daten/Einheiten
• Schichten: Gerät × Umgebung × Akzent mit Mindeststundenzahl

3) Einwilligung, Datenschutz und Compliance

Sperren Sie Berechtigungen und Datenverarbeitung, bevor Sie jemanden einbinden. Behandeln Sie PII/PHI als separaten, verwalteten Vermögenswert.

• Klare Einwilligung (Zweck, Aufbewahrung, Weitergabe, Choose-out)
• De-identifizieren früh; Re-ID-Schlüssel separat aufbewahren
• Wohnsitz und Gesetze: HIPAA/DSGVO/örtliche Vorschriften
• Zugriff: geringste Berechtigung + Audit-Path

4) Aufnahme-Setup und Protokolle

Eine konsistente Erfassung reduziert das Etikettenrauschen und steigert die Modellqualität. Standardisieren Sie {Hardware}, Einstellungen und Szenarien.

• {Hardware}: zugelassene Telefone/Mikrofone; Protokoll Marke/Modell
  
• Einstellungen: WAV/FLAC, Mono, 16-Bit, 16 kHz+
  Szenen: ruhige Grundlinie + kontrollierter Lärm (Café, Verkehr, Büro)
• Eingabeaufforderungen: Skripte, Rollenspiele, Befehlslisten
• Bedienerhinweise: Mikrofonabstand, Raumgröße, Sitzplätze

5) Metadaten, die wichtig sind

Großartige Metadaten machen Ihren Datensatz wiederverwendbar und debuggbar. Erfassen Sie nur das, was Sie verwenden werden.

• Sprache/Gebietsschema, Akzent-Tag, Gerät/Betriebssystem, Mikrofontyp
• Umgebung, SNR-Schätzung, Kanal (PSTN/VoIP)
• Pseudonyme Sprecherfelder (Altersgruppe, Area, Einwilligungsversion)
• Dateibenennung: ______.wav

6) Anmerkungsrichtlinien und -tools

Konsistente Beschriftungen schlagen größere Datensätze. Ein prägnanter, versionierter Styleguide ist nicht verhandelbar.

• Regeln: Groß-/Kleinschreibung, Zeichensetzung, Zahlen, Zögerlichkeiten, Überschneidungen
• Tags: Code-Umschaltmarkierungen, Eigennamenwörterbuch, lokale Schreibweisen
• Diarisierungs-Workflow: Wendungen fixieren, Überlappungen markieren; Wortzeitstempel
• Instruments: Hotkeys, QA-Panel, Lexikon-Eingabeaufforderungen

7) Qualitätssicherung (mehrschichtig)

Automatisieren Sie, was möglich ist, und probieren Sie dann gemeinsam mit Menschen. Verfolgen Sie Vereinbarungen und beheben Sie Hotspots frühzeitig.

• Automatisierte Gates: Format, Clipping/Stille, Dauer, Vollständigkeit der Metadaten
• Menschliche Qualitätssicherung: Duale Transkription + Entscheidung; Schiene IAA
  
• Goldset (2–5 %): Expertenlabels zum Benchmarking von Anbietern/Annotatoren
• Metriken: WER/CER (nach Akzent/Gerät/Lärm), Entitäts- und Diarisierungsgenauigkeit, Stilkonformität

8) Practice/Val/Take a look at-Splits, die nicht lecken

Halten Sie die Redner über die Splits hinweg getrennt, um ehrliche Ergebnisse zu erzielen. Balancieren Sie „harte“ Bedingungen im Take a look at.

• Lautsprecherebene Trennung (keine Cross-Cut up-Lautsprecher)
• Ausgewogenes Verhältnis von Akzenten, Geräten und Geräuschen
• Schwierige Fälle: niedriges SNR, Überlappungen, schnelle Sprache, starker Codewechsel, Jargon-Stresstests

9) Sichere Speicherung und Governance

Sprachdaten sind vertraulich – sie werden wie Quellcode und personenbezogene Daten behandelt.

• Im Ruhezustand/während der Übertragung verschlüsseln; PII von Audio/Textual content trennen
• RBAC, zeitgesteuerter Anbieterzugriff, Prüfprotokolle
• Lebenszyklus: Aufbewahrung, Löschworkflows, Versionierung für Neukennzeichnungen

10) Verpackung und Lieferung

Machen Sie Drops für Modellierer Plug-and-Play-fähig, damit sie schneller iterieren können.

• Bundle: Audio + Transkripte (JSON/CSV), Wortzeitstempel, Sprecherbezeichnungen, Vertraulichkeiten
• Datenkarte: Methoden, Demografie, Einschränkungen, QS-Statistiken, Lizenz
• Änderungsprotokoll: Was ist neu (Akzente/Geräte, Richtlinienaktualisierungen)

Mini-Checklisten

Prime-Anwendungsfälle für die automatische Spracherkennung

Kundenerfahrung und Kontaktzentren

• Reside-Agentenunterstützung (Streaming): Echtzeit-Transkripte lösen Eingabeaufforderungen, Formulare und Wissenstreffer aus.
  Beispiel: Während eines Rechnungsanrufs zeigt ASR die Rückerstattungsrichtlinie an und füllt das Fallformular automatisch aus.
• Qualitätssicherung und Compliance nach dem Anruf (Cost): Transkribieren Sie Aufzeichnungen, um Anrufe zu bewerten, Risiken zu kennzeichnen und Agenten zu coachen.
  Beispiel: Die wöchentliche Qualitätssicherung findet fehlende Offenlegungen und schlägt gezieltes Teaching vor.
• Sprachanalysen und Erkenntnisse: Erfassen Sie Themen, Stimmungen und Abwanderungssignale über Millionen von Minuten hinweg.
  Beispiel: Spitzen bei „Versandverzögerungen“ lösen operative Korrekturen aus.

Gesundheitswesen und Biowissenschaften

• Diktat und Notizen des Arztes: Ärzte diktieren; ASR erstellt SOAP-Notizen mit Zeitstempeln.
  Beispiel: Begegnungsnotizen werden in wenigen Minuten erstellt, dann überprüft und unterzeichnet.
• Unterstützung bei der medizinischen Kodierung: Transkripte heben CPT/ICD-Kandidaten für Programmierer hervor.
  Beispiel: „Bronchitis“ und Dosierungsbegriffe werden automatisch zur Überprüfung markiert.
• Klinische Forschung und Studien: Standardisieren Sie Interview-Audio in durchsuchbaren Textual content.
  Beispiel: Vom Patienten berichtete Ergebnisse, die zur Analyse extrahiert wurden.

Sprachprodukte und -geräte

• Sprachbefehle und Assistenten: Freihändige Steuerung von Apps, Kiosken und Fahrzeugen.
  Beispiel: „Um 20 Uhr einen Tisch reservieren“ löst einen Reservierungsfluss aus.
• IVR und intelligentes Routing: Verstehen Sie die Absicht des Anrufers und leiten Sie ihn ohne Tastendruck weiter.
  Beispiel: „Meine Karte einfrieren“ führt direkt zum Betrugs-Workflow.
• Automobil & Wearables: On-Machine/Edge-ASR für Steuerung mit geringer Latenz.
  Beispiel: Offline-Befehle, wenn die Verbindung unterbrochen wird.

Reguliert und Finanzen

• KYC/Inkasso-Aufrufe: Transkripte ermöglichen Prüfung, Streitbeilegung und Teaching.
  Beispiel: Zahlungsplanbedingungen anhand des Transkripts bestätigt.
• Risiko- und Compliance-Überwachung: Erkennen Sie eingeschränkte Phrasen oder Versprechen.
  Beispiel: Hinweise zu „garantierter Rendite“ in Beratungsgesprächen.

Mehrsprachig und world

• Codeumschaltung und mehrsprachige Unterstützung: Wendungen in gemischten Sprachen (z. B. Hinglisch).
  Beispiel: ASR behandelt „Rückerstattungsstatus bitte“ im Hindi-Kontext.
• Untertitelung und Lokalisierung: Transkribieren und dann für weltweite Veröffentlichungen übersetzen.
  Beispiel: Automatisch generierte englische Untertitel, lokalisiert auf Spanisch.

Wo Shaip hilft

Wenn Sie Geschwindigkeit wollen ohne Ob Qualitäts- oder Compliance-Risiken, Shaip liefert den Datenmuskel hinter Ihrem ASR:

• Finish-to-Finish-Sammlung: mehrsprachiges Recruiting, kontrollierte Geräte/Umgebungen, Einwilligungsworkflows
• Expertenkommentar und Qualitätssicherung: Beurteilung, Nachverfolgung, Goldset-Administration
• PHI-sichere Anonymisierung: Pipelines in Gesundheitsqualität mit menschlicher Qualitätssicherung
• Evaluierungspakete: akzent-/geräte-/geräuschausgeglichene Testsätze; Dashboards für WER, Entität, Diarisierung

Sprechen Sie mit den ASR-Datenexperten von Shaip für einen maßgeschneiderten Sammlungs- und Qualitätssicherungsplan.

Besprechen Sie, wie Sie automatische Bewertungen mit LLM als Richter durchführen können. LLMs werden heute für eine Vielzahl von Anwendungen häufig verwendet. Ein häufig unterschätzter Aspekt von LLMs ist jedoch der Anwendungsfall für die Bewertung. Mit LLM als Richter verwenden Sie LLMs, um die Qualität einer Ausgabe zu beurteilen, unabhängig davon, ob es eine Punktzahl zwischen 1 und 10 gibt, zwei Ausgänge verglichen oder ein Go/Fail -Suggestions bereitstellt. Ziel des Artikels ist es, Einblicke zu geben, wie Sie LLM als Richter für Ihren eigenen Antrag nutzen können, um die Entwicklung effektiver zu gestalten.

Sie können auch lesen Mein Artikel über Benchmarking LLMs mit Arc Agi 3 und schau dir an Meine Web site, die alle meine Informationen und Artikel enthält.

Inhaltsverzeichnis

Motivation

Meine Motivation zum Schreiben dieses Artikels ist, dass ich täglich an verschiedenen LLM -Anwendungen arbeite. Ich habe immer mehr über die Verwendung von LLM als Richter gelesen und habe angefangen, das Thema zu lesen. Ich glaube, die Verwendung von LLMs für automatisierte Bewertungen von Systemen für maschinelle Lernsysteme ist ein tremendous leistungsfähiger Aspekt von LLMs, der oft unterschätzt wird.

Wenn Sie LLM als Richter verwenden, können Sie enorme Zeitspanne sparen, wenn man bedenkt, dass es entweder einen Teil des oder den gesamten Bewertungsprozess automatisieren kann. Bewertungen sind für maschinelle Lernsysteme von entscheidender Bedeutung, um sicherzustellen, dass sie wie beabsichtigt durchführen. Die Bewertungen sind jedoch auch zeitaufwändig, und Sie möchten sie daher so weit wie möglich automatisieren.

Ein leistungsstarker Beispielgebrauchsfall für LLM als Richter befindet sich in einem Fragen-Reply-System. Sie können eine Reihe von Enter-Output-Beispielen für zwei verschiedene Versionen einer Eingabeaufforderung sammeln. Anschließend können Sie den LLM -Richter bitten, zu antworten, ob die Ausgaben gleich sind (oder die letztere Ausgabe der Eingabeaufforderung besser), und somit sicherstellen, dass Änderungen in Ihrer Anwendung keinen negativen Einfluss auf die Leistung haben. Dies kann beispielsweise vor der Einführung neuer Eingabeaufforderungen verwendet werden.

Definition

Ich definiere LLM als Richter, wie jeder Fall, in dem Sie eine LLM auffordern, die Ausgabe eines Methods zu bewerten. Das System basiert in erster Linie maschinell lernend, obwohl dies keine Anforderung ist. Sie geben dem LLM lediglich eine Reihe von Anweisungen zur Bewertung des Methods an, geben Informationen an, z. B. was für die Bewertung wichtig ist und welche Bewertungsmetrik verwendet werden sollte. Die Ausgabe kann dann bearbeitet werden, um die Bereitstellung fortzusetzen oder die Bereitstellung zu stoppen, da die Qualität als niedriger angesehen wird. Dadurch wird der zeitaufwändige und inkonsistente Schritt der manuellen Überprüfung von LLM-Ausgängen beseitigt, bevor Sie Änderungen an Ihrer Anwendung vornehmen.

LLM als Richterbewertungsmethoden

LLM als Richter kann für eine Vielzahl von Anwendungen verwendet werden, wie z. B.:

• Fragen Antwortsysteme
• Klassifizierungssysteme
• Informationsextraktionssysteme
• …

Unterschiedliche Anwendungen erfordern unterschiedliche Bewertungsmethoden, daher werde ich unten drei verschiedene Methoden beschreiben

Vergleichen Sie zwei Ausgänge

Der Vergleich von zwei Ausgängen ist eine große Verwendung von LLM als Richter. Mit dieser Bewertungsmetrik vergleichen Sie die Ausgabe von zwei verschiedenen Modellen.

Der Unterschied zwischen den Modellen kann beispielsweise sein:

• Verschiedene Eingabeaufforderungen
• Verschiedene LLMs (dh OpenAI GPT4O gegen Claude Sonnet 4.0)
• Verschiedene Einbettungsmodelle für Lappen

Anschließend geben Sie dem LLM -Richter vier Elemente an:

• Die Eingabeaufforderung (en)
• Ausgabe aus Modell 1
• Ausgabe aus Modell 2
• Anweisungen zur Durchführung der Bewertung

Sie können dann den LLM -Richter bitten, einen der drei folgenden Ausgaben bereitzustellen:

• Gleich (die Essenz der Ausgänge ist gleich)
• Ausgabe 1 (das erste Modell ist besser)
• Ausgabe 2 (das zweite Modell ist besser).

Sie können dies beispielsweise in dem zuvor beschriebenen Szenario verwenden, wenn Sie die Eingabeaufforderung aktualisieren möchten. Sie können dann sicherstellen, dass die aktualisierte Eingabeaufforderung gleich oder besser als die vorherige Eingabeaufforderung ist. Wenn der LLM -Richter Sie darüber informiert, dass alle Testproben entweder gleich oder die neue Eingabeaufforderung besser sind, können Sie die Updates wahrscheinlich automatisch bereitstellen.

Punktzahlausgänge

Eine weitere Bewertungsmetrik, die Sie als Richter für LLM verwenden können, besteht darin, der Ausgabe eine Punktzahl zu liefern, beispielsweise zwischen 1 und 10. In diesem Szenario müssen Sie dem LLM -Richter Folgendes zur Verfügung stellen:

• Anweisungen zur Durchführung der Bewertung
• Die Eingabeaufforderung
• Die Ausgabe

Bei dieser Bewertungsmethode ist es wichtig, dem LLM -Richter klare Anweisungen zu geben, wenn man bedenkt, dass die Bereitstellung einer Punktzahl eine subjektive Aufgabe ist. Ich empfehle dringend, Beispiele für Ausgänge bereitzustellen, die einer Punktzahl von 1, einer Punktzahl von 5 und einer Punktzahl von 10 ähneln. Dies bietet dem Modell unterschiedliche Anker, die es verwenden kann, um eine genauere Punktzahl zu erzielen. Sie können auch versuchen, weniger mögliche Bewertungen zu verwenden, z. B. nur Punkte von 1, 2 und 3.. Weniger Optionen erhöhen die Modellgenauigkeit auf Kosten, um kleinere Unterschiede aufgrund weniger Granularität schwerer zu unterscheiden.

Die Bewertungsmetrik ist nützlich, um größere Experimente durchzuführen, verschiedene Eingabeaufforderungen, Modelle usw. zu vergleichen. Sie können dann die durchschnittliche Punktzahl über einen größeren Check verwenden, um genau zu beurteilen, welcher Ansatz am besten funktioniert.

Go/Fail

Go oder Fail ist eine weitere gemeinsame Bewertungsmetrik für LLM als Richter. In diesem Szenario bitten Sie den LLM -Richter, die Ausgabe entweder zu genehmigen oder zu missbilligen, angesichts einer Beschreibung dessen, was einen Go ausmacht und was einen Fehler ausmacht. Ähnlich wie bei der Bewertung ist diese Beschreibung für die Leistung des LLM -Richters von entscheidender Bedeutung. Ich empfehle erneut, Beispiele zu verwenden, wobei im Wesentlichen nur wenige Schüsse verwendet werden, um den LLM-Richter genauer zu gestalten. Sie können mehr über ein paar Schüsse lesen in Lernen in Mein Artikel über Context Engineering.

Die Go -Metrik für die PASS -Fail -Evaluierung ist nützlich, damit RAG -Systeme beurteilt werden können, ob ein Modell eine Frage korrekt beantwortet. Sie können beispielsweise die abgerufenen Stücke und die Ausgabe des Modells bereitstellen, um festzustellen, ob das Lappensystem korrekt antwortet.

Wichtige Anmerkungen

Vergleichen Sie mit einem menschlichen Bewerter

Ich habe auch ein paar wichtige Notizen bezüglich LLM als Richter, weil ich selbst daran arbeite. Das Lernen Nummer eins ist, dass LLM als Richtersystem, während es Ihnen viel Zeit sparen kann, auch unzuverlässig sein kann. Bei der Implementierung des LLM -Richters müssen Sie das System somit manuell testen und sicherstellen, dass das LLM als Richtersystem ähnlich wie ein menschlicher Bewerter reagiert. Dies sollte vorzugsweise als Blindtest durchgeführt werden. Zum Beispiel können Sie eine Reihe von Go-/Fail -Beispielen einrichten und sehen, wie oft das LLM -Richtersystem mit dem menschlichen Bewerter übereinstimmt.

Kosten

Ein weiterer wichtiger Hinweis, den Sie beachten sollten, sind die Kosten. Die Kosten für LLM -Anfragen sind nach unten tendiert. Bei der Entwicklung eines LLM als Richtersystem führen Sie jedoch auch viele Anfragen aus. Ich würde dies daher berücksichtigen und Schätzungen der Kosten des Methods durchführen. Wenn beispielsweise jeder LLM als Richter 10 USD kostet und Sie im Durchschnitt fünf solcher Läufe professional Tag durchführen, kostet Sie 50 USD professional Tag. Möglicherweise müssen Sie bewerten, ob dies ein akzeptabler Preis für eine effektivere Entwicklung ist oder ob Sie die Kosten des LLM als Richtersystem senken sollten. Sie können beispielsweise die Kosten senken, indem Sie billigere Modelle (GPT-4O-Mini anstelle von GPT-4O) verwenden oder die Anzahl der Testbeispiele verringern.

Abschluss

In diesem Artikel habe ich diskutiert, wie LLM als Richter funktioniert und wie Sie es nutzen können, um die Entwicklung effektiver zu gestalten. LLM als Richter ist ein oft übersehener Aspekt von LLMs, der unglaublich leistungsfähig sein kann, beispielsweise Vorabläufe, um sicherzustellen, dass Ihr Fragenbeantwortungssystem weiterhin zu historischen Fragen funktioniert.

Ich habe verschiedene Bewertungsmethoden diskutiert, wie und wann Sie sie verwenden sollten. LLM als Richter ist ein flexibles System, und Sie müssen es an das Szenario anpassen, das Sie implementieren. Zuletzt habe ich auch einige wichtige Anmerkungen diskutiert, beispielsweise den LLM -Richter mit einem menschlichen Bewerter verglichen.

Finden Sie mich in Socials:

Sich in Verbindung setzen

LinkedIn

X / Twitter

Medium

Strafverfolgungsbehörden stehen vor unerwarteten Herausforderungen, da iPhones während der Haft automatisch neu gestartet werden, was den Zugriff auf potenziell wichtige Daten erschwert. Diese jüngste Entwicklung scheint auf eine neue Sicherheitsfunktion in iOS 18.1 zurückzuführen zu sein, die darauf ausgelegt ist, verschlüsselte Daten zu schützen, indem das Gerät nach einer Zeit der Inaktivität in einen stärker gesperrten Zustand zurückversetzt wird.

Polizei alarmiert über mysteriöse iPhone-Neustarts

Ein neu erworbenes Dokument von 404 Medien enthüllt, dass Polizeikräfte, insbesondere in Detroit, auf unerwartete Neustarts von iPhones gestoßen sind, nachdem sie aus den Mobilfunknetzen entfernt wurden. Die Autoren des Dokuments spekulieren, dass das neueste Replace von Apple eine Sicherheitsmaßnahme enthält, die Geräte zum Neustart auffordert, wenn sie längere Zeit nicht mit einem Mobilfunkdienst verbunden waren – eine Scenario, die auftreten könnte, während ein Telefon für forensische Untersuchungen aufbewahrt wird. Dieser Neustart ist für die Ermittler eine ernste Angelegenheit, denn sobald ein iPhone neu gestartet wird, ändert sich sein Standing in „Earlier than First Unlock“ (BFU), wo der Zugriff durch forensische Instruments deutlich schwieriger ist.

Den im Strafverfolgungsdokument enthaltenen Beobachtungen zufolge können diese unerwarteten Neustarts bereits innerhalb von 24 Stunden erfolgen. Infolgedessen könnte die Analyse von Mobiltelefonen, die für strafrechtliche Ermittlungen von entscheidender Bedeutung sind, schwieriger werden. Ein Polizeibeamter brachte die Dringlichkeit der Scenario auf den Punkt: „Der Zweck dieser Mitteilung besteht darin, auf eine Scenario mit iPhones aufmerksam zu machen, die dazu führt, dass iPhone-Geräte innerhalb kurzer Zeit neu gestartet werden, wenn sie aus dem Mobilfunknetz entfernt werden.“

Darüber hinaus verschlüsselt Apples neue „Inaktivitäts-Neustart“-Funktion Daten nach längeren Leerlaufzeiten automatisch neu, was eine weitere Sicherheitsebene hinzufügt und die Wiederherstellungsbemühungen für die Polizei erschwert. Jiska Classen, Forscherin am Hasso-Plattner-Institut, erklärt dass das Betriebssystem beim Entsperren eines iPhones – entweder über eine PIN oder Face ID – die Verschlüsselungsschlüssel in den Speicher lädt. Nach einem Neustart geht das Gerät jedoch in einen Zustand über, in dem es diese Schlüssel nicht behält, was bedeutet, dass die Daten sowohl für Ermittler als auch für böswillige Akteure unzugänglich sind.

Apple hat die Implementierung dieser neuen Funktion nicht ohne weiteres bestätigt, obwohl festgestellt wurde, dass der Mechanismus auf Systemebene funktioniert. Es stellt eine zusätzliche Hürde gegen Versuche dar, Daten von Geräten zu extrahieren, die von Verdächtigen verwendet werden. Berichten zufolge kann dieser Prozess auch herkömmliche Methoden zur Datenextraktion zunichte machen und die Privatsphäre der Benutzer selbst in strittigen Rechtssituationen wahren, in denen das Telefon ein wichtiger Beweis ist.

Der Development ist ein zweischneidiges Schwert, das mehr Sicherheit bietet, aber auch unbeabsichtigt die Bemühungen der Strafverfolgung behindert. Da iPhones nicht nur streng auf persönliche Daten achten, sondern sich auch ständig mit Updates weiterentwickeln, wird den Ermittlern empfohlen, ihre Methoden entsprechend anzupassen. Was dies für künftige forensische Verfahren bedeutet, bleibt abzuwarten, aber es ist klar: Wer im digitalen Zeitalter ein kriminelles Leben plant, wird viel Glück dabei haben, die immer cleverer werdenden iPhones zu umgehen.

Da Modelle der künstlichen Intelligenz immer häufiger zum Einsatz kommen und in so unterschiedliche Bereiche wie Gesundheitswesen, Finanzen, Bildung, Transport und Unterhaltung integriert werden, ist es von entscheidender Bedeutung, zu verstehen, wie sie im Hintergrund funktionieren. Durch die Interpretation der Mechanismen, die KI-Modellen zugrunde liegen, können wir sie auf Sicherheit und Voreingenommenheit prüfen und so möglicherweise unser Verständnis der Wissenschaft hinter der Intelligenz selbst vertiefen.

Stellen Sie sich vor, wir könnten das menschliche Gehirn direkt untersuchen, indem wir jedes einzelne Neuron manipulieren, um ihre Rolle bei der Wahrnehmung eines bestimmten Objekts zu untersuchen. Während ein solches Experiment beim menschlichen Gehirn unerschwinglich invasiv wäre, ist es bei einem anderen Typ neuronalen Netzwerks, einem künstlichen, machbarer. Künstliche Modelle mit Millionen von Neuronen sind jedoch – ähnlich wie das menschliche Gehirn – zu groß und zu komplex, um sie manuell zu untersuchen, was die Interpretierbarkeit im großen Maßstab zu einer sehr anspruchsvollen Aufgabe macht.

Um dieses Drawback zu lösen, entschieden sich die Forscher des Laptop Science and Synthetic Intelligence Laboratory (CSAIL) des MIT für einen automatisierten Ansatz zur Interpretation künstlicher Bildmodelle, die verschiedene Eigenschaften von Bildern bewerten. Sie entwickelten „MAIA“ (Multimodal Automated Interpretability Agent), ein System, das eine Vielzahl von Interpretieraufgaben neuronaler Netzwerke mithilfe eines Bildsprachenmodell-Backbones automatisiert, das mit Instruments zum Experimentieren mit anderen KI-Systemen ausgestattet ist.

„Unser Ziel ist es, einen KI-Forscher zu schaffen, der Interpretierbarkeitsexperimente autonom durchführen kann. Bestehende automatisierte Interpretierbarkeitsmethoden kennzeichnen oder visualisieren Daten lediglich in einem einmaligen Prozess. MAIA hingegen kann Hypothesen generieren, Experimente zu deren Prüfung entwerfen und sein Verständnis durch iterative Analyse verfeinern“, sagt Tamar Rott Shaham, Postdoc für Elektrotechnik und Informatik (EECS) am CSAIL des MIT und Co-Autorin eines neuen Papier über die Forschung„Durch die Kombination eines vorab trainierten Imaginative and prescient-Language-Modells mit einer Bibliothek aus Interpretierbarkeitstools kann unsere multimodale Methode auf Benutzeranfragen reagieren, indem sie gezielte Experimente an bestimmten Modellen erstellt und durchführt und ihren Ansatz kontinuierlich verfeinert, bis sie eine umfassende Antwort liefern kann.“

Der automatisierte Agent bewältigt drei Hauptaufgaben: Er beschriftet einzelne Komponenten in Bildmodellen und beschreibt die visuellen Konzepte, die sie aktivieren, er bereinigt Bildklassifizierer, indem er irrelevante Merkmale entfernt, um sie robuster gegenüber neuen Situationen zu machen, und er sucht nach versteckten Verzerrungen in KI-Systemen, um potenzielle Fairnessprobleme in ihren Ergebnissen aufzudecken. „Ein wesentlicher Vorteil eines Techniques wie MAIA ist jedoch seine Flexibilität“, sagt Sarah Schwettmann PhD ’21, Wissenschaftlerin am CSAIL und Co-Leiterin der Forschung. „Wir haben die Nützlichkeit von MAIA anhand einiger spezifischer Aufgaben demonstriert, aber da das System auf einem Basismodell mit umfassenden Denkfähigkeiten aufbaut, kann es viele verschiedene Arten von Interpretierbarkeitsanfragen von Benutzern beantworten und spontan Experimente entwerfen, um diese zu untersuchen.“

Neuron für Neuron

In einer Beispielaufgabe bittet ein menschlicher Benutzer MAIA, die Konzepte zu beschreiben, für deren Erkennung ein bestimmtes Neuron in einem Sehmodell verantwortlich ist. Um diese Frage zu untersuchen, verwendet MAIA zunächst ein Software, das „Datensatzexemplare“ aus dem ImageNet-Datensatz abruft, die das Neuron maximal aktivieren. Für dieses Beispielneuron zeigen diese Bilder Menschen in formeller Kleidung und Nahaufnahmen ihrer Kinn- und Halspartie. MAIA stellt verschiedene Hypothesen darüber auf, was die Aktivität des Neurons antreibt: Gesichtsausdrücke, Kinnpartien oder Krawatten. MAIA verwendet dann seine Instruments, um Experimente zu entwerfen und jede Hypothese einzeln zu testen, indem synthetische Bilder generiert und bearbeitet werden – in einem Experiment erhöht das Hinzufügen einer Fliege zu einem Bild eines menschlichen Gesichts die Reaktion des Neurons. „Mit diesem Ansatz können wir die spezifische Ursache der Aktivität des Neurons bestimmen, ähnlich wie bei einem echten wissenschaftlichen Experiment“, sagt Rott Shaham.

MAIAs Erklärungen des Neuronenverhaltens werden auf zwei Arten ausgewertet. Zunächst werden synthetische Systeme mit bekannten Grundverhaltensweisen verwendet, um die Genauigkeit von MAIAs Interpretationen zu beurteilen. Zweitens entwickeln die Autoren für „echte“ Neuronen in trainierten KI-Systemen ohne Grundverhaltensbeschreibungen ein neues automatisiertes Auswertungsprotokoll, das misst, wie intestine MAIAs Beschreibungen das Neuronenverhalten anhand unbekannter Daten vorhersagen.

Die von CSAIL geleitete Methode übertraf Basismethoden, die einzelne Neuronen in einer Vielzahl von Bildverarbeitungsmodellen wie ResNet, CLIP und dem Bildverarbeitungstransformator DINO beschreiben. MAIA zeigte auch bei dem neuen Datensatz synthetischer Neuronen mit bekannten Grundbeschreibungen gute Ergebnisse. Sowohl für die realen als auch für die synthetischen Systeme waren die Beschreibungen oft auf Augenhöhe mit Beschreibungen, die von menschlichen Experten verfasst wurden.

Inwiefern sind Beschreibungen von KI-Systemkomponenten, wie beispielsweise einzelnen Neuronen, nützlich? „Das Verstehen und Lokalisieren von Verhaltensweisen innerhalb großer KI-Systeme ist ein wesentlicher Bestandteil der Sicherheitsüberprüfung dieser Systeme vor ihrem Einsatz – in einigen unserer Experimente zeigen wir, wie MAIA verwendet werden kann, um Neuronen mit unerwünschtem Verhalten zu finden und dieses Verhalten aus einem Modell zu entfernen“, sagt Schwettmann. „Wir arbeiten an einem widerstandsfähigeren KI-Ökosystem, in dem Instruments zum Verstehen und Überwachen von KI-Systemen mit der System-Skalierung Schritt halten, sodass wir unvorhergesehene Herausforderungen, die durch neue Modelle entstehen, untersuchen und hoffentlich verstehen können.“

Ein Blick ins Innere neuronaler Netzwerke

Das junge Feld der Interpretierbarkeit entwickelt sich parallel zur Verbreitung von „Black Field“-Maschinenlernmodellen zu einem eigenständigen Forschungsgebiet. Wie können Forscher diese Modelle entschlüsseln und ihre Funktionsweise verstehen?

Aktuelle Methoden, um Einblicke in die Materie zu erhalten, sind entweder in ihrem Umfang oder in der Genauigkeit der Erklärungen, die sie liefern können, begrenzt. Darüber hinaus sind bestehende Methoden in der Regel auf ein bestimmtes Modell und eine bestimmte Aufgabe zugeschnitten. Dies veranlasste die Forscher zu der Frage: Wie können wir ein generisches System aufbauen, das Benutzern hilft, Fragen zur Interpretierbarkeit von KI-Modellen zu beantworten und dabei die Flexibilität menschlicher Experimente mit der Skalierbarkeit automatisierter Techniken zu kombinieren?

Ein kritischer Bereich, den dieses System angehen sollte, struggle die Verzerrung. Um festzustellen, ob Bildklassifizierer eine Verzerrung gegenüber bestimmten Unterkategorien von Bildern zeigten, untersuchte das Staff die letzte Ebene des Klassifizierungsstroms (in einem System, das zum Sortieren oder Beschriften von Elementen entwickelt wurde, ähnlich einer Maschine, die erkennt, ob ein Foto einen Hund, eine Katze oder einen Vogel zeigt) und die Wahrscheinlichkeitswerte der Eingabebilder (Vertrauensstufen, die die Maschine ihren Vermutungen zuweist). Um mögliche Verzerrungen bei der Bildklassifizierung zu verstehen, wurde MAIA gebeten, eine Teilmenge von Bildern in bestimmten Klassen (z. B. „Labrador Retriever“) zu finden, die vom System wahrscheinlich falsch beschriftet wurden. In diesem Beispiel stellte MAIA fest, dass Bilder von schwarzen Labradoren wahrscheinlich falsch klassifiziert wurden, was auf eine Verzerrung des Modells zugunsten gelbfelliger Retriever hindeutet.

Da MAIA bei der Versuchsplanung auf externe Instruments angewiesen ist, wird seine Leistung durch die Qualität dieser Instruments begrenzt. Aber mit der Verbesserung der Qualität von Instruments wie Bildsynthesemodellen wird sich auch MAIA verbessern. MAIA zeigt manchmal auch Bestätigungsfehler, wenn es seine ursprüngliche Hypothese fälschlicherweise bestätigt. Um dies zu mildern, haben die Forscher ein Bild-zu-Textual content-Software entwickelt, das eine andere Instanz des Sprachmodells verwendet, um Versuchsergebnisse zusammenzufassen. Ein weiterer Fehlermodus ist die Überanpassung an ein bestimmtes Experiment, bei der das Modell manchmal voreilige Schlussfolgerungen auf der Grundlage minimaler Beweise zieht.

„Ich denke, ein natürlicher nächster Schritt für unser Labor ist, über künstliche Systeme hinauszugehen und ähnliche Experimente auf die menschliche Wahrnehmung anzuwenden“, sagt Rott Shaham. „Um dies zu testen, mussten traditionell Reize manuell entworfen und getestet werden, was arbeitsintensiv ist. Mit unserem Agenten können wir diesen Prozess skalieren und zahlreiche Reize gleichzeitig entwerfen und testen. Dies könnte es uns auch ermöglichen, die menschliche visuelle Wahrnehmung mit künstlichen Systemen zu vergleichen.“

„Neuronale Netzwerke zu verstehen ist für Menschen schwierig, da sie über Hunderttausende von Neuronen verfügen, von denen jedes über komplexe Verhaltensmuster verfügt. MAIA hilft, diese Hürde zu nehmen, indem es KI-Agenten entwickelt, die diese Neuronen automatisch analysieren und die Ergebnisse in verständlicher Type an den Menschen zurückmelden können“, sagt Jacob Steinhardt, Assistenzprofessor an der College of California in Berkeley, der nicht an der Forschung beteiligt struggle. „Die Skalierung dieser Methoden könnte einer der wichtigsten Wege zum Verständnis und zur sicheren Überwachung von KI-Systemen sein.“

Rott Shaham und Schwettmann werden von fünf anderen CSAIL-Mitgliedern an der Arbeit unterstützt: dem Bachelorstudenten Franklin Wang, dem angehenden MIT-Studenten Achyuta Rajaram, dem EECS-Doktoranden Evan Hernandez SM ’22 sowie den EECS-Professoren Jacob Andreas und Antonio Torralba. Ihre Arbeit wurde teilweise vom MIT-IBM Watson AI Lab, Open Philanthropy, Hyundai Motor Co., dem Military Analysis Laboratory, Intel, der Nationwide Science Basis, dem Zuckerman STEM Management Program und dem Viterbi Fellowship unterstützt. Die Ergebnisse der Forscher werden diese Woche auf der Worldwide Convention on Machine Studying vorgestellt.

Im Jahr 2010 entwickelt sich ASR enorm weiter und wird immer häufiger und präziser. Heute sind Amazon, Google und Apple die führenden Anbieter von ASR-Technologie.

(Lesen Sie auch: Der vollständige Leitfaden zur Konversations-KI )

Wie funktioniert die Spracherkennung?

Automatische Spracherkennung ist eine ziemlich fortschrittliche Technologie, deren Design und Entwicklung extrem schwierig ist. Es gibt weltweit Tausende von Sprachen mit unterschiedlichen Dialekten und Akzenten, daher ist es schwierig, Software program zu entwickeln, die alle Sprachen versteht.

ASR verwendet für seine Entwicklung Konzepte der natürlichen Sprachverarbeitung und des maschinellen Lernens. Durch die Einbindung zahlreicher Sprachlernmechanismen in die Software program stellen Entwickler die Präzision und Effizienz der Spracherkennungssoftware sicher.

Automatische Spracherkennung (ASR) ist eine komplexe Technologie, die auf mehreren Schlüsselprozessen basiert, um gesprochene Sprache in Textual content umzuwandeln. Auf hoher Ebene sind die wichtigsten Schritte:

1. Audioaufnahme: Ein Mikrofon erfasst die Sprache des Benutzers und wandelt die Schallwellen in ein elektrisches Sign um.
2. Audio-Vorverarbeitung: Das elektrische Sign wird dann digitalisiert und durchläuft verschiedene Vorverarbeitungsschritte, wie beispielsweise eine Rauschunterdrückung, um die Qualität des Audioeingangs zu verbessern.
3. Merkmalsextraktion: Das digitale Audio wird analysiert, um akustische Merkmale wie Tonhöhe, Energie und Spektralkoeffizienten zu extrahieren, die für verschiedene Sprachlaute charakteristisch sind.
4. Akustische Modellierung: Die extrahierten Merkmale werden mit vorab trainierten Akustikmodellen verglichen, die die Audiomerkmale einzelnen Sprachlauten oder Phonemen zuordnen.
5. Sprachmodellierung: Die erkannten Phoneme werden dann mithilfe statistischer Sprachmodelle, die kontextabhängig die wahrscheinlichsten Wortfolgen vorhersagen, zu Wörtern und Phrasen zusammengesetzt.
6. Dekodierung: Im letzten Schritt wird die wahrscheinlichste Wortfolge dekodiert, die mit dem Eingangsaudio übereinstimmt. Dabei werden sowohl die akustischen als auch die Sprachmodelle berücksichtigt.

Diese Kernkomponenten arbeiten nahtlos zusammen, um eine äußerst genaue Sprach-zu-Textual content-Konvertierung zu ermöglichen, selbst bei Hintergrundgeräuschen, Akzenten und unterschiedlichem Vokabular.

(Lesen Sie auch: Was ist Speech-to-Textual content-Technologie und wie funktioniert sie?)