Geschrieben von Spencer Hulse

Dieser Artikel wurde ursprünglich veröffentlicht auf Smartech Day by day und mit Genehmigung bei Dataconomy erneut veröffentlicht.

Programme für Robotik und autonome Systeme stellen fest, dass Simulationsumgebungen Modelle erzeugen, die versagen, wenn sie mit realem Sensorrauschen und dem Chaos gewöhnlicher Einsatzbedingungen konfrontiert werden.

Physische KI-Programme stoßen immer wieder auf dieselbe Wand.

Ein ausschließlich auf Simulation trainiertes Robotiksystem beginnt in einer realen Anlage Fehler zu machen, die in der Szenariobibliothek nicht vorhanden waren. Programmierer geben häufig der Modellarchitektur die Schuld für das Drawback, aber die zum Coaching des Modells verwendeten Daten offenbaren stets die zugrunde liegenden Ursachen.

Der Einsatz von Robotikprogrammen in realen Einrichtungen hat eine Debatte über synthetische versus reale Daten entfacht und echte Konsequenzen deutlich gemacht. Da autonome Systemprogramme von Forschungsumgebungen in Produktionsumgebungen verlagert werden, zeigen sich Datenlücken in Kind unerwarteter Verhaltensweisen und kostspieliger Überarbeitungszyklen.

Trotz dieser Lücke haben synthetische Daten in den folgenden Szenarien unbestreitbare Stärken:

In Simulationsumgebungen: Im NVIDIA ISAAC-Sim beschleunigen synthetische Daten das Coaching im Frühstadium, indem sie verkörperten KI-Systemen einen strukturierten Raum zum Lernen, Trainieren und Testen bieten, bevor physische {Hardware} verfügbar ist.

Für Randszenarien: Dazu gehören Baustellen, ungewöhnliche Beleuchtung, seltene Objektkonfigurationen und unerwartetes Wetter. Diese Situationen treten in der realen Welt oft unerwartet auf, sodass es schwierig ist, genügend Beispiele für das Coaching zu sammeln. Die Simulation kann diese Szenarien bei Bedarf generieren und so die Lücken schließen, die durch die Erfassung in der realen Welt nicht innerhalb eines angemessenen Zeitrahmens geschlossen werden können.

In regulierten Branchen: Die Verwendung echter Patientendaten und sensibler Betriebsdaten kann rechtliche und datenschutzrechtliche Bedenken aufwerfen. Synthetische Daten, die den statistischen Eigenschaften realer Daten ähneln, ermöglichen die Fortführung des Trainings, ohne dass vertrauliche Informationen preisgegeben werden.

Steve Nemzer, Senior Director of Synthetic Intelligence Analysis & Innovation bei TELUS Digital, der intensiv an Annotationsstrategien für physische KI- und Robotikprogramme gearbeitet hat, sagt: „Die Steadiness, die gefunden werden muss, besteht darin, synthetische Daten zu verwenden, um spezifische Datenlücken zu schließen und gleichzeitig das Coaching auf realen Daten zu verankern, die das Modell im langen Schwanz der realen Variabilität verankern. Synthetische Daten können Modelle nicht über die Sensorartefakte oder widersprüchlichen Bedingungen informieren, denen sie in der Produktion begegnen werden.“

Die mikroskopische Lücke, die die Simulation übersieht

Die Lücke zwischen Simulation und Realität ist für Weltmodelle besonders folgenreich, da KI-Systeme darauf trainiert sind, interne Darstellungen des Verhaltens physischer Umgebungen zu erstellen. Ein Roboter, der in der Simulation perfekt durch Lagerböden navigiert, kann mit einer Oberflächenvariation zu kämpfen haben, die unerwartete Reibung erzeugt. Die Simulation magazine in allgemeinen Situationen genau gewesen sein, aber die Lücke wäre in den kleinen Particulars aufgetaucht. Und es sind diese winzigen Particulars, die genau zeigen, wo im realen Einsatz Probleme auftreten.

Reale Sensordaten sehen in jeder Modalität anders aus als Simulationen:

• LiDAR-Ergebnisse bei Regen oder starkem Staub sehen anders aus als saubere Simulationsdaten
• Kamerabilder bei wechselnden Lichtverhältnissen enthalten Rauschen, das synthetische Pipelines nicht vollständig reproduzieren können
• Radarsignale in dichten städtischen Umgebungen erfassen Reflexionen und Interferenzen, die in kontrollierten Umgebungen konstruktionsbedingt ausgeschlossen sind

Modelle, die diesen Bedingungen nicht ausgesetzt sind, behandeln sie als Anomalien, was zu unvorhergesehenen Ausfällen in physischen KI-Systemen führt. Im Gegensatz zu großen Sprachmodellen, die auf jahrzehntelang gesammelten, von Menschen erstellten Webtexten trainiert wurden, fehlt der physischen KI ein gleichwertiger Korpus, aus dem sie schöpfen kann. Datendienstleister mögen TELUS Digital haben Jahre damit verbracht, eine Arbeitsinfrastruktur aufzubauen, die in der Lage ist, in dem für dieses Drawback erforderlichen Erfassungs- und Anmerkungsmaßstab zu arbeiten. Selbst in dieser Größenordnung sind physische KI-Programme immer noch dabei, die notwendigen Datensätze zu erstellen, um die Lücke bei der Erfassung in der realen Welt zu schließen.

Die Komplexität der Annotation verschärft das Drawback

Das Sammeln realer Daten ist nur das halbe Drawback. Nach der Erfassung muss jedes Objekt in jedem Sensor-Feed auf allen Sensoren gleichzeitig einheitlich gekennzeichnet werden. Derselbe von LiDAR erkannte Fußgänger muss im Kamera-Feed und im Radar-Return gleich gekennzeichnet sein. Dieses Maß an Präzision erfordert Anmerkungstools und Arbeitsabläufe, die speziell für Multisensordaten entwickelt wurden. Viele allgemeine Anmerkungsplattformen sind nicht für dieses Maß an Präzision konzipiert. Wenn die Beschriftungen nicht über alle Sensoren hinweg übereinstimmen, lernt das Modell dadurch aus widersprüchlichen Informationen, und diese Diskrepanzen zeigen sich schließlich als Fehler im Feld.

Robotikprogramme benötigen egozentrische Daten, additionally Aufnahmen aus der Perspektive des Roboters. Um sie zu erfassen, müssen instrumentierte Bediener Aufgaben in realen Umgebungen ausführen, wobei jede Aktion mit einem Zeitstempel versehen und im Kontext gekennzeichnet wird. Nur so können die Lichtverschiebungen und die physikalischen Unvorhersehbarkeiten der realen Welt erfasst werden.

Die Pipeline-Frage: Was sollen synthetische Daten tun?

Synthetische Daten sind ein nützliches Werkzeug, sollten aber nicht die primäre Grundlage einer physischen KI-Trainingspipeline sein. Es eignet sich intestine für bestimmte definierte Zwecke, beispielsweise für Schulungen in regulierten Umgebungen, in denen echte Daten nicht verwendet werden können, und für die Einführung von Modellen im Frühstadium, bevor reale Daten verfügbar sind. Ein Modell, das hauptsächlich auf synthetischen Daten basiert, ist jedoch nicht auf die Schwankungen vorbereitet, denen es im realen Einsatz ausgesetzt ist. Daten aus der realen Welt müssen das Coaching verankern, während synthetische Daten dazu beitragen sollten, die Lücken rund um das Coaching zu schließen.

Die physische KI befindet sich jetzt in einem Stadium, in dem Ambition und Dateninfrastruktur sichtbar nicht mehr im Einklang stehen. Die Modellteams, die sie zu erstellen versuchen, erfordern annotierte Sensordaten, die in vielen Fällen einfach noch nicht vorhanden sind. Die Branche beginnt, sich dieser Realität anzupassen und nimmt Anpassungen vor, um Programme über die Pilotphase hinaus in die Bereitstellung zu starten.

FAQ

Was ist die Lücke zwischen Sim und Actual in der physischen KI-Entwicklung?

Es handelt sich um die Lücke, die entsteht, wenn in der Simulation trainierte Modelle beim Einsatz scheitern, weil die Simulation reale Bedingungen wie Sensorrauschen und Oberflächenreibung nicht nachbilden konnte. Die Lücke wird in dem Second sichtbar, in dem das Modell auf etwas trifft, das die Simulation ausgeschlossen hat.

Warum können synthetische Daten nicht reale Daten für das Robotiktraining ersetzen?

Die Simulation spiegelt die Parameter wider, um die herum sie erstellt wurde. Situationen wie LiDAR bei Regen und Radar in dicht besiedelten städtischen Umgebungen erzeugen Daten, die synthetische Pipelines nicht genau modellieren. Physische KI-Systeme, die ohne diese Belastung trainiert wurden, stoßen auf reale Bedingungen als Anomalien.

Wie unterscheiden sich physische KI-Programme hinsichtlich der Datenanforderungen von großen Sprachmodellprogrammen?

LLMs greifen auf jahrzehntelang gesammelte Webinhalte zurück. Physische KI erfordert annotierte Sensordaten aus realen Umgebungen, und davon sind bei weitem nicht genug vorhanden. In diesem Bereich werden diese Datensätze von Grund auf erstellt, was die Datenstrategie zu einem grundlegend anderen und schwierigeren Drawback macht.

Wo bieten synthetische Daten einen echten Mehrwert für das physische KI-Coaching?

Drei Orte: Simulationsschulungen im Frühstadium, bevor {Hardware} verfügbar ist, Randfallszenarien, die zu selten sind, um sie in großem Maßstab vor Ort zu erfassen, und regulierte Branchen, in denen reale Daten nicht verwendet werden können. Außerhalb dieser Szenarien sollte es nicht die Trainingslast tragen.

Was ist modalübergreifende Konsistenz und warum ist sie für die physische KI wichtig?

Dies bedeutet, dass dasselbe Objekt in jedem Sensorstrom identisch gekennzeichnet ist. Ein Fußgänger in einer LiDAR-Punktwolke muss mit demselben Fußgänger im Kamerabild und im Radarecho übereinstimmen. Ohne diese Ausrichtung empfängt das Wahrnehmungsmodell widersprüchliche Signale über dieselbe Szene.

**********************************;
**********************************;
/* Legen Sie den Zufallsstartwert für die Reproduzierbarkeit fest */
Daten _null_;
rufe streaminit(1234) auf;
laufen;

/* Anzahl der Simulationen */
%let Anzahl_Simulationen = 100000;

/* Anzahl der zu generierenden Zivilisationen */
%let Anzahl_Zivilisationen = 2364;

/* Galaktischer Radius und Höhe in Lichtjahren */
%let galaktischer_radius = 50000;
%let galaktische_höhe = 1300;

/* Place der Erde (angenommen bei 3/4 des galaktischen Radius) */
%let Erdposition_x = &galaktischer_Radius * 3 / 4;
%let Erdposition_y = 0;
%let earth_position_z = 0;

/* Einen Datensatz zum Speichern von Zivilisationspositionen erstellen */
Daten Zivilisationspositionen;
Länge Zivilisation 10 $;
Eingabe Zivilisation $ Position_X Position_Y Position_Z;
Datenleitungen;
Erde &Erdposition_x &Erdposition_y &Erdposition_z
;
laufen;

/* Zufällige Positionen für andere Zivilisationen generieren */
Daten Zivilisationspositionen;
Zivilisationspositionen festlegen;
mache i = 1 für &num_civilizations;
Position_X = rand(„Uniform“) * &galaktischer_radius;
Position_Y = rand(„Uniform“) * 2 * &galaktische_Höhe – &galaktische_Höhe;
Position_Z = rand(„Uniform“) * 2 * &galaktische_Höhe – &galaktische_Höhe;
Zivilisation = „Zivilisation “ || strip(put(i, 8.));
Ausgabe;
Ende;
ich fallen lassen;
laufen;

/* Berechnen Sie die Entfernung zwischen Zivilisationen und der Erde */
Daten Zivilisationsentfernungen;
Zivilisationspositionen festlegen;
Entfernung = Quadratwurzel((Position_X – &Erdposition_x)**2 + (Position_Y – &Erdposition_y)**2 + (Position_Z – &Erdposition_z)**2);
laufen;

/* Berechnen Sie die Mindestentfernung zur Erde für jede Zivilisation */
SQL-Prozedur;
Tabelle civilisation_min_distance erstellen als
Wählen Sie Zivilisation, Entfernung als Min_Distance
von civilisation_distances
Sortierung nach Entfernung;
aufhören;

/* Berechnen Sie die Wahrscheinlichkeit einer Begegnung mit Zivilisationen basierend auf der Entfernung */
Daten Wahrscheinlichkeit_Begegnung;
Zivilisations-Mindestdistanz festlegen;
Wahrscheinlichkeit = 1 / (1 + Min_Distance);
laufen;

/* Berechnen Sie die durchschnittliche Wahrscheinlichkeit für jedes Entfernungsband */
SQL-Prozedur;
Tabelle Average_Probability erstellen als
Fall auswählen
wenn Min_Distance <= 1000 dann ‚Schließen‘
wenn Min_Distance > 1000 und Min_Distance <= 3000 dann ‚Mittel‘
wenn Min_Distance > 3000 dann ‚Far‘
Ende als Distance_Band,
avg(Wahrscheinlichkeit) als Durchschnittswahrscheinlichkeit
von probability_encounter
nach Fall gruppieren
wenn Min_Distance <= 1000 dann ‚Schließen‘
wenn Min_Distance > 1000 und Min_Distance <= 3000 dann ‚Mittel‘
wenn Min_Distance > 3000 dann ‚Far‘
Ende;
aufhören;

/* Drucke das Ergebnis aus */
proc print information=durchschnittliche_Wahrscheinlichkeit;
laufen;

/* Wähle die der Erde am nächsten gelegene Zivilisation und die damit verbundene Wahrscheinlichkeit */
SQL-Prozedur;
Tabelle closest_civilization erstellen als
Wählen Sie Zivilisation, Min_Distance, Wahrscheinlichkeit
von probability_encounter
wobei Min_Distance = (wählen Sie min(Min_Distance) aus Wahrscheinlichkeitsbegegnung);
aufhören;

/* Drucke das Ergebnis aus */
proc drucke Daten=nächste_Zivilisation;
laufen;

/*Bayesianische Analyse der Wahrscheinlichkeit einer Begegnung mit Außerirdischen in der Vergangenheit oder Zukunft*/

/* Seed für Reproduzierbarkeit festlegen */
%let Anzahl_Iterationen = 100;

/* Bayesianischer Analysedatensatz erstellen */
Daten Bayesianische_Analyse;
rufe streaminit(123) auf;

/* Variablen für Posterior-Wahrscheinlichkeiten definieren */
Array posterior_past(&num_iterations);
Array posterior_future(&num_iterations);

mache i = 1 bis &num_iterations;
/* Stichproben für vorherige Wahrscheinlichkeiten und Wahrscheinlichkeiten für vergangene Begegnungen */
prior_past = rand(„Uniform“, 0.0001, 0.01); /* P(Frühere Begegnung) */
probability_past_encounter = rand(„Uniform“, 0.001, 0.1); /* P(Kein Kontakt | Vergangene Begegnung) */
probability_no_encounter_past = rand(„Uniform“, 0.8, 0.99); /* P(Kein Kontakt | Keine Begegnung) */

/* Berechnen Sie die Posterior-Wahrscheinlichkeit für vergangene Begegnungen mithilfe des Bayes-Theorems */
Zähler_Vergangenheit = vorherige_Vergangenheit * Wahrscheinlichkeit_einer_vergangenen_Begegnung;
Nenner_Vergangenheit = Zähler_Vergangenheit + (1 – vorherige_Vergangenheit) * Wahrscheinlichkeit_keine_Begegnung_in_der_Vergangenheit;
posterior_past(i) = zähler_vergangenheit / nenner_vergangenheit;

/* Stichproben für vorherige Wahrscheinlichkeiten und Wahrscheinlichkeiten für zukünftige Begegnungen */
prior_future = rand(„Uniform“, 0,001, 0,05); /* P(Zukünftige Begegnung) */
probability_future_encounter = rand(„Uniform“, 0.01, 0.1); /* P(Kein Kontakt | Zukünftige Begegnung) */
probability_no_encounter_future = rand(„Uniform“, 0.8, 0.99); /* P(Kein Kontakt | Keine Begegnung) */

/* Berechnen Sie die Posterior-Wahrscheinlichkeit für eine zukünftige Begegnung mithilfe des Bayes-Theorems */
Zähler_Zukunft = vorherige_Zukunft * Wahrscheinlichkeit_zukünftiger_Begegnung;
Nenner_Zukunft = Zähler_Zukunft + (1 – vorherige_Zukunft) * Wahrscheinlichkeit_keine_Begegnung_in_Zukunft;
posterior_future(i) = zähler_zukunft / nenner_zukunft;
Ende;

/* Ergebnisse ausgeben */
mache i = 1 bis &num_iterations;
posterior_past_value = posterior_past(i);
posterior_future_value = posterior_future(i);
Ausgabe;
Ende;
Behalten Sie den posterior_past_value und den posterior_future_value;
laufen;

/* Zusammenfassende Statistik für die Posterior-Wahrscheinlichkeiten */
proc bedeutet Daten = Bayesianische Analyse Mittelwert Customary Min. Max.;
var hinterer_vergangener_Wert hinterer_zukünftiger_Wert;
laufen;

/* Verteilungshistogramme für die Posterior-Wahrscheinlichkeiten */
proc sgplot Daten=Bayesianische_Analyse;
Histogramm posterior_past_value / Transparenz=0,5 Füllzeichen=(Farbe=blau) Binärbreite=0,00001;
Titel „Verteilung der Posterior-Wahrscheinlichkeiten für vergangene Begegnungen“;
laufen;

proc sgplot Daten=Bayesianische_Analyse;
Histogramm posterior_future_value / Transparenz=0,5 Füllzeichen=(Farbe=grün) Binärbreite=0,0001;
Titel „Verteilung der Posterior-Wahrscheinlichkeiten für zukünftige Begegnungen“;
laufen;

Mark Hamilton, ein MIT-Doktorand in Elektrotechnik und Informatik und Mitglied des Pc Science and Synthetic Intelligence Laboratory (CSAIL) des MIT, möchte mithilfe von Maschinen verstehen, wie Tiere kommunizieren. Zu diesem Zweck wollte er zunächst ein System entwickeln, das die menschliche Sprache „von Grund auf“ erlernen kann.

„Komischerweise kam der entscheidende Second der Inspiration aus dem Movie ‚Die Reise der Pinguine‘. Es gibt eine Szene, in der ein Pinguin beim Überqueren des Eises hinfällt und beim Aufstehen ein kleines, mühsames Stöhnen ausstößt. Wenn man sich das ansieht, ist es quick offensichtlich, dass dieses Stöhnen ein vierbuchstabiges Wort darstellt. Das struggle der Second, in dem wir dachten, vielleicht müssen wir Audio und Video verwenden, um Sprache zu lernen“, sagt Hamilton. „Gibt es eine Möglichkeit, einen Algorithmus den ganzen Tag fernsehen zu lassen und anhand dessen herauszufinden, wovon wir sprechen?“

„Unser Modell ‚DenseAV‘ zielt darauf ab, Sprache zu lernen, indem es vorhersagt, was es sieht, und umgekehrt. Wenn Sie beispielsweise jemanden sagen hören ‚Backen Sie den Kuchen bei 350‘, sehen Sie wahrscheinlich einen Kuchen oder einen Ofen. Um bei diesem Audio-Video-Matching-Spiel in Millionen von Movies erfolgreich zu sein, muss das Modell lernen, worüber die Leute sprechen“, sagt Hamilton.

Nachdem sie DenseAV mit diesem Zuordnungsspiel trainiert hatten, untersuchten Hamilton und seine Kollegen, nach welchen Pixeln das Modell suchte, wenn es einen Ton hörte. Wenn beispielsweise jemand „Hund“ sagt, beginnt der Algorithmus sofort, im Videostream nach Hunden zu suchen. Indem man sieht, welche Pixel vom Algorithmus ausgewählt werden, kann man herausfinden, was der Algorithmus denkt, was ein Wort bedeutet.

Interessanterweise läuft ein ähnlicher Suchvorgang ab, wenn DenseAV einem Hundegebell zuhört: Es sucht im Videostream nach einem Hund. „Das hat unser Interesse geweckt. Wir wollten sehen, ob der Algorithmus den Unterschied zwischen dem Wort ‚Hund‘ und dem Bellen eines Hundes kennt“, sagt Hamilton. Das Crew untersuchte dies, indem es DenseAV ein „zweiseitiges Gehirn“ gab. Interessanterweise stellten sie fest, dass sich eine Seite von DenseAVs Gehirn natürlich auf Sprache, wie das Wort „Hund“, konzentrierte und die andere Seite auf Geräusche wie Bellen. Dies zeigte, dass DenseAV nicht nur die Bedeutung von Wörtern und die Place von Geräuschen lernte, sondern auch lernte, zwischen diesen Arten von kreuzmodalen Verbindungen zu unterscheiden, und das alles ohne menschliches Eingreifen oder Kenntnisse der geschriebenen Sprache.

Ein Anwendungszweig ist das Lernen aus der riesigen Menge an Movies, die täglich im Web veröffentlicht werden: „Wir wollen Systeme, die aus riesigen Mengen an Videoinhalten lernen können, etwa Lehrvideos“, sagt Hamilton. „Eine weitere spannende Anwendung ist das Verstehen neuer Sprachen, wie etwa der Kommunikation von Delfinen oder Walen, für die es keine schriftliche Kommunikationsform gibt. Wir hoffen, dass DenseAV uns helfen kann, diese Sprachen zu verstehen, die sich menschlicher Übersetzungsbemühungen von Anfang an entzogen haben. Schließlich hoffen wir, dass diese Methode verwendet werden kann, um Muster zwischen anderen Signalpaaren zu entdecken, etwa zwischen seismischen Geräuschen der Erde und ihrer Geologie.“

Das Crew stand vor einer gewaltigen Herausforderung: das Erlernen von Sprache ohne Texteingabe. Ihr Ziel struggle es, die Bedeutung von Sprache von Grund auf neu zu entdecken und dabei vorab trainierte Sprachmodelle zu vermeiden. Dieser Ansatz ist davon inspiriert, wie Kinder lernen, Sprache zu verstehen, indem sie ihre Umgebung beobachten und ihr zuhören.

Um dieses Kunststück zu erreichen, verwendet DenseAV zwei Hauptkomponenten, um Audio- und visuelle Daten getrennt zu verarbeiten. Diese Trennung macht es dem Algorithmus unmöglich zu schummeln, indem er die visuelle Seite die Audiodaten betrachten lässt und umgekehrt. Der Algorithmus wird gezwungen, Objekte zu erkennen und erstellt detaillierte und aussagekräftige Merkmale sowohl für Audio- als auch für visuelle Signale. DenseAV lernt, indem es Paare von Audio- und visuellen Signalen vergleicht, um herauszufinden, welche Signale übereinstimmen und welche nicht. Diese Methode, kontrastives Lernen genannt, erfordert keine beschrifteten Beispiele und ermöglicht es DenseAV, die wichtigen prädiktiven Muster der Sprache selbst herauszufinden.

Ein wesentlicher Unterschied zwischen DenseAV und früheren Algorithmen besteht darin, dass sich frühere Arbeiten auf ein einziges Konzept der Ähnlichkeit zwischen Ton und Bild konzentrierten. Ein ganzer Audioclip, etwa wenn jemand sagt: „Der Hund saß im Gras“, wurde mit einem ganzen Bild eines Hundes abgeglichen. Dadurch konnten frühere Methoden keine feinkörnigen Particulars erkennen, wie etwa die Verbindung zwischen dem Wort „Gras“ und dem Gras unter dem Hund. Der Algorithmus des Groups sucht und aggregiert alle möglichen Übereinstimmungen zwischen einem Audioclip und den Pixeln eines Bildes. Dies verbesserte nicht nur die Leistung, sondern ermöglichte dem Crew auch die präzise Lokalisierung von Tönen, was früheren Algorithmen nicht möglich struggle. „Herkömmliche Methoden verwenden ein einziges Klassentoken, aber unser Ansatz vergleicht jedes Pixel und jede Sekunde des Tons. Diese feinkörnige Methode ermöglicht es DenseAV, detailliertere Verbindungen für eine bessere Lokalisierung herzustellen“, sagt Hamilton.

Die Forscher trainierten DenseAV mit AudioSet, das 2 Millionen YouTube-Movies enthält. Sie erstellten auch neue Datensätze, um zu testen, wie intestine das Modell Töne und Bilder verknüpfen kann. In diesen Exams übertraf DenseAV andere Topmodelle bei Aufgaben wie der Identifizierung von Objekten anhand ihrer Namen und Töne und bewies damit seine Wirksamkeit. „Frühere Datensätze unterstützten nur grobe Bewertungen, additionally erstellten wir einen Datensatz mit semantischen Segmentierungsdatensätzen. Dies hilft bei pixelgenauen Anmerkungen für eine präzise Bewertung der Leistung unseres Modells. Wir können den Algorithmus mit bestimmten Tönen oder Bildern auffordern und diese detaillierten Lokalisierungen erhalten“, sagt Hamilton.

Aufgrund der enormen Datenmenge dauerte die Fertigstellung des Projekts etwa ein Jahr. Das Crew sagt, dass der Übergang zu einer großen Transformer-Architektur eine Herausforderung darstellte, da diese Modelle leicht feinkörnige Particulars übersehen können. Das Modell dazu zu bringen, sich auf diese Particulars zu konzentrieren, struggle eine erhebliche Hürde.

Mit Blick auf die Zukunft möchte das Crew Systeme entwickeln, die aus riesigen Mengen reiner Video- oder Audiodaten lernen können. Dies ist für neue Bereiche von entscheidender Bedeutung, in denen es viele dieser Modi gibt, aber nicht zusammen. Sie möchten dies auch mithilfe größerer Backbones skalieren und möglicherweise Wissen aus Sprachmodellen integrieren, um die Leistung zu verbessern.

„Das Erkennen und Segmentieren visueller Objekte in Bildern sowie von Umgebungsgeräuschen und gesprochenen Wörtern in Audioaufnahmen sind jeweils für sich genommen schwierige Probleme. In der Vergangenheit haben sich Forscher auf teure, von Menschen erstellte Anmerkungen verlassen, um maschinelle Lernmodelle für diese Aufgaben zu trainieren“, sagt David Harwath, Assistenzprofessor für Informatik an der College of Texas in Austin, der nicht an der Arbeit beteiligt struggle. „DenseAV macht bedeutende Fortschritte bei der Entwicklung von Methoden, die lernen können, diese Aufgaben gleichzeitig zu lösen, indem sie die Welt einfach durch Sehen und Hören beobachten – basierend auf der Erkenntnis, dass die Dinge, die wir sehen und mit denen wir interagieren, oft Geräusche erzeugen und wir auch gesprochene Sprache verwenden, um über sie zu sprechen. Dieses Modell macht auch keine Annahmen über die spezifische Sprache, die gesprochen wird, und könnte daher im Prinzip aus Daten in jeder Sprache lernen. Es wäre spannend zu sehen, was DenseAV lernen könnte, wenn es auf Tausende oder Millionen Stunden Videodaten in einer Vielzahl von Sprachen skaliert würde.“

Weitere Autoren auf einer Papier mit Beschreibung der Arbeit sind Andrew Zisserman, Professor für Pc Imaginative and prescient Engineering an der Universität Oxford; John R. Hershey, Google AI Notion-Forscher; und William T. Freeman, Professor für Elektrotechnik und Informatik am MIT und leitender Forscher am CSAIL. Ihre Forschung wurde teilweise von der US Nationwide Science Basis, einer Royal Society Analysis Professur und einem EPSRC Programme Grant Visible AI unterstützt. Diese Arbeit wird diesen Monat auf der IEEE/CVF Pc Imaginative and prescient and Sample Recognition Convention vorgestellt.