Geschrieben von Spencer Hulse
Dieser Artikel wurde ursprünglich veröffentlicht auf Smartech Day by day und mit Genehmigung bei Dataconomy erneut veröffentlicht.
Programme für Robotik und autonome Systeme stellen fest, dass Simulationsumgebungen Modelle erzeugen, die versagen, wenn sie mit realem Sensorrauschen und dem Chaos gewöhnlicher Einsatzbedingungen konfrontiert werden.
Physische KI-Programme stoßen immer wieder auf dieselbe Wand.
Ein ausschließlich auf Simulation trainiertes Robotiksystem beginnt in einer realen Anlage Fehler zu machen, die in der Szenariobibliothek nicht vorhanden waren. Programmierer geben häufig der Modellarchitektur die Schuld für das Drawback, aber die zum Coaching des Modells verwendeten Daten offenbaren stets die zugrunde liegenden Ursachen.
Der Einsatz von Robotikprogrammen in realen Einrichtungen hat eine Debatte über synthetische versus reale Daten entfacht und echte Konsequenzen deutlich gemacht. Da autonome Systemprogramme von Forschungsumgebungen in Produktionsumgebungen verlagert werden, zeigen sich Datenlücken in Kind unerwarteter Verhaltensweisen und kostspieliger Überarbeitungszyklen.
Trotz dieser Lücke haben synthetische Daten in den folgenden Szenarien unbestreitbare Stärken:
In Simulationsumgebungen: Im NVIDIA ISAAC-Sim beschleunigen synthetische Daten das Coaching im Frühstadium, indem sie verkörperten KI-Systemen einen strukturierten Raum zum Lernen, Trainieren und Testen bieten, bevor physische {Hardware} verfügbar ist.
Für Randszenarien: Dazu gehören Baustellen, ungewöhnliche Beleuchtung, seltene Objektkonfigurationen und unerwartetes Wetter. Diese Situationen treten in der realen Welt oft unerwartet auf, sodass es schwierig ist, genügend Beispiele für das Coaching zu sammeln. Die Simulation kann diese Szenarien bei Bedarf generieren und so die Lücken schließen, die durch die Erfassung in der realen Welt nicht innerhalb eines angemessenen Zeitrahmens geschlossen werden können.
In regulierten Branchen: Die Verwendung echter Patientendaten und sensibler Betriebsdaten kann rechtliche und datenschutzrechtliche Bedenken aufwerfen. Synthetische Daten, die den statistischen Eigenschaften realer Daten ähneln, ermöglichen die Fortführung des Trainings, ohne dass vertrauliche Informationen preisgegeben werden.
Steve Nemzer, Senior Director of Synthetic Intelligence Analysis & Innovation bei TELUS Digital, der intensiv an Annotationsstrategien für physische KI- und Robotikprogramme gearbeitet hat, sagt: „Die Steadiness, die gefunden werden muss, besteht darin, synthetische Daten zu verwenden, um spezifische Datenlücken zu schließen und gleichzeitig das Coaching auf realen Daten zu verankern, die das Modell im langen Schwanz der realen Variabilität verankern. Synthetische Daten können Modelle nicht über die Sensorartefakte oder widersprüchlichen Bedingungen informieren, denen sie in der Produktion begegnen werden.“
Die mikroskopische Lücke, die die Simulation übersieht
Die Lücke zwischen Simulation und Realität ist für Weltmodelle besonders folgenreich, da KI-Systeme darauf trainiert sind, interne Darstellungen des Verhaltens physischer Umgebungen zu erstellen. Ein Roboter, der in der Simulation perfekt durch Lagerböden navigiert, kann mit einer Oberflächenvariation zu kämpfen haben, die unerwartete Reibung erzeugt. Die Simulation magazine in allgemeinen Situationen genau gewesen sein, aber die Lücke wäre in den kleinen Particulars aufgetaucht. Und es sind diese winzigen Particulars, die genau zeigen, wo im realen Einsatz Probleme auftreten.
Reale Sensordaten sehen in jeder Modalität anders aus als Simulationen:
- LiDAR-Ergebnisse bei Regen oder starkem Staub sehen anders aus als saubere Simulationsdaten
- Kamerabilder bei wechselnden Lichtverhältnissen enthalten Rauschen, das synthetische Pipelines nicht vollständig reproduzieren können
- Radarsignale in dichten städtischen Umgebungen erfassen Reflexionen und Interferenzen, die in kontrollierten Umgebungen konstruktionsbedingt ausgeschlossen sind
Modelle, die diesen Bedingungen nicht ausgesetzt sind, behandeln sie als Anomalien, was zu unvorhergesehenen Ausfällen in physischen KI-Systemen führt. Im Gegensatz zu großen Sprachmodellen, die auf jahrzehntelang gesammelten, von Menschen erstellten Webtexten trainiert wurden, fehlt der physischen KI ein gleichwertiger Korpus, aus dem sie schöpfen kann. Datendienstleister mögen TELUS Digital haben Jahre damit verbracht, eine Arbeitsinfrastruktur aufzubauen, die in der Lage ist, in dem für dieses Drawback erforderlichen Erfassungs- und Anmerkungsmaßstab zu arbeiten. Selbst in dieser Größenordnung sind physische KI-Programme immer noch dabei, die notwendigen Datensätze zu erstellen, um die Lücke bei der Erfassung in der realen Welt zu schließen.
Die Komplexität der Annotation verschärft das Drawback
Das Sammeln realer Daten ist nur das halbe Drawback. Nach der Erfassung muss jedes Objekt in jedem Sensor-Feed auf allen Sensoren gleichzeitig einheitlich gekennzeichnet werden. Derselbe von LiDAR erkannte Fußgänger muss im Kamera-Feed und im Radar-Return gleich gekennzeichnet sein. Dieses Maß an Präzision erfordert Anmerkungstools und Arbeitsabläufe, die speziell für Multisensordaten entwickelt wurden. Viele allgemeine Anmerkungsplattformen sind nicht für dieses Maß an Präzision konzipiert. Wenn die Beschriftungen nicht über alle Sensoren hinweg übereinstimmen, lernt das Modell dadurch aus widersprüchlichen Informationen, und diese Diskrepanzen zeigen sich schließlich als Fehler im Feld.
Robotikprogramme benötigen egozentrische Daten, additionally Aufnahmen aus der Perspektive des Roboters. Um sie zu erfassen, müssen instrumentierte Bediener Aufgaben in realen Umgebungen ausführen, wobei jede Aktion mit einem Zeitstempel versehen und im Kontext gekennzeichnet wird. Nur so können die Lichtverschiebungen und die physikalischen Unvorhersehbarkeiten der realen Welt erfasst werden.
Die Pipeline-Frage: Was sollen synthetische Daten tun?
Synthetische Daten sind ein nützliches Werkzeug, sollten aber nicht die primäre Grundlage einer physischen KI-Trainingspipeline sein. Es eignet sich intestine für bestimmte definierte Zwecke, beispielsweise für Schulungen in regulierten Umgebungen, in denen echte Daten nicht verwendet werden können, und für die Einführung von Modellen im Frühstadium, bevor reale Daten verfügbar sind. Ein Modell, das hauptsächlich auf synthetischen Daten basiert, ist jedoch nicht auf die Schwankungen vorbereitet, denen es im realen Einsatz ausgesetzt ist. Daten aus der realen Welt müssen das Coaching verankern, während synthetische Daten dazu beitragen sollten, die Lücken rund um das Coaching zu schließen.
Die physische KI befindet sich jetzt in einem Stadium, in dem Ambition und Dateninfrastruktur sichtbar nicht mehr im Einklang stehen. Die Modellteams, die sie zu erstellen versuchen, erfordern annotierte Sensordaten, die in vielen Fällen einfach noch nicht vorhanden sind. Die Branche beginnt, sich dieser Realität anzupassen und nimmt Anpassungen vor, um Programme über die Pilotphase hinaus in die Bereitstellung zu starten.
FAQ
Was ist die Lücke zwischen Sim und Actual in der physischen KI-Entwicklung?
Es handelt sich um die Lücke, die entsteht, wenn in der Simulation trainierte Modelle beim Einsatz scheitern, weil die Simulation reale Bedingungen wie Sensorrauschen und Oberflächenreibung nicht nachbilden konnte. Die Lücke wird in dem Second sichtbar, in dem das Modell auf etwas trifft, das die Simulation ausgeschlossen hat.
Warum können synthetische Daten nicht reale Daten für das Robotiktraining ersetzen?
Die Simulation spiegelt die Parameter wider, um die herum sie erstellt wurde. Situationen wie LiDAR bei Regen und Radar in dicht besiedelten städtischen Umgebungen erzeugen Daten, die synthetische Pipelines nicht genau modellieren. Physische KI-Systeme, die ohne diese Belastung trainiert wurden, stoßen auf reale Bedingungen als Anomalien.
Wie unterscheiden sich physische KI-Programme hinsichtlich der Datenanforderungen von großen Sprachmodellprogrammen?
LLMs greifen auf jahrzehntelang gesammelte Webinhalte zurück. Physische KI erfordert annotierte Sensordaten aus realen Umgebungen, und davon sind bei weitem nicht genug vorhanden. In diesem Bereich werden diese Datensätze von Grund auf erstellt, was die Datenstrategie zu einem grundlegend anderen und schwierigeren Drawback macht.
Wo bieten synthetische Daten einen echten Mehrwert für das physische KI-Coaching?
Drei Orte: Simulationsschulungen im Frühstadium, bevor {Hardware} verfügbar ist, Randfallszenarien, die zu selten sind, um sie in großem Maßstab vor Ort zu erfassen, und regulierte Branchen, in denen reale Daten nicht verwendet werden können. Außerhalb dieser Szenarien sollte es nicht die Trainingslast tragen.
Was ist modalübergreifende Konsistenz und warum ist sie für die physische KI wichtig?
Dies bedeutet, dass dasselbe Objekt in jedem Sensorstrom identisch gekennzeichnet ist. Ein Fußgänger in einer LiDAR-Punktwolke muss mit demselben Fußgänger im Kamerabild und im Radarecho übereinstimmen. Ohne diese Ausrichtung empfängt das Wahrnehmungsmodell widersprüchliche Signale über dieselbe Szene.