Der Satz „Übung macht den Meister“ ist normalerweise den Menschen vorbehalten, aber er ist auch eine großartige Maxime für Roboter, die neu in unbekannten Umgebungen eingesetzt werden.
Stellen Sie sich einen Roboter vor, der in einem Lagerhaus ankommt. Er bringt die Fähigkeiten mit, die er gelernt hat, wie das Platzieren eines Objekts, und muss nun Gegenstände aus einem Regal nehmen, das er nicht kennt. Zunächst hat die Maschine damit Probleme, da sie sich erst mit ihrer neuen Umgebung vertraut machen muss. Um sich zu verbessern, muss der Roboter verstehen, bei welchen Fähigkeiten innerhalb einer Gesamtaufgabe er sich verbessern muss, und diese Aktion dann spezialisieren (oder parametrisieren).
Ein Mensch vor Ort könnte den Roboter so programmieren, dass er seine Leistung optimiert, doch Forscher vom Laptop Science and Synthetic Intelligence Laboratory (CSAIL) und dem AI Institute des MIT haben eine effektivere Different entwickelt. Ihr Algorithmus „Estimate, Extrapolate, and Situate“ (EES), der letzten Monat auf der Robotics: Science and Techniques Convention vorgestellt wurde, ermöglicht es diesen Maschinen, selbstständig zu üben, was ihnen möglicherweise dabei hilft, nützliche Aufgaben in Fabriken, Haushalten und Krankenhäusern besser zu erledigen.
Die Lage einschätzen
Damit Roboter bei Tätigkeiten wie dem Bodenfegen besser werden, arbeitet EES mit einem Bildverarbeitungssystem, das die Umgebung der Maschine lokalisiert und verfolgt. Anschließend schätzt der Algorithmus, wie zuverlässig der Roboter eine Aktion (wie das Fegen) ausführt und ob es sich lohnen würde, mehr zu üben. EES prognostiziert, wie intestine der Roboter die Gesamtaufgabe ausführen könnte, wenn er diese bestimmte Fähigkeit verfeinert und schließlich übt. Anschließend überprüft das Bildverarbeitungssystem nach jedem Versuch, ob diese Fähigkeit korrekt ausgeführt wurde.
EES könnte in Krankenhäusern, Fabriken, Privathäusern oder Cafés nützlich sein. Wenn Sie beispielsweise möchten, dass ein Roboter Ihr Wohnzimmer putzt, bräuchte er Hilfe beim Üben von Fähigkeiten wie Fegen. Laut Nishanth Kumar SM ’24 und seinen Kollegen könnte EES diesem Roboter jedoch dabei helfen, sich ohne menschliches Eingreifen und mit nur wenigen Übungsversuchen zu verbessern.
„Als wir dieses Projekt begannen, fragten wir uns, ob diese Spezialisierung mit einer angemessenen Anzahl von Proben auf einem echten Roboter möglich wäre“, sagt Kumar, Co-Leiter eines Papier beschreibt die Arbeit, Doktorand in Elektrotechnik und Informatik und CSAIL-Mitarbeiter. „Jetzt haben wir einen Algorithmus, der es Robotern ermöglicht, in einer angemessenen Zeit mit Dutzenden oder Hunderten von Datenpunkten bestimmte Fähigkeiten deutlich zu verbessern, eine Verbesserung gegenüber den Tausenden oder Millionen von Proben, die ein Standardalgorithmus für bestärkendes Lernen benötigt.“
Siehe Spot Sweep
Das Expertise von EES für effizientes Lernen wurde deutlich, als es während Forschungsversuchen am AI Institute auf dem Vierbeiner Spot von Boston Dynamics implementiert wurde. Der Roboter, an dessen Rücken ein Arm befestigt ist, erledigte Manipulationsaufgaben nach ein paar Stunden Übung. In einer Demonstration lernte der Roboter in etwa drei Stunden, wie man einen Ball und einen Ring sicher auf einem schrägen Tisch platziert. In einer anderen Demonstration führte der Algorithmus die Maschine dazu, innerhalb von etwa zwei Stunden Spielzeuge besser in einen Behälter zu kehren. Beide Ergebnisse scheinen eine Verbesserung gegenüber früheren Frameworks zu sein, die wahrscheinlich mehr als 10 Stunden professional Aufgabe in Anspruch genommen hätten.
„Wir wollten, dass der Roboter seine eigenen Erfahrungen sammelt, damit er besser entscheiden kann, welche Strategien bei seinem Einsatz intestine funktionieren“, sagt Co-Leiter Tom Silver SM ’20, PhD ’24, ein Absolvent der Elektrotechnik und Informatik (EECS) und CSAIL-Mitglied, der jetzt Assistenzprofessor an der Princeton College ist. „Indem wir uns auf das konzentrierten, was der Roboter weiß, wollten wir eine Schlüsselfrage beantworten: Welche der Fähigkeiten, über die der Roboter verfügt, wäre im Second am nützlichsten zum Üben?“
EES könnte letztendlich dazu beitragen, die autonome Arbeit von Robotern in neuen Einsatzumgebungen zu optimieren, ist aber derzeit mit einigen Einschränkungen verbunden. Zunächst verwendeten sie Tische, die niedrig über dem Boden lagen, damit der Roboter seine Objekte leichter erkennen konnte. Kumar und Silver druckten außerdem einen anbringbaren Griff im 3D-Verfahren, mit dem Spot die Bürste leichter greifen konnte. Der Roboter erkannte einige Gegenstände nicht und identifizierte Objekte an den falschen Stellen, sodass die Forscher diese Fehler als Misserfolge werteten.
Robotern Hausaufgaben geben
Die Forscher weisen darauf hin, dass die Übungsgeschwindigkeiten aus den physikalischen Experimenten mithilfe eines Simulators noch weiter beschleunigt werden könnten. Anstatt jede Fertigkeit physisch autonom zu trainieren, könnte der Roboter schließlich reale und virtuelle Übungen kombinieren. Sie hoffen, ihr System schneller und mit weniger Latenz zu machen, indem sie EES so konstruieren, dass die von den Forschern festgestellten Bildverzögerungen überwunden werden. In der Zukunft könnten sie einen Algorithmus untersuchen, der über Sequenzen von Übungsversuchen nachdenkt, anstatt zu planen, welche Fertigkeiten verfeinert werden sollen.
„Roboter selbstständig lernen zu lassen, ist sowohl unglaublich nützlich als auch extrem herausfordernd“, sagt Danfei Xu, Assistenzprofessor an der Faculty of Interactive Computing am Georgia Tech und Forschungswissenschaftler bei NVIDIA AI, der an dieser Arbeit nicht beteiligt battle. „In Zukunft werden Haushaltsroboter an alle möglichen Haushalte verkauft und es wird von ihnen erwartet, dass sie eine breite Palette von Aufgaben erfüllen. Wir können unmöglich alles, was sie wissen müssen, im Voraus programmieren, daher ist es wichtig, dass sie bei der Arbeit lernen können. Roboter jedoch ohne Anleitung erkunden und lernen zu lassen, kann sehr langsam sein und zu unbeabsichtigten Folgen führen. Die Forschung von Silver und seinen Kollegen führt einen Algorithmus ein, der es Robotern ermöglicht, ihre Fähigkeiten autonom und auf strukturierte Weise zu üben. Dies ist ein großer Schritt in Richtung der Entwicklung von Haushaltsrobotern, die sich kontinuierlich weiterentwickeln und selbstständig verbessern können.“
Die Co-Autoren von Silver und Kumar sind die Forscher Stephen Proulx und Jennifer Barry vom AI Institute sowie vier CSAIL-Mitglieder: Linfeng Zhao, Doktorand und Gastforscher an der Northeastern College, Willie McClinton, Doktorand am MIT EECS, und die MIT EECS-Professoren Leslie Pack Kaelbling und Tomás Lozano-Pérez. Ihre Arbeit wurde teilweise vom AI Institute, der US Nationwide Science Basis, dem US Air Pressure Workplace of Scientific Analysis, dem US Workplace of Naval Analysis, dem US Military Analysis Workplace und MIT Quest for Intelligence mit Hochleistungsrechnerressourcen des MIT SuperCloud und des Lincoln Laboratory Supercomputing Middle unterstützt.