Wenn Sie das nächste Mal auf Ihrem Telefon scrollen, nehmen Sie sich einen Second Zeit, um die Leistung zu würdigen: Der scheinbar banale Akt ist dank der Koordination von 34 Muskeln, 27 Gelenken und über 100 Sehnen und Bändern in Ihrer Hand möglich. Tatsächlich sind unsere Hände die beweglichsten Teile unseres Körpers. Die Nachahmung ihrer vielen nuancierten Gesten ist seit langem eine Herausforderung in der Robotik und der virtuellen Realität.

Jetzt haben MIT-Ingenieure ein Ultraschallarmband entwickelt, das die Handbewegungen eines Trägers in Echtzeit präzise verfolgt. Das Armband erzeugt Ultraschallbilder der Muskeln, Sehnen und Bänder des Handgelenks, während sich die Hand bewegt, und ist mit einem Algorithmus künstlicher Intelligenz gekoppelt, der die Bilder kontinuierlich in die entsprechenden Positionen der fünf Finger und der Handfläche übersetzt.

Die Forscher können dem Armband beibringen, die Handbewegungen des Trägers zu erlernen, die das Gerät dann in Echtzeit an einen Roboter oder eine virtuelle Umgebung weitergeben kann.

In Demonstrationen hat das Workforce gezeigt, dass eine Individual, die das Armband trägt, eine Roboterhand drahtlos steuern kann. Während die Individual gestikuliert oder zeigt, macht der Roboter dasselbe. In einer Artwork drahtloser Marionetteninteraktion kann der Träger den Roboter so manipulieren, dass er eine einfache Melodie auf dem Klavier spielt und einen kleinen Basketball in einen Tischkorb wirft. Mit demselben Armband kann ein Träger auch Objekte auf einem Computerbildschirm manipulieren, indem er beispielsweise seine Finger zusammenzieht, um ein virtuelles Objekt zu vergrößern oder zu verkleinern.

Das Workforce nutzt das Armband, um Handbewegungsdaten von vielen weiteren Benutzern mit unterschiedlichen Handgrößen, Fingerformen und Gesten zu sammeln. Sie stellen sich den Aufbau eines großen Datensatzes von Handbewegungen vor, der beispielsweise ausgewertet werden kann, um humanoiden Robotern Geschicklichkeitsaufgaben beizubringen, beispielsweise die Durchführung bestimmter chirurgischer Eingriffe. Das Ultraschallband könnte auch zum Ergreifen, Manipulieren und Interagieren mit Objekten in Videospielen, Designanwendungen oder anderen virtuellen Umgebungen verwendet werden.

„Wir glauben, dass diese Arbeit unmittelbare Auswirkungen darauf hat, möglicherweise Hand-Monitoring-Techniken durch tragbare Ultraschallbänder in der virtuellen und erweiterten Realität zu ersetzen“, sagt Xuanhe Zhao, Uncas- und Helen Whitaker-Professor für Maschinenbau am MIT. „Es könnte auch riesige Mengen an Trainingsdaten für geschickte humanoide Roboter liefern.“

Zhao, Gengxi Lu und ihre Kollegen präsentieren das neue Design des Armbands in einem Papier erscheint heute In Naturelektronik. Ihre MIT-Co-Autoren sind die ehemaligen Postdocs Xiaoyu Chen, Shucong Li und Bolei Deng; die Doktoranden SeongHyeon Kim und Dian Li; Postdocs Shu Wang und Runze Li; und Anantha Chandrakasan, MIT-Provostin und Vannevar Bush-Professorin für Elektrotechnik und Informatik. Weitere Co-Autoren sind die Doktoranden Yushun Zheng und Junhang Zhang, Baoqiang Liu, Chen Gong und Professor Qifa Zhou von der College of Southern California.

Saiten sehen

Derzeit gibt es eine Reihe von Ansätzen, die menschliche Handfertigkeit bei Robotern zu erfassen und nachzuahmen. Einige Ansätze verwenden Kameras, um die Handbewegungen einer Individual aufzuzeichnen, während sie Objekte manipuliert oder Aufgaben ausführt. Bei anderen Verfahren trägt eine Individual einen Handschuh mit Sensoren, der die Handbewegungen der Individual aufzeichnet und die Daten an einen empfangenden Roboter übermittelt. Der Aufbau eines komplexen Kamerasystems für verschiedene Anwendungen ist jedoch unpraktisch und anfällig für visuelle Hindernisse. Und mit Sensoren ausgestattete Handschuhe könnten die natürlichen Handbewegungen und Empfindungen einer Individual einschränken.

Ein dritter Ansatz nutzt die elektrischen Signale von Muskeln im Handgelenk oder Unterarm, die Wissenschaftler dann mit bestimmten Handbewegungen korrelieren. Forscher haben bei diesem Ansatz erhebliche Fortschritte gemacht, allerdings werden diese Signale leicht durch Umgebungsgeräusche beeinflusst. Sie sind auch nicht empfindlich genug, um subtile Bewegungsänderungen zu erkennen. Sie können beispielsweise erkennen, ob Daumen und Zeigefinger zusammengedrückt oder auseinandergezogen sind, aber nicht viel vom dazwischen liegenden Weg.

Zhaos Workforce fragte sich, ob die Ultraschallbildgebung geschicktere und kontinuierlichere Handbewegungen erfassen könnte. Seine Gruppe hat verschiedene Formen von Ultraschallaufklebern entwickelt – miniaturisierte Versionen der in Arztpraxen verwendeten Schallköpfe, die mit Hydrogelmaterial gepaart sind, das sicher auf der Haut haften kann.

In ihrer neuen Studie integrierte das Workforce das Design des Ultraschallaufklebers in ein tragbares Armband, um die Muskeln und Sehnen im Handgelenk kontinuierlich abzubilden.

„Die Sehnen und Muskeln in Ihrem Handgelenk sind wie Fäden, die an Puppen ziehen, die Ihre Finger sind“, sagt Lu. „Die Idee ist additionally: Jedes Mal, wenn Sie ein Foto vom Zustand der Saiten machen, wissen Sie, in welchem ​​Zustand sich die Hand befindet.“

Mapping-Manipulation

Das Workforce entwarf ein Armband mit einem Ultraschallaufkleber in der Größe einer Smartwatch und integrierte Elektronik, die etwa so klein wie ein Mobiltelefon ist. Sie befestigten das Armband am Handgelenk eines Freiwilligen und bestätigten, dass das Gerät klare und kontinuierliche Bilder des Handgelenks erzeugte, während der Freiwillige seine Finger in verschiedenen Gesten bewegte.

Die Herausforderung bestand dann darin, die Schwarz-Weiß-Ultraschallbilder des Handgelenks bestimmten Positionen der Hand zuzuordnen. Wie sich herausstellt, verfügen Finger und Daumen über 22 Freiheitsgrade oder unterschiedliche Arten der Streckung oder Neigung. Die Forscher fanden heraus, dass sie in ihren Ultraschallbildern des Handgelenks bestimmte Regionen identifizieren konnten, die mit jedem dieser 22 Freiheitsgrade korrelieren. Beispielsweise beziehen sich Veränderungen in einer Area auf die Daumenstreckung, während Veränderungen in einer anderen Area mit Bewegungen des Zeigefingers korrelieren.

Um diese Verbindungen herzustellen, bewegte ein Freiwilliger, der das Armband trug, seine Hand in verschiedenen Positionen, während die Forscher die Gesten mit mehreren Kameras rund um den Freiwilligen aufzeichneten. Durch den Abgleich von Änderungen in bestimmten Bereichen der Ultraschallbilder mit den von den Kameras aufgezeichneten Handpositionen konnte das Workforce Bildbereiche des Handgelenks mit dem entsprechenden Freiheitsgrad in der Hand kennzeichnen. Aber diese Übersetzung kontinuierlich und in Echtzeit durchzuführen, wäre für den Menschen eine unmögliche Aufgabe.

Additionally wandte sich das Workforce der künstlichen Intelligenz zu. Sie verwendeten einen KI-Algorithmus, der darauf trainiert werden kann, Bildmuster zu erkennen und sie mit bestimmten Etiketten und in diesem Fall den verschiedenen Freiheitsgraden der Hand zu korrelieren. Die Forscher trainierten den Algorithmus mit Ultraschallbildern, die sie sorgfältig beschrifteten, und kommentierten die Bildbereiche, die einem bestimmten Freiheitsgrad zugeordnet waren. Sie testeten den Algorithmus anhand eines neuen Satzes von Ultraschallbildern und stellten fest, dass er die entsprechenden Handgesten korrekt vorhersagte.

Nachdem die Forscher den KI-Algorithmus erfolgreich mit dem Armband gekoppelt hatten, testeten sie das Gerät an weiteren Freiwilligen. Für die neue Studie trugen acht Freiwillige mit unterschiedlichen Hand- und Handgelenkgrößen das Armband, während sie verschiedene Handgesten und Griffe ausführten, einschließlich der Zeichen für alle 26 Buchstaben der amerikanischen Gebärdensprache. Sie trugen auch Gegenstände wie einen Tennisball, eine Plastikflasche, eine Schere und einen Bleistift. In jedem Fall verfolgte das Armband die Place der Hand genau und prognostizierte sie.

Um mögliche Anwendungen zu demonstrieren, entwickelte das Workforce ein einfaches Computerprogramm, das es drahtlos mit dem Armband koppelte. Während ein Träger die Bewegungen des Kneifens und Greifens durchführte, entsprachen die Gesten dem Vergrößern und Verkleinern eines Objekts auf dem Computerbildschirm und dem virtuellen Bewegen und Manipulieren dieses Objekts auf sanfte und kontinuierliche Weise.

Die Forscher testeten das Armband auch als drahtlose Steuerung einer einfachen kommerziellen Roboterhand. Während er das Armband trug, führte ein Freiwilliger die Bewegungen des Keyboardspielens durch. Der Roboter wiederum ahmte die Bewegungen in Echtzeit nach, um eine einfache Melodie auf einem Klavier zu spielen. Derselbe Roboter struggle auch in der Lage, die Fingertipps einer Individual nachzuahmen, um ein Desktop-Basketballspiel zu spielen.

Zhao plant, die {Hardware} des Armbands weiter zu miniaturisieren und die KI-Software program auf viele weitere Gesten und Bewegungen von Freiwilligen mit breiteren Handgrößen und -formen zu trainieren. Letztendlich arbeitet das Workforce an einem tragbaren Handtracker, der von jedem getragen werden kann, um humanoide Roboter oder virtuelle Objekte mit hoher Geschicklichkeit drahtlos zu manipulieren.

„Wir glauben, dass dies die fortschrittlichste Möglichkeit ist, geschickte Handbewegungen durch tragbare Bildgebung des Handgelenks zu verfolgen“, sagt Zhao. „Wir glauben, dass diese tragbaren Ultraschallbänder intuitive und vielseitige Steuerungen für die virtuelle Realität und Roboterhände bieten können.“

Diese Forschung wurde teilweise vom MIT, den US Nationwide Institutes of Well being, der US Nationwide Science Basis, dem US-Verteidigungsministerium und der Singapore Nationwide Analysis Basis über die Singapore-MIT Alliance for Analysis and Expertise unterstützt.