Mundbasiertes Touchpad ermöglicht gelähmten Menschen die Interaktion mit Computern | MIT Information

Als Tomás Vega SM ’19 5 Jahre alt battle, begann er zu stottern. Diese Erfahrung vermittelte ihm ein Gefühl für die Widrigkeiten, die eine Behinderung mit sich bringen kann. Sie zeigte ihm auch die Macht der Technologie.

„Tastatur und Maus waren Ventile“, sagt Vega. „Sie ermöglichten mir, die Dinge, die ich tat, fließend zu machen. Ich konnte meine Grenzen in gewisser Weise überwinden und entwickelte eine Obsession für menschliche Augmentation und das Konzept von Cyborgs. Außerdem entwickelte ich Empathie. Ich glaube, wir alle haben Empathie, aber wir wenden sie entsprechend unserer eigenen Erfahrungen an.“

Vega nutzt seit jeher Technologien, um menschliche Fähigkeiten zu erweitern. Mit 12 Jahren begann er mit dem Programmieren. In der Excessive College half er Menschen mit Behinderungen, darunter Handbehinderungen und A number of Sklerose. Im Faculty, zuerst an der College of California in Berkeley und dann am MIT, entwickelte Vega Technologien, die Menschen mit Behinderungen zu einem unabhängigeren Leben verhalfen.

Heute ist Vega Mitbegründer und CEO von Augmental, einem Startup, das Technologien einsetzt, die Menschen mit Bewegungseinschränkungen eine nahtlose Interaktion mit ihren persönlichen Computergeräten ermöglichen.

Augmentals erstes Produkt ist das MouthPad, mit dem Benutzer ihren Laptop, ihr Smartphone oder Pill durch Zungen- und Kopfbewegungen steuern können. Das druckempfindliche Touchpad des MouthPads sitzt am Gaumen und übersetzt in Zusammenarbeit mit einem Paar Bewegungssensoren Zungen- und Kopfbewegungen in Echtzeit über Bluetooth in Cursor-Scrolling und Klicks.

„Ein großer Teil unseres Gehirns ist damit beschäftigt, die Place der Zunge zu kontrollieren“, erklärt Vega. „Die Zunge besteht aus acht Muskeln, und die meisten Muskelfasern sind langsam kontraktierend, was bedeutet, dass sie nicht so schnell ermüden. Additionally dachte ich mir, warum nutzen wir das nicht alles?“

Menschen mit Rückenmarksverletzungen verwenden das MouthPad bereits täglich, um selbstständig mit ihren Lieblingsgeräten zu interagieren. Einer von Augmentals Benutzerndie mit einer Tetraplegie lebt und an der Universität Mathematik und Informatik studiert, sagt, das Gerät habe ihr beim Schreiben von mathematischen Formeln und beim Lernen in der Bibliothek geholfen – Anwendungsfälle, für die andere sprachgestützte Hilfsgeräte ungeeignet waren.

„Sie kann jetzt im Unterricht Notizen machen und mit ihren Freunden Spiele spielen“, sagt Vega. „Sie ist unabhängiger. Ihre Mutter hat uns erzählt, dass das MouthPad der bedeutsamste Second seit ihrer Verletzung battle.“

Das ist das ultimative Ziel von Augmental: die Zugänglichkeit von Technologien zu verbessern, die zu einem integralen Bestandteil unseres Lebens geworden sind.

„Wir hoffen, dass eine Individual mit einer schweren Handbehinderung ein Telefon oder Pill genauso kompetent bedienen kann wie jemand, der seine Hände benutzt“, sagt Vega.

Laptop zugänglicher machen

Im Jahr 2012, als Pupil im ersten Jahr an der UC Berkeley, traf Vega seinen späteren Augmental-Mitbegründer Corten Singer. In diesem Jahr sagte er Singer, er sei entschlossen, als Doktorand am Media Lab teilzunehmen, was ihm vier Jahre später gelang, als er der Fluid Interfaces-Forschungsgruppe des Media Lab beitrat, die von Pattie Maes, der Germeshausen-Professorin für Medienkunst und -wissenschaften am MIT, geleitet wird.

„Ich habe mich für die Graduiertenschule nur für ein Programm beworben, und das battle das Media Lab“, sagt Vega. „Ich dachte, das wäre der einzige Ort, an dem ich tun könnte, was ich tun wollte, nämlich die menschlichen Fähigkeiten erweitern.“

Am Media Lab belegte Vega Kurse in Mikrofabrikation, Signalverarbeitung und Elektronik. Außerdem entwickelte er tragbare Geräte, die Menschen helfen, on-line auf Informationen zuzugreifen, ihren Schlaf zu verbessern und ihre Emotionen zu regulieren.

„Im Media Lab konnte ich mein Wissen aus den Bereichen Ingenieurwesen und Neurowissenschaften anwenden, um Dinge zu bauen, und das ist es, was ich am liebsten mache“, sagt Vega. „Ich beschreibe das Media Lab als Disneyland für Macher. Ich konnte einfach spielen und ohne Angst erkunden.“

Vega battle von der Idee einer Gehirn-Maschine-Schnittstelle angetan, doch ein Praktikum bei Neuralink brachte ihn dazu, nach einer anderen Lösung zu suchen.

„Ein Gehirnimplantat hat das größte Potenzial, Menschen in Zukunft zu helfen, aber ich habe eine Reihe von Einschränkungen gesehen, die mich davon abgehalten haben, jetzt daran zu arbeiten“, sagt Vega. „Eine davon ist der lange Zeitrahmen für die Entwicklung. Ich habe in den letzten Jahren so viele Freunde gefunden, die schon am Anfang eine Lösung brauchten.“

Am MIT beschloss er, eine Lösung zu entwickeln, die das gesamte Potenzial eines Gehirnimplantats bot, jedoch ohne dessen Einschränkungen auskam.

In seinem letzten Semester am MIT baute Vega etwas, das er als „einen Lutscher mit einer Reihe von Sensoren“ beschreibt, um den Mund als Medium für die Computerinteraktion zu testen. Es funktionierte wunderbar.

„An diesem Punkt rief ich meinen Mitgründer Corten an und sagte: ‚Ich glaube, das hat das Potenzial, so viele Leben zu verändern‘“, sagt Vega. „Es könnte auch die Artwork und Weise verändern, wie Menschen in Zukunft mit Computern interagieren.“

Vega nutzte MIT-Ressourcen, darunter die Beratung zu Enterprise-MentoringDie MIT I-Corps-Programmund erhielt wichtige frühe Finanzierung vom MIT E14-FondsAugmental wurde offiziell geboren, als Vega Ende 2019 seinen Abschluss am MIT machte.

Augmental erstellt jedes MouthPad-Design mithilfe eines 3D-Modells, das auf einem Scan des Mundes des Benutzers basiert. Anschließend druckt das Workforce den Retainer im 3D-Druckverfahren aus zahnmedizinischen Materialien und fügt die elektronischen Komponenten hinzu.

Mit dem MouthPad können Benutzer durch Gleiten ihrer Zunge nach oben, unten, hyperlinks und rechts scrollen. Sie können auch mit einer Schluckgeste rechtsklicken und mit einem Druck auf den Gaumen linksklicken. Menschen mit eingeschränkter Zungenkontrolle können Beißen, Pressen und andere Gesten verwenden, und Menschen mit besserer Nackenkontrolle können den Cursor mithilfe der Kopfverfolgung auf ihrem Bildschirm bewegen.

„Wir möchten eine multimodale Schnittstelle schaffen, sodass Sie wählen können, was für Sie am besten ist“, sagt Vega. „Wir möchten uns allen Bedingungen anpassen.“

Skalieren des MouthPad

Viele der derzeitigen Augmental-Nutzer haben Rückenmarksverletzungen, manche können ihre Hände nicht bewegen, andere ihren Kopf nicht. Auch Gamer und Programmierer haben das Gerät schon verwendet. Die häufigsten Nutzer des Unternehmens interagieren täglich bis zu neun Stunden mit dem MouthPad.

„Das ist großartig, denn es bedeutet, dass es sich wirklich nahtlos in ihr Leben integriert hat und sie unsere Lösung sehr wertvoll finden“, sagt Vega.

Augmental hofft, im nächsten Jahr die Zulassung der US-amerikanischen Meals and Drug Administration zu erhalten, um Benutzern beispielsweise die Steuerung von Rollstühlen und Roboterarmen zu ermöglichen. Die FDA-Zulassung wird den Benutzern auch Versicherungserstattungen ermöglichen, was das Produkt zugänglicher machen wird.

Augmental arbeitet bereits an der nächsten Model seines Techniques, das auf Flüstern und noch subtilere Bewegungen der inneren Sprachorgane reagieren wird.

„Das ist für unser frühes Kundensegment von entscheidender Bedeutung, da viele von ihnen ihre Lungenfunktion verloren haben oder diese beeinträchtigt ist“, sagt Vega.

Vega ist auch von den Fortschritten bei KI-Agenten und der dazugehörigen {Hardware} ermutigt. Egal, wie sich die digitale Welt entwickelt, Vega glaubt, dass Augmental ein Werkzeug sein kann, von dem jeder profitieren kann.

„Wir hoffen, eines Tages eine stets verfügbare, robuste und non-public Schnittstelle zur Intelligenz anbieten zu können“, sagt Vega. „Wir glauben, dass dies das ausdrucksstärkste, tragbarste und freihändigste Eingabesystem ist, das die Menschheit je geschaffen hat.“