Überblick über ABBEL im Vergleich zur traditionellen rekursiven Zusammenfassung. Überzeugungen ersetzen den gesamten Interaktionsverlauf als Arbeitskontext des Agenten, und die Bewertung von Überzeugungen verbessert die Leistung, indem der Inhalt jedes Überzeugungszustands überwacht wird.

Wenn der Aufgabenhorizont wächst, können LLM-Kontexte nicht ewig skaliert werden. Die Selbstzusammenfassung ermöglicht prägnante, interpretierbare Kontexte, jedoch mit erheblichen Leistungseinbußen, insbesondere für Bereiche der menschlichen Unterstützung, in denen qualitativ hochwertige Daten knapp sind, z. B. bei der kollaborativen Codegenerierung. Wir gehen das mit an ABBEL: ein Framework, das den Informationsgehalt von Zusammenfassungen in Kind von Glaubenszuständen in natürlicher Sprache isoliert und überwacht.

Motivation: die Kosten der rekursiven Zusammenfassung

Damit Sprachmodelle bei immer komplexeren Aufgaben wie der Softwareentwicklung effektiv helfen können, müssen sie in der Lage sein, über Hunderte oder sogar Tausende von Schritten mit uns zu interagieren. Bei so langen Aufgaben ist es unpraktisch, den Verlauf der gesamten Interaktion im Kontext zu halten. Der bisher verwendete heuristische Ansatz conflict die Generierung von Zusammenfassungen, manchmal auch Kontextkomprimierung genannt. Beispielsweise verwendet Cursors neuester Mannequin Composer 2.5 die Komprimierung während des Trainings, um die Leistung zu verbessern (Cassano et al., 2026). Neben dem Komponisten Grandcode (DeepReinforce et al., 2026), das erste System, das alle menschlichen Konkurrenten in On-line-Codierungswettbewerben konsequent besiegte, obwohl eines der neuesten effizienten Aufmerksamkeitsmodelle verwendet wurde (Qwen 3.5-397B), ^{hielt es immer noch für notwendig, eine Kontextzusammenfassung zu verwenden.}

Aber die Verdichtung hat ein Drawback. Trotz scheinbar geringer Leistungsunterschiede in Benchmarks empfehlen Modellserver wie Cursor Benutzern weiterhin, die Komprimierung mit ihren Codierungsassistenten während einer Aufgabe zu vermeiden (Heule et al., 2026).

Um zu verstehen, warum, sehen Sie sich unten die Leistung gegenüber der RL-Feinabstimmung eines Kontextzusammenfassungsmodells im Vergleich zu Vollkontextmodellen in Kombinationsschloss an, einem Wordle-ähnlichen Spiel, das bis zu 16 Vermutungen zulässt. ^{Obwohl sich beide Modelltypen im Laufe des Trainings verbessern, schließt das zusammenfassende Modell die Lücke nie.}

Abb. 1: Durchschnittliche Versuche, das Zielwort beim Kombinationsschloss über die RL-Feinabstimmung zu erraten (weniger ist besser). Kontextzusammenfassende Richtlinien verbessern sich mit der Schulung, schließen jedoch nicht die Lücke zu Richtlinien mit vollständigem Kontext.

Die Selbstzusammenfassung von Modellen während der Erledigung einer Aufgabe erhöht die Komplexität des Lernproblems. Während dies normalerweise durch Coaching mit mehr Daten behoben werden könnte, ist der in realen interaktiven Umgebungen beobachtete Leistungsabfall wahrscheinlich auf die Schwierigkeit zurückzuführen, die wir haben, menschliche Simulatoren effektiv zu erstellen und zu nutzen, um qualitativ hochwertige Trainingsumgebungen zu erzeugen (Lin et al., 2025, Tomlin et al., 2025). Je besser Sie additionally lernen, die begrenzten und chaotischen Multiturn-Interaktionsverläufe, die Sie sammeln können, zusammenzufassen, desto besser wird Ihr Modell für nachgeschaltete Benutzer sein.

ABBEL: Handeln durch Glaubensengpässe

Abb. 2: Vom Autoencoder inspirierte Glaubensbewertung. Das Modell kodiert vorherige Überzeugungen, Handlungen und Beobachtungen (b_TA_To_T) in den hinteren Glauben b_t+1 und wird dafür belohnt, wie intestine sich ausgewählte Informationen aus der Geschichte aus diesem Glauben rekonstruieren lassen.

Um einer schlechten Lerneffizienz entgegenzuwirken, isolieren wir die Aufgabe zur Erstellung der Zusammenfassung. Inspiriert von der rekursiven Bayes’schen Schätzung formulieren wir Zusammenfassungen als Glaubenszustände, die wir das Modell regelmäßig auf der Grundlage neuer Informationen aktualisieren lassen.

‹ Vorher
Pause
Nächste >
1/16

Abb. 3: ABBEL-Rollout. Aktualisierungen der Überzeugungen aus der letzten Beobachtung wechseln sich mit der Handlungsauswahl ab, die nur von der aktuellen hinteren Überzeugung abhängt.

Glaubensbewertung

Anschließend extrahieren und überwachen wir die Inhalte der Glaubenszustände (Abb. 2, Glaubensbewertung). Die Einstufung von Überzeugungen kann man sich als das Hinzufügen einer zusätzlichen RL-Aufgabe vorstellen, bei der Heuristiken verwendet werden, um zu erfassen, was eine gute Überzeugung als Belohnung ausmacht. Eine Beispielheuristik für die Codierung könnte kürzer sein, ist besser, aber es ist auch besser, näher an der Rekonstruktion des Git-Diffs zu sein, so dass ein Ausgleich dieser beiden eine gute Annahme ergeben würde. In Bereichen, in denen gute Heuristiken schwer zu definieren sind, schlagen wir eine allgemeine, von der automatischen Kodierung inspirierte Bewertungsfunktion vor, die das aktuelle Sprachmodell π behandelt_θ als Kodierer und Dekodierer von Informationen aus der Geschichte, und die Glaubenszustände als Codes. Wir bewerten jeden Glauben mit b_t+1 danach, wie intestine es vom aktuellen Modell π genutzt werden kann_θ die jüngste Beobachtung o. rekonstruieren_T:

Gl. 1: Bewertungsziel für den Wiederaufbau. Hier b_t+1 ist der aktualisierte Glaube, o_T die neueste Beobachtung, a_T die gerade durchgeführte Aktion, b_T der vorherige Glaube, S_ICH die Aufgabenaufforderung und π_θ das aktuelle Modell. Höhere Grade belohnen Überzeugungen, die Informationen enthalten, die zum Entschlüsseln der neuesten Beobachtung erforderlich sind.

Was gewinnen wir durch die Einstufung von Überzeugungen?

Kollaboratives Codieren auf CollabBench

Mit der CollabBench-Umgebung von Candy-RL (Zhou et al., 2025).

Abb. 4: Kollaborative Codierungsumgebung CollabBench. Der Agent stellt klärende Fragen und übermittelt dann eine Funktion, die anhand versteckter Komponententests bewertet wurde.

Wir sehen, dass wir mit der allgemeinen rekonstruktionsbasierten Glaubensbewertungsfunktion den Leistungsunterschied gegenüber Vollkontextmodellen um etwa 50 % reduzieren und im Vergleich zu Trainingsmodellen zum Zusammenfassen ohne Glaubensbewertung (kein BG) in 50 % weniger Schritten trainieren. Nach dem Coaching verbraucht ABBEL immer noch deutlich weniger Speicher als die vollständige Kontexteinstellung, gemessen an der maximalen Kontext-Token-Länge (Peak Tokens).

Kombinationsschloss

Darüber hinaus zeigen wir in CombinationLock, dass ABBEL mit einem Glaubensbewertungsprogramm, das Domänenwissen nutzt (indem es nützliche Statistiken über den Verlauf berechnet und überprüft, ob sie aus dem Glaubenszustand rekonstruiert werden können), eine noch höhere Lerneffizienz ermöglicht als Vollkontextmodelle (FULL CTX).

Abb. 6: Durchschnittliche Versuche, das Zielwort auf dem Zahlenschloss zu erraten (je niedriger, desto besser). Mit der Einstufung von domänenwissensbezogenen Überzeugungen nähert sich ABBEL in dieser Umgebung dem VOLLSTÄNDIGEN CTX an oder übertrifft es; Ohne Glaubensbeurteilung ist das Lernen langsamer.

Beantwortung multiobjektiver Fragen

In einer dritten Umgebung erfolgt die Beantwortung multiobjektiver Fragen (ab MEM1 Zhang et al., 2025eine aktuelle Arbeit, die eine Finish-to-Finish-Optimierung in einer modifizierten Model der typischen rekursiven Zusammenfassung durchführte), demonstrieren wir den Nutzen der Isolierung von Überzeugungszuständen aus der Argumentation, indem wir zeigen, dass eine Peak-Perception-Längenstrafe (weitere Particulars in der Arbeit) die Speichernutzung bei minimaler Leistungseinbuße erheblich reduziert, anders als es üblicherweise bei der Bestrafung von Argumentationslängen beobachtet wird (Arora et al., 2025).

Abb. 7: Precise-Match-Rating und Spitzengedächtnis im Vergleich zur Anzahl der Ziele in der Multi-Ziel-QA. ABBEL mit einem Peak-Perception-Penalty (PBP) behält in dieser Bewertung eine vergleichbare Leistung bei, verbraucht jedoch weniger Speicher als MEM1 und ABBEL ohne PBP.

Various Lösungen zur Verwaltung langer Kontexte beinhalten unterschiedliche Kompromisse und sind je nach den Anforderungen eines bereitgestellten Techniques eine Überlegung wert. Kontextkomprimierungsmethoden erzeugen dichte Darstellungen, die zwar recheneffizient sind, aber die Verständlichkeit für den Menschen beeinträchtigen (Kontonis et al., 2026, Eyuboglu et al., 2025, Gupta et al., 2025, Chevalier et al., 2023, Deng et al., 2025, Deng et al., 2025, Bulatov et al., 2022). Von Hand gestaltete Zusammenfassungsaufforderungen (Wang et al., 2025, Örwall et al., 2025, Starace et al., 2025) und Schnittstrategien (Jiang et al., 2024), die für Zielumgebungen spezifisch sind, erfordern menschliches Expertenwissen und ermöglichen es einem Agenten nicht, zu lernen, was er im Rahmen seiner Entscheidungsstrategie beachten muss. Methoden, die lange Kontexte in einem externen Speicher verarbeiten (Packer et al., 2023, Xu et al., 2025), damit die Agenten oder Subagenten abfragen können (Zhang et al., 2025) ergänzen sich, da sie möglicherweise von einer besseren Erstellung des nächsten Kontexts durch Zusammenfassungstraining profitieren. Wir möchten auf einige spannende Arbeiten im Bereich der allgemeinen rekursiven Zusammenfassung mit Schwerpunkt Mathematik hinweisen (Wu et al., 2026), Argumentation mit Glaubensgenerierung (Zhou et al., 2025), kompetitives Codieren mit einem destillierten Zusammenfassungsmodul, das ähnliche Autoencoding-Ziele wie unser allgemeiner Glaubensbewerter verwendet (DeepReinforce et al., 2026) und das Hinzufügen fortlaufender Funktionen zu Zusammenfassungen (Kontonis et al., 2026).

Was kommt als nächstes für ein besseres Gedächtnis?

Durch die Verwendung expliziter Glaubenszustände als Informationsengpässe für mehrstufige Interaktion werden viele weitere Möglichkeiten eröffnet. Sie könnten Aktionen basierend auf ihrer Auswirkung auf den Glaubenszustand belohnen, um die Erkundung zu leiten, die expliziten Glaubenszustände für eine bessere Kommunikation zwischen Agenten übertragen oder sogar die Kontrollierbarkeit des Benutzers verbessern, indem Sie die Erinnerungen, auf denen die Entscheidungen der Agenten basieren, direkt modifizieren.

Manche Informationen, z. B. wie eine Individual aussieht, lassen sich allein durch Textual content nicht intestine wiedergeben. Auch ein kontinuierlich lernendes System muss solche Informationen erfassen. Wenn wir außerdem möchten, dass ein System lernt, in einer brandneuen Sprache zu kommunizieren oder ein brandneues Spiel besser zu spielen als jeder andere Mensch auf der Welt, müssen die im Laufe der Lebensdauer von Gesprächen oder Spielen angesammelten Fähigkeiten in einer sehr komprimierten Kind gespeichert werden, die im Wesentlichen die Rolle der Gewichte des Modells selbst übernimmt.

Leistungsstärkere Systeme werden wahrscheinlich eine Kombination mehrerer Formen des Gedächtnisses nutzen, wobei die Inhalte des Kontexts dem Arbeitsgedächtnis entsprechen können, während andere Ansätze für das Kurz- und Langzeitgedächtnis verwendet werden. Wie man diese anderen Formen des Gedächtnisses instanziiert, beispielsweise durch Testzeittraining, Adaptergedächtnisse, kontinuierliche Kontextgedächtnisse oder eine Kombination davon, stellt eine spannende Herausforderung dar.

Danksagungen

Zitat

Wenn Abbel Sie für Ihre zukünftige Arbeit inspiriert hat, zitieren Sie uns bitte hiermit! Und hier sind einige Beratung für die Durchführung ähnlicher Forschung!

@misc{lidayan2026abbellearningnaturallanguagebelief,
      title={ABBEL: Studying Pure-Language Perception States for Reminiscence-Environment friendly Interplay}, 
      creator={Aly Lidayan and Jakob Bjorner and Satvik Golechha and Kartik Goyal and Alane Suhr},
      yr={2026},
      eprint={2512.20111},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2512.20111}, 
}

Die einst-futuristische Imaginative and prescient, Technologie mit einfachen Handbewegungen zu kontrollieren, wird schnell zu einer Mainstream-Realität, die von Durchbrüchen für künstliche Intelligenz und {Hardware}-Innovationen angetrieben wird. Dieser Anerkennung in der Hand in der Hand ist nicht nur eine Neuheit; Es ist eine grundlegende Verschiebung, wie Menschen mit Maschinen interagieren und alles von virtuellen Realitätserfahrungen bis hin zu alltäglichen Videokonferenzen beeinflussen.

Laut Marktanalyse ist der globale Markt für Pc Imaginative and prescient, ein wichtiger Ermöglichung der Gestenerkennung, auf ein erhebliches Wachstum, das auf projiziert wird Erreichen Sie 2025 29,27 Milliarden US -Greenback und wachsen bis 2030 auf rund 47 Milliarden US -Greenback. Diese Growth spiegelt die zunehmende Integration von KI-angetriebenen Visionssystemen in verschiedene Sektoren wider, von der Unterhaltungselektronik bis zur industriellen Automatisierung.

Dieser Anstieg ist jedoch nicht der erste Versuch einer weit verbreiteten Gestenkontrolle. Frühere Iterationen wie die Microsoft Xbox (Kinect) oder Sony PlayStation (PS Transfer) oder frühe Versuche an Kamera-basierten Schnittstellen in intelligenten Fernsehern, wie die Mainstream-Akzeptanz aufgrund von Genauigkeit, Verarbeitungsleistung und Einschränkungen der Benutzererfahrung, hielten vorhersagen.

Diese früheren Systeme litten häufig unter Latenz, Empfindlichkeit gegenüber Umgebungsbeleuchtung und der Unfähigkeit, komplexe oder nuancierte Gesten zuverlässig zu interpretieren, was zu frustrierenden Benutzerinteraktionen führte. Die derzeitige Welle der Gestenerkennung, die durch erhebliche Fortschritte in KI und {Hardware} unterstützt wird, zielt darauf ab, diese früheren Hürden zu überwinden und eine wirklich nahtlose und intuitive Benutzererfahrung zu liefern.

Die KI -Revolution hinter natürlicher Kontrolle

Arman Tsaturian, ein führender Experte in Pc Imaginative and prescient und Gestenerkennung wirft Licht auf die entscheidenden KI -Fortschritte, die diesen Sprung ermöglicht haben.

„Der Kern dieser Transformation liegt in der Entwicklung neuronaler Netzwerke“, sagte Tsaturian. „Wir haben eine signifikante Verschiebung von Faltungsnetzwerken zu transformatorbasierten Architekturen gesehen, die bei der Verarbeitung komplexer visueller Daten weitaus besser verarbeitet werden.“

Diese architektonische Verschiebung in Verbindung mit Fortschritten in der zeitlichen Modellierung ermöglicht es Systemen, nicht nur einzelne Handpositionen, sondern auch die Sequenz und den Kontext von Bewegungen zu verstehen.

„Die richtige zeitliche Modellierung unter Verwendung wiederkehrender neuronaler Netzwerke und aufmerksamkeitsbasierter Algorithmen ermöglicht es uns, Movies als dynamische Sequenzen zu analysieren, nicht nur statische Bilder“, sagte Tsaturian.

Darüber hinaus struggle der Umzug von 2D zu 3D -Verständnis von entscheidender Bedeutung. „Fortschritte in Datensätzen und Algorithmen für ein besseres 3D -Verständnis haben die Genauigkeit erheblich verbessert“, sagte Tsaturian und hob die Bedeutung der Erfassung von Tiefen und räumlichen Beziehungen hervor. Die Entwicklung von spezialisierten {Hardware} wie benutzerdefinierte Chips in Smartphones und VR -Headsets hat ebenfalls eine entscheidende Rolle gespielt. „Diese Chips ermöglichen es uns, ausgefeilte KI-Modelle vor dem Gerät durchzuführen, um Echtzeit-Gestenerkennung zu ermöglichen“, sagte Tsaturian.

Demokratisierung der Zukunft: Open Supply und Trade Affect

Die Entscheidung von Tsaturian, Open-Supply Scherze AiDie Technologie unterstreicht ein Engagement für die Demokratisierung des Zugangs zu dieser transformativen Technologie.

„Wir wollten Innovationen und Zusammenarbeit in der Gemeinde fördern“, sagte Tsaturian. „Unser Ziel struggle es, die Imaginative and prescient einer handbasierten Interaktion von“ Iron Man „näher an die Realität zu bringen, und nicht nur auf ein proprietäres Repository beschränkt zu bleiben.“

Dieser Open-Supply-Ansatz in Verbindung mit der schnellen Einführung von KI in der gesamten Industrie beschleunigt die Entwicklung von Gestenbasis-Schnittstellen. Die Erfahrung von Tsaturian bei Amazon Prime Video zeigt die breiteren Anwendungen von Pc Imaginative and prescient, die über die Gestenerkennung hinausgehen.

„Bei Prime Video haben wir KI verwendet, um Videoinhalte auf Qualitätsfehler zu analysieren“, sagte Tsaturian und betonte die Rolle der KI bei der Gewährleistung einer nahtlosen Benutzererfahrung. Darüber hinaus transformiert der Aufstieg generativer KI-Modelle die Erstellung von Inhalten, wobei Anwendungen von AI-generierten Anzeigen bis hin zu immersiven virtuellen Avataren reichen.

Jenseits der Unterhaltung: Die Zukunft der gestikbasierten Interaktion

Während sich die aktuellen Implementierungen der Gestenerkennung in Videokonferenzen häufig auf Unterhaltung konzentrieren, ist das Potenzial für praktischere Anwendungen groß.

„Die Herausforderung besteht darin, über einfache Emoji -Reaktionen über funktionalere Wechselwirkungen hinaus zu bewegen“, sagte Tsaturian. „Wir haben die Verwendung von Handgesten zur Kontrolle von Präsentationsfolien untersucht, aber die Branche untersucht immer noch das volle Potenzial.“

Er räumt ein, dass Unterhaltung ein wichtiger Anwendungsfall bleibt, betont jedoch die Notwendigkeit, die Genauigkeitsherausforderung anzugehen.

„Fehlalarme und Adverse können die Zufriedenheit der Benutzer erheblich beeinflussen“, sagte Tsaturian und unterstreicht die Bedeutung robuster KI -Modelle. Mit Blick auf die Zukunft stellt Tsaturian die Entwicklung multimodaler KI-Modelle vor, die Textual content, Sprache und visuelle Daten integrieren und intuitivere und kontextbezogene Interaktionen ermöglichen.

Sein Rat für angehende Ingenieure für maschinelles Lernen ist klar: „Tauchen Sie tief in Forschungsarbeiten ein, implementieren Sie sie und bauen Sie Projekte auf, die Ihre Leidenschaft entzünden.“ Die Entwicklung der Handgestikerkennung ist ein Beweis für die transformative Kraft der KI und ebnet den Weg für eine Zukunft, in der die Technologie nahtlos auf unsere natürlichen Bewegungen reagiert.

Als Tomás Vega SM ’19 5 Jahre alt battle, begann er zu stottern. Diese Erfahrung vermittelte ihm ein Gefühl für die Widrigkeiten, die eine Behinderung mit sich bringen kann. Sie zeigte ihm auch die Macht der Technologie.

„Tastatur und Maus waren Ventile“, sagt Vega. „Sie ermöglichten mir, die Dinge, die ich tat, fließend zu machen. Ich konnte meine Grenzen in gewisser Weise überwinden und entwickelte eine Obsession für menschliche Augmentation und das Konzept von Cyborgs. Außerdem entwickelte ich Empathie. Ich glaube, wir alle haben Empathie, aber wir wenden sie entsprechend unserer eigenen Erfahrungen an.“

Vega nutzt seit jeher Technologien, um menschliche Fähigkeiten zu erweitern. Mit 12 Jahren begann er mit dem Programmieren. In der Excessive College half er Menschen mit Behinderungen, darunter Handbehinderungen und A number of Sklerose. Im Faculty, zuerst an der College of California in Berkeley und dann am MIT, entwickelte Vega Technologien, die Menschen mit Behinderungen zu einem unabhängigeren Leben verhalfen.

Heute ist Vega Mitbegründer und CEO von Augmental, einem Startup, das Technologien einsetzt, die Menschen mit Bewegungseinschränkungen eine nahtlose Interaktion mit ihren persönlichen Computergeräten ermöglichen.

Augmentals erstes Produkt ist das MouthPad, mit dem Benutzer ihren Laptop, ihr Smartphone oder Pill durch Zungen- und Kopfbewegungen steuern können. Das druckempfindliche Touchpad des MouthPads sitzt am Gaumen und übersetzt in Zusammenarbeit mit einem Paar Bewegungssensoren Zungen- und Kopfbewegungen in Echtzeit über Bluetooth in Cursor-Scrolling und Klicks.

„Ein großer Teil unseres Gehirns ist damit beschäftigt, die Place der Zunge zu kontrollieren“, erklärt Vega. „Die Zunge besteht aus acht Muskeln, und die meisten Muskelfasern sind langsam kontraktierend, was bedeutet, dass sie nicht so schnell ermüden. Additionally dachte ich mir, warum nutzen wir das nicht alles?“

Menschen mit Rückenmarksverletzungen verwenden das MouthPad bereits täglich, um selbstständig mit ihren Lieblingsgeräten zu interagieren. Einer von Augmentals Benutzerndie mit einer Tetraplegie lebt und an der Universität Mathematik und Informatik studiert, sagt, das Gerät habe ihr beim Schreiben von mathematischen Formeln und beim Lernen in der Bibliothek geholfen – Anwendungsfälle, für die andere sprachgestützte Hilfsgeräte ungeeignet waren.

„Sie kann jetzt im Unterricht Notizen machen und mit ihren Freunden Spiele spielen“, sagt Vega. „Sie ist unabhängiger. Ihre Mutter hat uns erzählt, dass das MouthPad der bedeutsamste Second seit ihrer Verletzung battle.“

Das ist das ultimative Ziel von Augmental: die Zugänglichkeit von Technologien zu verbessern, die zu einem integralen Bestandteil unseres Lebens geworden sind.

„Wir hoffen, dass eine Individual mit einer schweren Handbehinderung ein Telefon oder Pill genauso kompetent bedienen kann wie jemand, der seine Hände benutzt“, sagt Vega.

Laptop zugänglicher machen

Im Jahr 2012, als Pupil im ersten Jahr an der UC Berkeley, traf Vega seinen späteren Augmental-Mitbegründer Corten Singer. In diesem Jahr sagte er Singer, er sei entschlossen, als Doktorand am Media Lab teilzunehmen, was ihm vier Jahre später gelang, als er der Fluid Interfaces-Forschungsgruppe des Media Lab beitrat, die von Pattie Maes, der Germeshausen-Professorin für Medienkunst und -wissenschaften am MIT, geleitet wird.

„Ich habe mich für die Graduiertenschule nur für ein Programm beworben, und das battle das Media Lab“, sagt Vega. „Ich dachte, das wäre der einzige Ort, an dem ich tun könnte, was ich tun wollte, nämlich die menschlichen Fähigkeiten erweitern.“

Am Media Lab belegte Vega Kurse in Mikrofabrikation, Signalverarbeitung und Elektronik. Außerdem entwickelte er tragbare Geräte, die Menschen helfen, on-line auf Informationen zuzugreifen, ihren Schlaf zu verbessern und ihre Emotionen zu regulieren.

„Im Media Lab konnte ich mein Wissen aus den Bereichen Ingenieurwesen und Neurowissenschaften anwenden, um Dinge zu bauen, und das ist es, was ich am liebsten mache“, sagt Vega. „Ich beschreibe das Media Lab als Disneyland für Macher. Ich konnte einfach spielen und ohne Angst erkunden.“

Vega battle von der Idee einer Gehirn-Maschine-Schnittstelle angetan, doch ein Praktikum bei Neuralink brachte ihn dazu, nach einer anderen Lösung zu suchen.

„Ein Gehirnimplantat hat das größte Potenzial, Menschen in Zukunft zu helfen, aber ich habe eine Reihe von Einschränkungen gesehen, die mich davon abgehalten haben, jetzt daran zu arbeiten“, sagt Vega. „Eine davon ist der lange Zeitrahmen für die Entwicklung. Ich habe in den letzten Jahren so viele Freunde gefunden, die schon am Anfang eine Lösung brauchten.“

Am MIT beschloss er, eine Lösung zu entwickeln, die das gesamte Potenzial eines Gehirnimplantats bot, jedoch ohne dessen Einschränkungen auskam.

In seinem letzten Semester am MIT baute Vega etwas, das er als „einen Lutscher mit einer Reihe von Sensoren“ beschreibt, um den Mund als Medium für die Computerinteraktion zu testen. Es funktionierte wunderbar.

„An diesem Punkt rief ich meinen Mitgründer Corten an und sagte: ‚Ich glaube, das hat das Potenzial, so viele Leben zu verändern‘“, sagt Vega. „Es könnte auch die Artwork und Weise verändern, wie Menschen in Zukunft mit Computern interagieren.“

Vega nutzte MIT-Ressourcen, darunter die Beratung zu Enterprise-MentoringDie MIT I-Corps-Programmund erhielt wichtige frühe Finanzierung vom MIT E14-FondsAugmental wurde offiziell geboren, als Vega Ende 2019 seinen Abschluss am MIT machte.

Augmental erstellt jedes MouthPad-Design mithilfe eines 3D-Modells, das auf einem Scan des Mundes des Benutzers basiert. Anschließend druckt das Workforce den Retainer im 3D-Druckverfahren aus zahnmedizinischen Materialien und fügt die elektronischen Komponenten hinzu.

Mit dem MouthPad können Benutzer durch Gleiten ihrer Zunge nach oben, unten, hyperlinks und rechts scrollen. Sie können auch mit einer Schluckgeste rechtsklicken und mit einem Druck auf den Gaumen linksklicken. Menschen mit eingeschränkter Zungenkontrolle können Beißen, Pressen und andere Gesten verwenden, und Menschen mit besserer Nackenkontrolle können den Cursor mithilfe der Kopfverfolgung auf ihrem Bildschirm bewegen.

„Wir möchten eine multimodale Schnittstelle schaffen, sodass Sie wählen können, was für Sie am besten ist“, sagt Vega. „Wir möchten uns allen Bedingungen anpassen.“

Skalieren des MouthPad

Viele der derzeitigen Augmental-Nutzer haben Rückenmarksverletzungen, manche können ihre Hände nicht bewegen, andere ihren Kopf nicht. Auch Gamer und Programmierer haben das Gerät schon verwendet. Die häufigsten Nutzer des Unternehmens interagieren täglich bis zu neun Stunden mit dem MouthPad.

„Das ist großartig, denn es bedeutet, dass es sich wirklich nahtlos in ihr Leben integriert hat und sie unsere Lösung sehr wertvoll finden“, sagt Vega.

Augmental hofft, im nächsten Jahr die Zulassung der US-amerikanischen Meals and Drug Administration zu erhalten, um Benutzern beispielsweise die Steuerung von Rollstühlen und Roboterarmen zu ermöglichen. Die FDA-Zulassung wird den Benutzern auch Versicherungserstattungen ermöglichen, was das Produkt zugänglicher machen wird.

Augmental arbeitet bereits an der nächsten Model seines Techniques, das auf Flüstern und noch subtilere Bewegungen der inneren Sprachorgane reagieren wird.

„Das ist für unser frühes Kundensegment von entscheidender Bedeutung, da viele von ihnen ihre Lungenfunktion verloren haben oder diese beeinträchtigt ist“, sagt Vega.

Vega ist auch von den Fortschritten bei KI-Agenten und der dazugehörigen {Hardware} ermutigt. Egal, wie sich die digitale Welt entwickelt, Vega glaubt, dass Augmental ein Werkzeug sein kann, von dem jeder profitieren kann.

„Wir hoffen, eines Tages eine stets verfügbare, robuste und non-public Schnittstelle zur Intelligenz anbieten zu können“, sagt Vega. „Wir glauben, dass dies das ausdrucksstärkste, tragbarste und freihändigste Eingabesystem ist, das die Menschheit je geschaffen hat.“