Generative KI und Robotik bringen uns immer näher an den Tag, an dem wir nach einem Objekt fragen und es innerhalb weniger Minuten erstellen lassen können. Tatsächlich haben MIT-Forscher ein Speech-to-Actuality-System entwickelt, einen KI-gesteuerten Arbeitsablauf, der es ihnen ermöglicht, Eingaben an einen Roboterarm zu senden und „Objekte ins Leben zu rufen“, wodurch sie beispielsweise Möbel in nur fünf Minuten herstellen können.
Mit dem Speech-to-Actuality-System ist ein auf einem Tisch montierter Roboterarm in der Lage, gesprochene Eingaben von einem Menschen zu empfangen, wie zum Beispiel „Ich möchte einen einfachen Hocker“, und dann die Objekte aus modularen Komponenten zu konstruieren. Bisher haben die Forscher mit dem System Hocker, Regale, Stühle, einen kleinen Tisch und sogar Dekorationsgegenstände wie eine Hundestatue hergestellt.
„Wir verbinden die Verarbeitung natürlicher Sprache, generative 3D-KI und Robotermontage“, sagt Alexander Htet Kyaw, Doktorand am MIT und Fellow der Morningside Academy for Design (MAD). „Dies sind schnell voranschreitende Forschungsbereiche, die noch nie zuvor so zusammengeführt wurden, dass man tatsächlich physische Objekte nur aus einer einfachen Sprachaufforderung herstellen kann.“
Speech to Actuality: On-Demand-Produktion mit generativer 3D-KI und diskreter Robotermontage
Die Idee entstand, als Kyaw – ein Doktorand in den Fachbereichen Architektur, Elektrotechnik und Informatik – den Kurs „Wie man quick alles herstellt“ von Professor Neil Gershenfeld belegte. In diesem Kurs baute er das Speech-to-Actuality-System auf. Er arbeitete weiter an dem Projekt am MIT Heart for Bits and Atoms (CBA) unter der Leitung von Gershenfeld und arbeitete mit den Doktoranden Se Hwan Jeon vom Division of Mechanical Engineering und Miana Smith vom CBA zusammen.
Das Speech-to-Actuality-System beginnt mit einer Spracherkennung, die die Anfrage des Benutzers mithilfe eines großen Sprachmodells verarbeitet, gefolgt von generativer 3D-KI, die eine digitale Netzdarstellung des Objekts erstellt, und einem Voxelisierungsalgorithmus, der das 3D-Netz in Baugruppenkomponenten zerlegt.
Anschließend modifiziert die geometrische Verarbeitung die KI-generierte Baugruppe, um fertigungsbedingte und physikalische Einschränkungen im Zusammenhang mit der realen Welt zu berücksichtigen, wie z. B. die Anzahl der Komponenten, Überhänge und Konnektivität der Geometrie. Anschließend erfolgt die Erstellung einer realisierbaren Montagesequenz und eine automatisierte Pfadplanung für den Roboterarm, um physische Objekte nach Eingaben des Benutzers zusammenzubauen.
Durch die Nutzung natürlicher Sprache macht das System Design und Fertigung auch für Menschen ohne Kenntnisse in 3D-Modellierung oder Roboterprogrammierung zugänglicher. Und im Gegensatz zum 3D-Druck, der Stunden oder Tage dauern kann, lässt sich dieses System innerhalb von Minuten aufbauen.
„Dieses Projekt ist eine Schnittstelle zwischen Menschen, KI und Robotern, um die Welt um uns herum gemeinsam zu erschaffen“, sagt Kyaw. „Stellen Sie sich ein Szenario vor, in dem Sie sagen ‚Ich möchte einen Stuhl‘ und innerhalb von fünf Minuten erscheint ein physischer Stuhl vor Ihnen.“
Das Workforce hat unmittelbare Pläne, die Tragfähigkeit der Möbel zu verbessern, indem es die Verbindung der Würfel von Magneten auf robustere Verbindungen umstellt.
„Wir haben auch Pipelines entwickelt, um Voxelstrukturen in realisierbare Montagesequenzen für kleine, verteilte cell Roboter umzuwandeln, die dazu beitragen könnten, diese Arbeit in Strukturen jeder Größenskala umzusetzen“, sagt Smith.
Der Zweck der Verwendung modularer Komponenten besteht darin, den Abfall zu vermeiden, der bei der Herstellung physischer Objekte anfällt, indem man sie zerlegt und dann wieder zusammenbaut, um beispielsweise ein Couch in ein Bett zu verwandeln, wenn man das Couch nicht mehr benötigt.
Weil Kyaw auch Erfahrung in der Anwendung hat Gestenerkennung und Augmented Actuality zur Interaktion Mit Robotern im Herstellungsprozess arbeitet er derzeit daran, sowohl Sprach- als auch Gestensteuerung in das Speech-to-Actuality-System zu integrieren.
Kyaw greift auf seine Erinnerungen an den Replikator in der „Star Trek“-Reihe und die Roboter im Animationsfilm „Massive Hero 6“ zurück und erklärt seine Imaginative and prescient.
„Ich möchte den Menschen den Zugang zu physischen Objekten auf schnelle, zugängliche und nachhaltige Weise erleichtern“, sagt er. „Ich arbeite an einer Zukunft, in der das Wesen der Materie wirklich unter Ihrer Kontrolle liegt. Eine Zukunft, in der die Realität auf Abruf generiert werden kann.“
Das Workforce stellte sein Papier vor „Sprache zur Realität: On-Demand-Produktion mit natürlicher Sprache, generativer 3D-KI und diskreter Robotermontage“ beim Affiliation for Computing Equipment (ACM) Symposium on Computational Fabrication (SCF ’25), das am 21. November am MIT stattfand.