Modelle der generativen künstlichen Intelligenz haben einen so unauslöschlichen Einfluss auf die Erstellung digitaler Inhalte hinterlassen, dass es immer schwieriger wird, sich daran zu erinnern, wie das Web vorher aussah. Sie können diese KI-Instruments für clevere Projekte wie Movies und Fotos nutzen – aber ihr Gespür für das Kreative hat sich noch nicht ganz auf die physische Welt ausgeweitet.
Warum haben wir additionally noch keine generativen KI-gestützten personalisierten Objekte wie Handyhüllen und Töpfe in Häusern, Büros und Geschäften gesehen? Laut Forschern des MIT Laptop Science and Synthetic Intelligence Laboratory (CSAIL) ist die mechanische Integrität des 3D-Modells ein zentrales Thema.
Während KI dabei helfen kann, personalisierte 3D-Modelle zu erstellen, die Sie herstellen können, berücksichtigen diese Systeme oft nicht die physikalischen Eigenschaften des 3D-Modells. Der Doktorand der MIT-Abteilung für Elektrotechnik und Informatik (EECS) und CSAIL-Ingenieur Faraz Faruqi hat diesen Kompromiss untersucht und generative KI-basierte Systeme entwickelt, die gleichzeitig ästhetische Änderungen an Designs vornehmen können Erhaltung der Funktionalität, und eine andere, die Strukturen mit den gewünschten modifiziert taktile Eigenschaften Benutzer wollen fühlen.
Es actual machen
Gemeinsam mit Forschern von Google, Stability AI und der Northeastern College hat Faruqi nun einen Weg gefunden, mit KI reale Objekte herzustellen und so Gegenstände zu schaffen, die sowohl langlebig sind als auch das vom Benutzer beabsichtigte Aussehen und die beabsichtigte Textur aufweisen. Mit der KI-gestützten „MechStyleBeim „System“ laden Benutzer einfach ein 3D-Modell hoch oder wählen ein voreingestelltes Asset aus Dingen wie Vasen und Haken aus und veranlassen das Software mithilfe von Bildern oder Textual content, eine personalisierte Model zu erstellen. Ein generatives KI-Modell ändert dann die 3D-Geometrie, während MechStyle simuliert, wie sich diese Änderungen auf bestimmte Teile auswirken, um sicherzustellen, dass gefährdete Bereiche strukturell intakt bleiben. Wenn Sie mit diesem KI-erweiterten Entwurf zufrieden sind, können Sie ihn in 3D drucken und in der realen Welt verwenden.
Sie können beispielsweise ein Modell eines Wandhakens und das Materials auswählen, mit dem Sie ihn bedrucken möchten (z. B. Kunststoffe wie Polymilchsäure). Anschließend können Sie das System auffordern, eine personalisierte Model mit Anweisungen wie „Generieren Sie einen kaktusähnlichen Haken“ zu erstellen. Das KI-Modell arbeitet mit dem Simulationsmodul zusammen und generiert ein 3D-Modell, das einem Kaktus ähnelt und gleichzeitig die strukturellen Eigenschaften eines Hakens aufweist. Dieses grüne, geriffelte Accessoire kann dann zum Aufhängen von Tassen, Mänteln und Rucksäcken verwendet werden. Solche Kreationen sind teilweise dank eines Stilisierungsprozesses möglich, bei dem das System die Geometrie eines Modells basierend auf seinem Verständnis der Textaufforderung und der Arbeit mit dem vom Simulationsmodul erhaltenen Suggestions ändert.
Laut CSAIL-Forschern hatte die 3D-Stilisierung früher unbeabsichtigte Folgen. Ihre prägende Studie ergab, dass nur etwa 26 Prozent der 3D-Modelle nach ihrer Änderung strukturell funktionsfähig blieben, was bedeutete, dass das KI-System die Physik der Modelle, die es änderte, nicht verstand.
„Wir wollen KI verwenden, um Modelle zu erstellen, die man tatsächlich herstellen und in der realen Welt verwenden kann“, sagt Faruqi, der Hauptautor eines Buches ist Papier das Projekt vorstellen. „MechStyle simuliert additionally tatsächlich, wie sich GenAI-basierte Änderungen auf eine Struktur auswirken. Unser System ermöglicht es Ihnen, das taktile Erlebnis für Ihren Gegenstand zu personalisieren, indem Sie Ihren persönlichen Stil darin integrieren und gleichzeitig sicherstellen, dass der Gegenstand dem täglichen Gebrauch standhält.“
Diese rechnerische Gründlichkeit könnte Benutzern schließlich dabei helfen, ihre Habseligkeiten zu personalisieren und beispielsweise eine einzigartige Brille mit gesprenkelten blauen und beigen Punkten zu erstellen, die an Fischschuppen erinnern. Es entstand auch eine Pillendose mit einer felsigen Textur, die mit rosa und aquamarinfarbenen Flecken kariert ist. Das Potenzial des Methods erstreckt sich auf die Herstellung einzigartiger Wohn- und Bürodekorationen, beispielsweise eines Lampenschirms, der an rotes Magma erinnert. Es kann sogar unterstützende Technologien entwerfen, die an die Spezifikationen der Benutzer angepasst sind, wie z. B. Fingerschienen zur Unterstützung bei Verletzungen der Fingerfertigkeit und Utensiliengriffe zur Unterstützung bei motorischen Beeinträchtigungen.
In Zukunft könnte MechStyle auch bei der Erstellung von Prototypen für Zubehör und andere Handheld-Produkte nützlich sein, die Sie möglicherweise in einem Spielzeugladen, Baumarkt oder einer Kunsthandwerksboutique verkaufen. Laut CSAIL-Forschern besteht das Ziel darin, dass sowohl erfahrene als auch unerfahrene Designer mehr Zeit mit Brainstorming und dem Testen verschiedener 3D-Designs verbringen können, anstatt Elemente von Hand zusammenzubauen und anzupassen.
Stark bleiben
Um sicherzustellen, dass die Kreationen von MechStyle dem täglichen Gebrauch standhalten, erweiterten die Forscher ihre generative KI-Technologie um eine Artwork physikalische Simulation, die als Finite-Elemente-Analyse (FEA) bezeichnet wird. Sie können sich ein 3D-Modell eines Gegenstands, beispielsweise einer Brille, mit einer Artwork Wärmekarte vorstellen, die angibt, welche Bereiche unter einem realistischen Gewicht strukturell realisierbar sind und welche nicht. Während die KI dieses Modell verfeinert, zeigen die physikalischen Simulationen, welche Teile des Modells schwächer werden, und verhindern weitere Änderungen.
Faruqi fügt hinzu, dass die Ausführung dieser Simulationen bei jeder Änderung den KI-Prozess drastisch verlangsamt, sodass MechStyle weiß, wann und wo zusätzliche Strukturanalysen durchgeführt werden müssen. „Die adaptive Planungsstrategie von MechStyle verfolgt, welche Änderungen an bestimmten Punkten im Modell stattfinden. Wenn das genAI-System Änderungen vornimmt, die bestimmte Regionen des Modells gefährden, simuliert unser Ansatz die Physik des Designs erneut. MechStyle nimmt nachfolgende Änderungen vor, um sicherzustellen, dass das Modell nach der Herstellung nicht kaputt geht.“
Durch die Kombination des FEA-Prozesses mit adaptiver Planung konnte MechStyle Objekte generieren, die zu 100 Prozent strukturell realisierbar waren. Beim Testen von 30 verschiedenen 3D-Modellen mit Stilen, die an Dinge wie Ziegel, Steine und Kakteen erinnern, stellte das Workforce fest, dass der effizienteste Weg, strukturell tragfähige Objekte zu erstellen, darin besteht, Schwachstellen dynamisch zu identifizieren und den generativen KI-Prozess zu optimieren, um seine Auswirkungen abzuschwächen. In diesen Szenarien stellten die Forscher fest, dass sie die Stilisierung entweder vollständig stoppen konnten, wenn eine bestimmte Belastungsschwelle erreicht battle, oder schrittweise kleinere Verbesserungen vornehmen konnten, um zu verhindern, dass sich gefährdete Bereiche dieser Marke nähern.
Das System bietet außerdem zwei verschiedene Modi: eine Freestyle-Funktion, mit der die KI schnell verschiedene Stile auf Ihrem 3D-Modell visualisieren kann, und eine MechStyle-Funktion, die die strukturellen Auswirkungen Ihrer Optimierungen sorgfältig analysiert. Sie können verschiedene Ideen ausprobieren und dann den MechStyle-Modus ausprobieren, um zu sehen, wie sich diese künstlerischen Verzierungen auf die Haltbarkeit bestimmter Regionen des Modells auswirken.
CSAIL-Forscher fügen hinzu, dass ihr Modell zwar sicherstellen kann, dass Ihr Modell vor dem 3D-Druck strukturell stabil bleibt, es jedoch noch nicht in der Lage ist, 3D-Modelle zu verbessern, die von Anfang an nicht realisierbar waren. Wenn Sie eine solche Datei auf MechStyle hochladen, erhalten Sie eine Fehlermeldung, aber Faruqi und seine Kollegen beabsichtigen, die Haltbarkeit dieser fehlerhaften Modelle in Zukunft zu verbessern.
Darüber hinaus hofft das Workforce, mithilfe generativer KI 3D-Modelle für Benutzer zu erstellen, anstatt Voreinstellungen und von Benutzern hochgeladene Designs zu stilisieren. Dies würde das System noch benutzerfreundlicher machen, sodass diejenigen, die mit 3D-Modellen weniger vertraut sind oder ihren Entwurf nicht on-line finden, ihn einfach von Grund auf neu erstellen können. Nehmen wir an, Sie wollten einen einzigartigen Schüsseltyp herstellen und dieses 3D-Modell battle nicht in einem Repository verfügbar. Stattdessen könnte KI es für Sie erstellen.
„Während die Stilübertragung für 2D-Bilder unglaublich intestine funktioniert, haben nicht viele Arbeiten untersucht, wie diese Übertragung auf 3D erfolgt“, sagt Google-Forschungswissenschaftler Fabian Manhardt, der nicht an der Arbeit beteiligt battle. „Grundsätzlich ist 3D eine viel schwierigere Aufgabe, da Trainingsdaten knapp sind und eine Änderung der Geometrie des Objekts seine Struktur beschädigen und es in der realen Welt unbrauchbar machen kann. MechStyle hilft, dieses Drawback zu lösen, indem es eine 3D-Stilisierung ermöglicht, ohne die strukturelle Integrität des Objekts durch Simulation zu zerstören. Dies gibt Menschen die Möglichkeit, kreativ zu sein und sich durch Produkte, die auf sie zugeschnitten sind, besser auszudrücken.“
Farqui schrieb das Papier zusammen mit der leitenden Autorin Stefanie Mueller, einer außerordentlichen Professorin am MIT und CSAIL-Hauptforscherin, und zwei weiteren CSAIL-Kollegen: der Forscherin Leandra Tejedor SM ’24 und dem Postdoktoranden Jiaji Li. Ihre Co-Autoren sind Amira Abdel-Rahman PhD ’25, jetzt Assistenzprofessorin an der Cornell College, und Martin Nisser SM ’19, PhD ’24; Google-Forscher Vrushank Phadnis; Stabilitäts-KI-Vizepräsident für Forschung Varun Jampani; MIT-Professor und Direktor des Heart for Bits and Atoms Neil Gershenfeld; und Megan Hofmann, Assistenzprofessorin an der Northeastern College.
Ihre Arbeit wurde vom MIT-Google Program for Computing Innovation unterstützt. Es wurde im November auf dem Symposium on Computational Fabrication der Affiliation for Computing Equipment vorgestellt.