3D-Modellierungswerkzeuge für viele Branchen, die von hollywood computergenerierten Bildern bis hin zu Produktdesign reichen, verwenden häufig Textual content- oder Bildaufforderungen, um verschiedene Aspekte des visuellen Erscheinungsbilds wie Farbe und Kind zu bestimmen. So sehr dies auch als erster Kontaktpunkt sinnvoll ist, diese Systeme sind aufgrund ihrer Vernachlässigung von etwas Zentrales für die menschliche Erfahrung immer noch begrenzt.
Grundlegend für die Einzigartigkeit physikalischer Objekte sind ihre taktilen Eigenschaften wie Rauheit, Bumpiness oder das Gefühl von Materialien wie Holz oder Stein. Bestehende Modellierungsmethoden erfordern häufig fortschrittliches computergestütztes Entwurfskompetenz und unterstützen selten taktile Suggestions, die für die Wahrnehmung und Interaktion mit der physischen Welt von entscheidender Bedeutung sein können.
In diesem Sinne haben Forscher des MIT -Labors für Informatik und künstliche Intelligenz (CSAIL) ein neues System zum Stylizing von 3D -Modellen unter Verwendung von Bildaufforderungen erstellt, wodurch sowohl das visuelle Erscheinungsbild als auch taktile Eigenschaften repliziert werden.
Mit dem „TactStyle“ -Instrument des CSAIL -Groups können die Ersteller 3D -Modelle basierend auf Bildern stylieren und gleichzeitig die erwarteten taktilen Eigenschaften der Texturen einbeziehen. TactStyle trennt die visuelle und geometrische Stylisierung und ermöglicht die Replikation sowohl visueller als auch taktiler Eigenschaften von einer einzelnen Bildeingabe.
Mit dem Instrument mit dem TactStyle -Instrument können die Ersteller 3D -Modelle basierend auf Bildern stylieren und gleichzeitig die erwarteten taktilen Eigenschaften der Texturen einbeziehen.
Der PhD-Pupil Faraz Faruqi, der führende Autor eines neuen Papiers über das Projekt, sagt, dass TactStyle weitreichende Anwendungen haben könnte, die sich von Wohnkultur und persönlichem Zubehör über taktile Lernwerkzeuge erstrecken. Mit TactStyle können Benutzer ein Basisdesign herunterladen – z. B. einen Kopfhörerstand von Thingiverse – und es mit den gewünschten Stilen und Texturen anpassen. In der Bildung können Lernende verschiedene Texturen aus der ganzen Welt erkunden, ohne das Klassenzimmer zu verlassen, während im Produktdesign das schnelle Prototyping einfacher wird, da Designer mehrere Iterationen schnell drucken, um taktile Eigenschaften zu verfeinern.
„Sie können sich vorstellen, diese Artwork von System für gemeinsame Objekte wie Telefonstände und Earbud-Fälle zu verwenden, um komplexere Texturen zu ermöglichen und das taktile Suggestions auf verschiedene Weise zu verbessern“, sagt Faruqi, der das Papier zusammen mit der MIT Affiliate Professorin Stefanie Mueller, Leiterin der menschlichen Interaktion (HCI) Engineering Group in der CSail-Gruppe, zusammengeschrieben hat. „Sie können taktile Bildungsinstrumente erstellen, um eine Reihe verschiedener Konzepte in Bereichen wie Biologie, Geometrie und Topographie zu demonstrieren.“
Bei herkömmlichen Methoden zur Replikation von Texturen werden spezielle taktile Sensoren wie Gelsight am MIT verwendet, die ein Objekt physisch berühren, um seine Oberflächenmikrogeometrie als „Heightfield“ zu erfassen. Dies erfordert jedoch ein physisches Objekt oder seine aufgezeichnete Oberfläche zur Replikation. Mit TactStyle können Benutzer die Oberflächenmikrogeometrie replizieren, indem generative KI eingesetzt wird, um ein Heightfield direkt aus einem Bild der Textur zu erzeugen.
Darüber hinaus ist es für Plattformen wie das 3D -Druck -Repository Thingiversum schwierig, individuelle Designs zu nehmen und anzupassen. Wenn ein Benutzer ausreichend technischem Hintergrund fehlt, besteht die Änderung eines Designs manuell das Risiko, es tatsächlich zu „brechen“, damit es nicht mehr gedruckt werden kann. All diese Faktoren haben Faruqi dazu veranlasst, ein Instrument zu erstellen, das die Anpassung herunterladbarer Modelle auf hoher Ebene ermöglicht, aber auch die Funktionalität beibehält.
In Experimenten zeigte TactStyle signifikante Verbesserungen gegenüber herkömmlichen Stylisierungsmethoden, indem genaue Korrelationen zwischen dem visuellen Bild einer Textur und seinem Höhefeld erzeugt wurden. Dies ermöglicht die Replikation taktiler Eigenschaften direkt aus einem Bild. Ein psychophysikalisches Experiment zeigte, dass Benutzer Taktstil -erzeugte Texturen sowohl den erwarteten taktilen Eigenschaften aus visuellen Eingaben als auch den taktilen Merkmalen der ursprünglichen Textur als ähnlich wahrnehmen, was zu einer einheitlichen taktilen und visuellen Erfahrung führt.
TactStyle nutzt eine bereits bestehende Methode mit dem Namen ““Style2fabUm die Farbkanäle des Modells so zu ändern, dass sie dem visuellen Stil des Eingabebildes entsprechen. Benutzer liefern zunächst ein Bild der gewünschten Textur, und dann wird ein fein abgestimmter Variations-Autocoder verwendet, um das Eingabebild in ein entsprechendes Heightfield zu übersetzen. Dieses Heightfield wird dann angewendet, um die Geometrie des Modells so zu ändern, dass die Geometrie die taktilen Eigenschaften erstellt.
Die Farb- und Geometrie -Stilisierungsmodule funktionieren zusammen und stylen sowohl die visuellen als auch die taktilen Eigenschaften des 3D -Modells aus einer einzelnen Bildeingabe. Laut Faruqi liegt die Kerninnovation im Geometrie-Stylisationsmodul, das ein fein abgestimmeltes Diffusionsmodell verwendet, um Höhenfelder aus Texturbildern zu generieren-etwas frühere Stylisations-Frameworks replizieren nicht genau.
Laut Faruqi möchte das Group Tactstyle erweitern, um neuartige 3D -Modelle mit generativen KI mit eingebetteten Texturen zu generieren. Dies erfordert genau die Artwork von Pipeline, die erforderlich ist, um sowohl die Kind als auch die Funktion der hergestellten 3D -Modelle zu replizieren. Sie planen auch, „visuo-haptische Fehlanpassungen“ zu untersuchen, um neuartige Erfahrungen mit Materialien zu schaffen, die den konventionellen Erwartungen widersetzen, wie etwas, das aus Marmor zu sein scheint, sich aber aus Holz gemacht hat.
Faruqi und Mueller haben das neue Papier zusammen mit den Doktoranden Maxine Perroni-Scharf und Yunyi Zhu mitautorten und der Pupil der Studenten, Jaskaran Singh Walia, besuchten, besuchte Masters Pupil Shuyue Feng und Assistenzprofessor Donald Degraen von der Human Interface Expertise (Hit) Labor NZ in New Zealand.