Ingenieure verwenden häufig Imaginative and prescient-Language-Modelle, um neue Designs zu erstellen, beispielsweise für Flugzeug- oder Automobilkomponenten. Um zu simulieren, wie diese Komponenten in realistischen Situationen funktionieren, verwenden sie bewährte CAD-Software program (Laptop Aided Design), um 3D-Modelle dieser Designs zu erstellen, die sie virtuellen Crash- oder Haltbarkeitstests unterziehen können.
Forscher vom MIT und anderswo haben nun ein System entwickelt, das einem Imaginative and prescient-Language-Modell beibringen kann, 2D-Entwürfe automatisch in CAD-Programme umzuwandeln, die im Vergleich zu anderen Ansätzen viel genauer und funktionaler sind und dabei nur einen Bruchteil der Berechnungen erfordern.
Durch die Verbesserung der Leistung und Effizienz der KI-gesteuerten CAD-Generierung könnte diese Technik den Speedy-Prototyping-Prozess rationalisieren und die Kosten senken. Es könnte Ingenieuren auch dabei helfen, vorteilhafte Designentscheidungen zu erkennen, die sie andernfalls übersehen würden.
Das System generiert neue Daten basierend auf den Fähigkeiten des Modells, während es versucht, ein 2D-Bild in ein CAD-Programm umzuwandeln. Das Framework korrigiert die Fehler des Modells und integriert sie mit seinen erfolgreichen Lösungen in einen Datensatz.
Anhand dieser Daten bringt es dem Modell bei, bestimmte Fehler zu beheben und knifflige Probleme zu lösen, mit denen es alleine zu kämpfen hätte.
„Wir möchten, dass Ingenieure in der Lage sind, unser Framework auf ein leistungsschwaches CAD-Modell auszurichten, ein Rechenbudget festzulegen und das System übernehmen zu lassen – und so die eigenen Fehler des Modells in bessere Trainingsdaten umzuwandeln“, sagt Hauptautor Giorgio Giannone, Forschungsmitarbeiter im Design Computation and Digital Engineering (DeCoDE) Lab am MIT und leitender Forschungswissenschaftler im AI Innovation Group bei Purple Hat.
Er ist dabei Papier von Anna Claire Doris, einer Doktorandin des Maschinenbaus am MIT; Amin Heyrani Nobari, ein MIT-Postdoc; Kai Xu von RedHat; und Co-Senior-Autoren Akash Srivastava, Direktor von Core AI bei IBM und leitender Forscher am MIT-IBM Computing Analysis Lab; und Faez Ahmed, außerordentlicher Professor für Maschinenbau am MIT, Leiter des DeCoDE Lab und leitender Forscher am MIT-IBM Computing Analysis Lab. Die Forschung wurde kürzlich auf der Worldwide Convention on Machine Studying vorgestellt.
„Quick jedes physische Produkt um uns herum, von Flugzeugen bis hin zu Geräten, beginnt sein Leben als CAD-Modell. Branchenteams sind begierig auf KI, die dabei helfen kann, die Erstellung dieser Entwürfe zu beschleunigen, aber die heutigen Modelle produzieren oft einfache Formen, die für die Praxis nicht mehr geeignet sind. Was mich an dieser Arbeit begeistert, ist, dass sie vielen Bild-zu-CAD-Code-Modellen eine Möglichkeit gibt, sich selbst zu verbessern, indem sie aus ihren eigenen Fehlern lernen, anstatt auf weitere von Menschen erstellte Daten zu warten – und das bringt vertrauenswürdige KI-Entwurfswerkzeuge viel näher an den täglichen Ingenieursalltag“, sagt Ahmed.
Modellbewusste Daten
Die Forscher arbeiten an der Erstellung von Imaginative and prescient-Language-Modellen (VLMs) für die CAD-Generierung. Diese VLMs nehmen ein 2D-Bild und einen beschreibenden Textual content auf und geben Python-Code aus, der in einem CAD-Softwareprogramm ausgeführt werden kann, um ein 3D-Modell eines physischen Objekts zu generieren.
Sie untersuchten die Herausforderungen beim Einsatz vorhandener VLMs für diese Aufgabe und stellten fest, dass der Hauptengpass, der ihre Fähigkeiten einschränkt, der Mangel an vielfältigen, hochwertigen CAD-Datensätzen für das Coaching ist.
Um Abhilfe zu schaffen, versuchten sie, neue Daten zu erstellen, um einem Modell beizubringen, wie man eine CAD-Generierung durchführt, und zwar mithilfe eines Prozesses, der als Datenerweiterung bekannt ist.
Bei der Datenerweiterung erstellen Wissenschaftler typischerweise neue Daten, indem sie vorhandene Daten nach dem Zufallsprinzip optimieren, um mehr Stichproben zu generieren, oft durch Anpassen der Farbe, Größe und Type von Objekten in Bildern.
Stattdessen bauten die MIT-Forscher ein Datenerweiterungssystem namens GIFT (was für Geometric Inference Suggestions Tuning steht), das Daten generiert, die darauf ausgelegt sind, die Leistung eines VLM für eine bestimmte Aufgabe zu verbessern.
GIFT entwickelt durch Assessments ein Verständnis für die Stärken und Schwächen des Modells. Dann nutzt es dieses Wissen, um Daten zu generieren, die die Leistung des Modells bei den CAD-Generierungsproblemen verbessern könnten, die es nur schwer lösen kann.
„Wir wollen eine Datenerweiterung erreichen, die auf dem Modell selbst basiert“, sagt Giannone.
Aus Fehlern lernen
Dazu fordert GIFT das Modell auf, Code zu generieren, der ein CAD-Generierungsproblem mehrfach parallel löst. Es überprüft die Richtigkeit dieser Vermutungen, um zu verstehen, wie intestine das Modell dieses Downside lösen kann.
„Für ein Modell ist das Generieren von CAD-Abfragecode quick schon erledigt Richtig zu sein ist nicht so schwer, aber Code zu generieren, der vollkommen korrekt ist und ausgeführt werden kann, ist für einen Commonplace-VLM viel schwieriger“, sagt Giannone.
Bei Vermutungen, die nahezu richtig sind, passt GIFT sie an, um erfolgreiche Lösungen zu erhalten. Es speichert diese „Beinahe-Unfälle“ und erfolgreichen Lösungen in einem neuen Datensatz, der dem Modell beibringen kann, wie es Probleme überwinden kann, die es normalerweise zum Stolpern bringen würden.
„Wenn wir das Modell zehnmal testen und es zehn richtige Antworten auf dasselbe Downside generiert, kann es nicht viel lernen. Uns sind die Zwischenfälle wichtig, in denen das Modell das Downside möglicherweise nur in 50 Prozent der Fälle löst“, sagt er.
Die Verwendung dieser Zwischenfälle ermöglicht es GIFT, Datenerweiterungen zu generieren, die sowohl modell- als auch aufgabenbewusst sind. Darüber hinaus erweitern die neuen Daten durch die Einbeziehung mehrerer korrekter Lösungen für dasselbe Downside das allgemeine Wissen des Modells über die CAD-Codegenerierung.
Dieses automatische System erfordert kein menschliches Eingreifen, um die Fehler des Modells zu korrigieren.
GIFT erstellt Datenerweiterungen aus einem vorab trainierten VLM mithilfe eines Prozesses, der als Inferenzzeitskalierung bezeichnet wird. Dieser Prozess ermöglicht es einem statischen Modell, das bereits trainiert wurde, bessere Ergebnisse zu generieren, ohne dass die hohen Rechenkosten für das erneute Coaching des gesamten Modells anfallen.
Mithilfe der Inferenzzeitskalierung kann der Benutzer bestimmen, wie viel Rechenleistung er für GIFT verwenden möchte, und diese an seine Zeit- und Budgetbeschränkungen anpassen.
GIFT übertraf mehrere konkurrierende Techniken und erstellte CAD-Programme, die präziser waren und dabei nur etwa 20 Prozent mehr Rechenaufwand erforderten. Die von VLMs mit GIFT generierten CAD-Modelle waren besser auf die Formen von Floor-Reality-Modellen abgestimmt.
„Bei GIFT haben wir mit der Geometrie begonnen, denn bei technischen Problemen gilt: Wenn die Geometrie einer 3D-Type nicht korrekt ist, ist nichts anderes korrekt, aber es gibt viele andere Aspekte zu berücksichtigen“, sagt Giannone.
In Zukunft wollen die Forscher GIFT erweitern, damit das Framework Modellen beibringen kann, CAD-Programme zu generieren, die die Leistung und Herstellbarkeit von 3D-Modellen verbessern. Sie möchten das System auch auf größere Modelle und vielfältigere CAD-Generierungsaufgaben anwenden.
Diese Forschung wurde teilweise vom MIT-IBM Computing Analysis Lab finanziert.