Wenn Sie ein Bild einer molekularen Struktur drehen, kann ein Mensch erkennen, dass das gedrehte Bild immer noch das gleiche Molekül ist, aber ein maschinelles Lernmodell könnte denken, dass es sich um einen neuen Datenpunkt handelt. Im Informatik -Sprachgebrauch ist das Molekül „symmetrisch“, was bedeutet, dass die grundlegende Struktur dieses Moleküls gleich bleibt, wenn es bestimmte Transformationen wie Rotation erfährt.
Wenn ein Arzneimittelentdeckungsmodell die Symmetrie nicht versteht, kann es ungenaue Vorhersagen über molekulare Eigenschaften machen. Trotz einiger empirischer Erfolge battle jedoch unklar, ob es eine rechnerisch effiziente Methode gibt, um ein gutes Modell zu schulen, das die Symmetrie garantiert respektiert.
Eine neue Studie von MIT -Forschern beantwortet diese Frage und zeigt die erste Methode zum maschinellen Lernen mit Symmetrie, die sowohl in Bezug auf die Berechnung als auch die erforderlichen Daten nachweislich effizient ist.
Diese Ergebnisse klären eine grundlegende Frage und könnten Forschern bei der Entwicklung leistungsstärkerer maschineller Lernmodelle helfen, die für die Umgang mit Symmetrie ausgelegt sind. Solche Modelle wären in einer Vielzahl von Anwendungen nützlich, von der Entdeckung neuer Materialien über die Identifizierung astronomischer Anomalien bis hin zur Entschlüsselung komplexer Klimamuster.
„Diese Symmetrien sind wichtig, weil sie eine Artwork von Informationen sind, die uns die Natur über die Daten erzählt, und wir sollten sie in unseren maschinellen Lernmodellen berücksichtigen. Wir haben jetzt gezeigt, dass es möglich ist, maschinelles Lernen mit symmetrischen Daten auf effizientes Weise zu erledigen“, sagt Behrooz Tahmasebi, ein MIT-Absolventen und Co-Lead-Autor dieser Studie.
Er ist an der Papier vom Co-Lead-Autor und MIT-Doktorand Ashkan Solymani; Stefanie Jegelka, Affiliate Professor für Elektrotechnik und Informatik (EECS) und Mitglied des Instituts für Daten, Systeme und Gesellschaft (IDSS) sowie das Labor für Informatik und künstliche Intelligenz (CSAIL); und leitender Autor Patrick Jaillet, Professor für Dugald C. Jackson für Elektrotechnik und Informatik und Hauptforscher im Labor für Informations- und Entscheidungssysteme (LIDS). Die Forschung wurde kürzlich auf der Internationalen Konferenz über maschinelles Lernen vorgestellt.
Symmetrie studieren
In vielen Bereichen erscheinen symmetrische Daten, insbesondere in Naturwissenschaften und Physik. Ein Modell, das Symmetrien erkennt, ist in der Lage, ein Objekt wie ein Auto zu identifizieren, egal wo dieses Objekt beispielsweise in ein Bild platziert wird.
Sofern ein maschinelles Lernmodell nicht für die Symmetrie ausgelegt ist, kann es weniger genau und anfällig für Fehler sein, wenn sie in realen Situationen mit neuen symmetrischen Daten konfrontiert sind. Auf der anderen Seite können Modelle, die die Symmetrie nutzen, schneller sein und weniger Daten für das Coaching erfordern.
Das Coaching eines Modells zur Verarbeitung symmetrischer Daten ist jedoch keine leichte Aufgabe.
Ein gemeinsamer Ansatz wird als Datenerweiterung bezeichnet, wobei die Forscher jeden symmetrischen Datenpunkt in mehrere Datenpunkte verwandeln, um das Modell besser auf neue Daten zu verallgemeinern. Zum Beispiel könnte man eine molekulare Struktur oft drehen, um neue Trainingsdaten zu erstellen. Wenn Forscher jedoch möchten, dass das Modell die Symmetrie garantiert, kann dies rechnerisch unerschwinglich sein.
Ein alternativer Ansatz besteht darin, Symmetrie in die Architektur des Modells zu codieren. Ein bekanntes Beispiel hierfür ist ein Graph Neural Community (GNN), das aufgrund der Artwork und Weise, wie es entworfen wurde, von Natur aus symmetrische Daten behandelt.
„Grafische neuronale Netze sind schnell und effizient und kümmern sich ziemlich intestine um Symmetrie, aber niemand weiß wirklich, was diese Modelle lernen oder warum sie arbeiten. Das Verständnis von GNNs ist eine Hauptmotivation unserer Arbeit. Deshalb haben wir mit einer theoretischen Bewertung dessen begonnen, was passiert, wenn Daten symmetrisch sind“, sagt Tahmasebi.
Sie untersuchten den statistischen Komputationskompromiss im maschinellen Lernen mit symmetrischen Daten. Dieser Kompromiss bedeutet Methoden, die weniger Daten erfordern, rechnerisch teuer sein können, sodass die Forscher das richtige Gleichgewicht finden müssen.
Aufbauend auf dieser theoretischen Bewertung entwickelten die Forscher einen effizienten Algorithmus für maschinelles Lernen mit symmetrischen Daten.
Mathematische Kombinationen
Zu diesem Zweck liehen sie Ideen von Algebra aus, um das Downside zu schrumpfen und zu vereinfachen. Dann formulierten sie das Downside mit Ideen aus der Geometrie, die die Symmetrie effektiv erfassen.
Schließlich kombinierten sie die Algebra und die Geometrie zu einem Optimierungsproblem, das effizient gelöst werden kann, was zu ihrem neuen Algorithmus führt.
„Die meisten Theorien und Anwendungen konzentrierten sich entweder auf Algebra oder Geometrie. Hier haben wir sie gerade kombiniert“, sagt Tahmasebi.
Der Algorithmus erfordert weniger Datenproben für das Coaching als klassische Ansätze, wodurch die Genauigkeit und Fähigkeit eines Modells, sich an neue Anwendungen anzupassen, verbessern würde.
Indem wir beweisen, dass Wissenschaftler effiziente Algorithmen für maschinelles Lernen mit Symmetrie entwickeln und zeigen können, wie es durchgeführt werden kann, können diese Ergebnisse zur Entwicklung neuer Architekturen für neuronale Netzwerke führen, die genauer und weniger ressourcenintensiv sind als aktuelle Modelle.
Wissenschaftler könnten diese Analyse auch als Ausgangspunkt verwenden, um die inneren Funktionsweise von GNNs zu untersuchen und wie sich ihre Operationen vom Algorithmus unterscheiden, den die MIT -Forscher entwickelten.
„Sobald wir das besser wissen, können wir interpretierbare, robustere und effizientere Architekturen für neuronale Netzwerke entwerfen“, fügt Soleymani hinzu.
Diese Forschung wird zum Teil von der Nationwide Analysis Basis von Singapur, DSO Nationwide Laboratories von Singapur, dem US Workplace of Naval Analysis, der US Nationwide Science Basis und einer Professur von Alexander von Humboldt finanziert.