Datenknappheit bei der generativen Modellierung
Generative Modelle verlassen sich traditionell auf große, hochwertige Datensätze, um Stichproben zu erstellen, die die zugrunde liegende Datenverteilung replizieren. In Bereichen wie molekularer Modellierung oder physikalischer Inferenz kann das Erfassen solcher Daten jedoch rechnerisch unmöglich oder sogar unmöglich sein. Anstelle von markierten Daten ist nur eine skalare Belohnung – typisch aus einer komplexen Energiefunktion – zur Verfügung, um die Qualität der generierten Stichproben zu beurteilen. Dies stellt eine bedeutende Herausforderung dar: Wie kann man generative Modelle ohne direkte Überwachung von Daten effektiv trainieren?
Meta AI führt die Adjoint -Probenahme ein, einen neuen Lernalgorithmus, der auf Scalar -Belohnungen basiert
Meta AI nimmt diese Herausforderung mit Adjoint -Probenahmeein neuartiger Lernalgorithmus für das Coaching generativer Modelle mit nur skalaren Belohnungssignalen. Auf dem theoretischen Rahmen der stochastischen optimalen Steuerung (SOC) basiert die Adjoint -Probenahme den Trainingsprozess als Optimierungsaufgabe über einen kontrollierten Diffusionsprozess. Im Gegensatz zu generativen Standardmodellen erfordert es keine explizite Daten. Stattdessen lernt es, qualitativ hochwertige Proben zu erzeugen, indem sie iterativ mit einer Belohnungsfunktion verfeinert werden-häufig aus physikalischen oder chemischen Energiemodellen.
Adjoint -Probenahme zeichnet sich in Szenarien aus, in denen nur eine unbelebte Energiefunktion zugänglich ist. Es erzeugt Proben, die sich der durch diese Energie definierten Zielverteilung übereinstimmen und die Notwendigkeit von Korrekturmethoden wie Wichtigkeitstichproben oder MCMC, die rechnerisch intensiv sind, umgehen.
Technische Particulars
Die Grundlage der Adjoint -Probenahme ist eine stochastische Differentialgleichung (SDE), die modelliert, wie sich die Probentrajektorien entwickeln. Der Algorithmus lernt eine Kontrolldrift u (x, t) u (x, t) u (x, t), so dass der endgültige Zustand dieser Trajektorien einer gewünschten Verteilung (z. B. Boltzmann) annähert. Eine wichtige Innovation ist die Verwendung von Gegenseitiger Adjoint -Matching (RAM)-Eine Verlustfunktion, die gradientenbasierte Updates ermöglicht, die nur die anfänglichen und endgültigen Zustände der Stichprobenbahnen verwenden. Dies bezieht sich auf die Notwendigkeit, den gesamten Diffusionspfad zu unterstützen, was die Recheneffizienz erheblich verbessert.
Durch die Probenahme aus einem bekannten Basisprozess und Konditionierung auf den Klemmezuständen konstruiert die Adjoint -Probenahme einen Wiederholungspuffer aus Proben und Gradienten, wodurch mehrere Optimierungsschritte professional Probe ermöglicht werden. Diese On-Coverage-Trainingsmethode bietet Skalierbarkeit, die von früheren Ansätzen nicht übereinstimmt, sodass sie für hochdimensionale Probleme wie die molekulare Konformererzeugung geeignet sind.
Darüber hinaus unterstützt die Adjoint -Probenahme geometrische Symmetrien und periodische Randbedingungen und ermöglicht Modelle, molekulare Invarianzen wie Rotation, Translation und Torsion zu respektieren. Diese Merkmale sind entscheidend für physikalisch aussagekräftige generative Aufgaben in Chemie und Physik.
Efficiency -Erkenntnisse und Benchmarkergebnisse
Die Adjoint-Probenahme erzielt hochmoderne Ergebnisse sowohl zu synthetischen als auch zu realen Aufgaben. Bei synthetischen Benchmarks wie dem Doppel-Nicely-Potentialen (DW-4), Lennard-Jones (LJ-13 und LJ-55) übertrifft es die Baselines wie DDS und PIS, insbesondere in der Energieeffizienz, erheblich. Wenn DDs und PIs beispielsweise 1000 Bewertungen professional Gradienten -Replace erfordern, verwendet die Adjoint -Stichprobe nur drei mit einer ähnlichen oder besseren Leistung in Wasserstein und effektiver Stichprobengröße (ESS).
In einer praktischen Umgebung wurde der Algorithmus anhand des auf dem Datensatzes aus dem Gewürz-Ma-Off-Datensatz trainierten ESEN-Energiemodells auf groß angelegte molekulare Konformererzeugung bewertet. Die Adjoint-Probenahme, insbesondere die kartesische Variante mit Vorabbau, erreichte bis zu 96,4% und 0,60 Å mittlerer RMSD, der rdkit etkdg übertrifft-eine weit verbreitete chemischbasierte Foundation-und sorgt für alle Metriken. Die Methode verallgemeinert intestine auf den Geom-Drogen-Datensatz und zeigt wesentliche Verbesserungen des Rückrufs bei gleichzeitiger Aufrechterhaltung der wettbewerbsfähigen Präzision.
Die Fähigkeit des Algorithmus, den Konfigurationsraum weitgehend zu untersuchen, unterstützt durch seine stochastische Initialisierung und das Belohnungsbasis, führt zu einer größeren Konformervielfalt-kritisch für die Entdeckung von Arzneimitteln und das molekulare Design.
Schlussfolgerung: Ein skalierbarer Weg vorwärts für belohnungsgetriebene generative Modelle
Die Adjoint -Stichprobe stellt einen wichtigen Schritt nach vorne bei der generativen Modellierung ohne Daten dar. Durch die Nutzung skalarer Belohnungssignale und eine effiziente On-Coverage-Trainingsmethode, die auf der stochastischen Kontrolle beruht, ermöglicht es das skalierbare Coaching von Diffusionsbasis-Probenstichen mit minimalen Energiebewertungen. Die Integration geometrischer Symmetrien und ihre Fähigkeit, über verschiedene molekulare Strukturen hinweg zu verallgemeinern, positionieren sie als grundlegendes Instrument in der Computerchemie und darüber hinaus.
Schauen Sie sich das an PapierAnwesend Modell auf dem Umarmungsgesicht Und Github -Seite. Alle Krediten für diese Forschung gilt an die Forscher dieses Projekts. Fühlen Sie sich auch frei, uns zu folgen Twitter Und vergessen Sie nicht, sich unserer anzuschließen 95k+ ml Subreddit und abonnieren Unser E-newsletter.
Der Beitrag Die Probenahme ohne Daten ist jetzt skalierbar: Meta AI veröffentlicht die Adjoint-Probenahme für eine belohnungsgetriebene generative Modellierung erschien zuerst auf Marktechpost.