Im Nordosten der Vereinigten Staaten ist der Golf von Maine eines der biologisch vielfältigsten Meeresökosysteme der Welt – die Heimat von Walen, Haie, Quallen, Hering, Plankton und Hunderten anderer Arten. Aber auch wenn dieses Ökosystem die reiche biologische Vielfalt unterstützt, wird es schnell umweltverändert. Der Golf von Maine erwärmt sich schneller als 99 Prozent der Weltmeere, wobei sich die Konsequenzen immer noch entfalten.
Eine neue Forschungsinitiative, die sich am MIT Sea Grant namens Lobstger entwickelt – kurz für das Lernen von ozeanischen bioökologischen Systemen durch generative Darstellungen – vereint künstliche Intelligenz und Unterwasserfotografie, um das Leben der Ozean zu dokumentieren, die für diese Veränderungen anfällig sind und sie auf neue visuelle Weise mit der Öffentlichkeit teilen. Das Projekt, das vom Unterwasserfotografen und Gastkünstler des MIT Sea Grant Keith Ellenbogen und der Doktorandin der MIT-Maschinenbautechnik Andreas Mentzelopoulos geführt wird, untersucht, wie generative KI die wissenschaftlichen Geschichtenerzählen erweitern kann, indem er auf Felddaten auf feldbasierten fotografischen Daten aufgebaut wird.
So wie die Kamera aus dem 19. Jahrhundert unsere Fähigkeit veränderte, die natürliche Welt zu dokumentieren und zu enthüllen-das Leben mit beispiellosen Particulars zu erfassen und entfernte oder verborgene Umgebungen zu sehenden-, markiert generative KI eine neue Grenze im visuellen Geschichtenerzählen. Wie bei der frühen Fotografie eröffnet KI einen kreativen und konzeptionellen Raum, der herausfordert, wie wir Authentizität definieren und wie wir wissenschaftliche und künstlerische Perspektiven kommunizieren.
Im Lobstger -Projekt werden generative Modelle ausschließlich auf einer kuratierten Bibliothek der ursprünglichen Unterwasserfotos von Ellenbogen geschult – jedes Bild mit künstlerischer Absicht, technischer Präzision, genauer Artenidentifikation und klarer geografischer Kontext. Durch den Aufbau eines hochwertigen Datensatzes, der auf realen Beobachtungen beruht, stellt das Projekt sicher, dass die resultierenden Bilder sowohl die visuelle Integrität als auch die ökologische Relevanz beibehalten. Darüber hinaus werden die Modelle von Lobstger unter Verwendung eines von Mentzelopoulos entwickelten benutzerdefinierten Codes erstellt, um den Prozess und die Ausgaben vor potenziellen Verzerrungen vor externen Daten oder Modellen zu schützen. Die generative KI von Lobstger baut auf der realen Fotografie auf und erweitert das visuelle Vokabular der Forscher, um die Verbindung der Öffentlichkeit zur natürlichen Welt zu vertiefen.
Dieses Bild von Sunfish (Mola Mola) wurde durch Lobstgers bedingungslose Modelle erzeugt.
AI-generiertes Bild: Keith Ellenbogen, Andreas Mentzelopoulos und Lobstger.
Lobstger arbeitet im Herzen an der Kreuzung von Kunst, Wissenschaft und Technologie. Das Projekt stützt sich aus der visuellen Sprache der Fotografie, der Beobachtungsstrenge der Meereswissenschaft und der Rechenkraft der generativen KI. Durch die Vereinigung dieser Disziplinen entwickelt das Crew nicht nur neue Wege, um das Leben des Ozeans zu visualisieren, sondern auch, wie Umweltgeschichten erzählt werden können. Dieser integrative Ansatz macht Lobstger sowohl zu einem Forschungsinstrument als auch zu einem kreativen Experiment-eines, das die langjährige Custom der MIT interdisziplinären Innovation widerspiegelt.
Unterwasserfotografie in Neuenglands Küstengewässern ist notorisch schwierig. Begrenzte Sichtbarkeit, wirbelndes Sediment, Blasen und die unvorhersehbare Bewegung des Meereslebens stellen alle ständigen Herausforderungen dar. In den letzten Jahren hat Ellenbogen diese Herausforderungen navigiert und baut eine umfassende Aufzeichnung der biologischen Vielfalt der Area durch das Projekt, Area to Sea: Visualisierung der New Englands Meereswilde, auf, die biologische Vielfalt durch das Projekt. Dieser große Datensatz von Unterwasserbildern bildet die Grundlage für die generativen KI -Modelle von Coaching Lobstger. Die Bilder umfassen verschiedene Winkel, Beleuchtungsbedingungen und tierische Verhaltensweisen, was zu einem visuellen Archiv führt, das sowohl künstlerisch auffälligen als auch biologisch genau ist.
Bildsynthese über Reverse Diffusion: Dieses kurze Video zeigt die Entkleidung, von Gaußschen latenten Rauschen bis hin zu fotorealistischer Ausgabe unter Verwendung der bedingungslosen Modelle von Lobstger. Durch die iterative Entscheide sind 1.000 Stürmer durch das ausgebildete neuronale Netzwerk erforderlich.
Video: Keith Ellenbogen und Andreas Mentzelopoulos / MIT Sea Grant
Die benutzerdefinierten Diffusionsmodelle von Lobstger werden geschult, um nicht nur die Ellenbogen -Dokumente der biologischen Vielfalt zu replizieren, sondern auch den künstlerischen Stil, mit dem er ihn erfasst. Durch das Lernen aus Tausenden realer Unterwasserbildern verinnerlichen die Modelle feinkörnige Particulars wie natürliche Beleuchtungsgradienten, speziesspezifische Färbung und sogar die atmosphärische Textur, die durch suspendierte Partikel und gebrochenes Sonnenlicht erzeugt wird. Das Ergebnis sind Bilder, die nicht nur visuell genau erscheint, sondern sich auch eindringlich und bewegend anfühlt.
Die Modelle können sowohl neue, synthetische, aber wissenschaftlich genaue Bilder bedingungslos erzeugen (dh keine Benutzereingabe/Anleitung) und die realen Fotografien bedingt (dh Bild-zu-Picture-Erzeugung) verbessern. Durch die Integration von KI in den fotografischen Workflow kann Ellenbogen diese Werkzeuge verwenden, um Particulars in Turbiden Wasser wiederherzustellen, die Beleuchtung anzupassen, um wichtige Themen zu betonen, oder sogar Szenen zu simulieren, die nahezu unmöglich vor Ort zu erfassen wären. Das Crew ist auch der Ansicht, dass dieser Ansatz anderen Unterwasserfotografen und Picture -Redakteuren zugute kommen könnte, die sich mit ähnlichen Herausforderungen stellen. Diese Hybridmethode soll den Kurationsprozess beschleunigen und Geschichtenerzählern ermöglichen, eine vollständigere und kohärentere visuelle Erzählung des Lebens unter der Oberfläche zu konstruieren.
Hyperlinks: Verbessertes Bild eines amerikanischen Hummers unter Verwendung von Lobstgers Picture-im-Picture-Modellen. Rechts: Originalbild.
Hyperlinks: AI Genertated Picture von Keith Ellenbogen, Andreas Mentzelopoulos und Lobstger. Rechts: Keith Ellenbogen
In einer Schlüsselserie hat Ellenbogen hochauflösende Bilder von Löwen Mänenquallen, blauen Haie, amerikanischen Hummer und Ozean-Sonnenfisch aufgenommen (Sunfish (OceanMola Mola) während freier Tauchen in Küstengewässern. „Es ist nicht einfach, einen hochwertigen Datensatz zu bekommen“, sagt Ellenbogen. „Es erfordert mehrere Tauchgänge, verpasste Chancen und unvorhersehbare Bedingungen. Diese Herausforderungen sind jedoch Teil dessen, was Unterwasserdokumentation sowohl schwierig als auch lohnend macht.“
Mentzelopoulos hat Originalcode entwickelt, um eine Familie latenter Diffusionsmodelle für Lobstger zu schulen, die auf den Bildern von Ellenbogen beruhen. Die Entwicklung solcher Modelle erfordert ein hohes Maß an technischem Know -how, und Schulungsmodelle von Grund auf sind ein komplexer Prozess, der Hunderte von Stunden berechnete und akribische Hyperparameterabstimmung erfordert.
Das Projekt spiegelt einen parallelen Prozess wider: Felddokumentation durch Fotografie und Modellentwicklung durch iteratives Coaching. Ellenbogen arbeitet auf dem Feld und fängt seltene und flüchtige Begegnungen mit Meerestieren auf. Mentzelopoulos arbeitet im Labor und übersetzt diese Momente in Kontexte für maschinelles Lernen, die die visuelle Sprache des Ozeans erweitern und neu interpretieren können.
„Das Ziel ist es nicht, die Fotografie zu ersetzen“, sagt Mentelopoulos. „Es soll darauf aufbauen und es ergänzen-das Unsichtbare sichtbar zu machen und Menschen zu helfen, die Umweltkomplexität so zu erkennen, dass sie sowohl emotional als auch intellektuell mitschwingt. Unsere Modelle zielen darauf ab, nicht nur biologischen Realismus, sondern die emotionale Anklage, die das Engagement und das Handeln von realem Welt vorantreiben kann, zu erfassen.“
Lobstger verweist auf eine hybride Zukunft, die direkte Beobachtung mit technologischer Interpretation verschmelzen. Das langfristige Ziel des Groups ist es, ein umfassendes Modell zu entwickeln, das eine breite Palette von Arten visualisieren kann, die im Golf von Maine zu finden sind, und schließlich ähnliche Methoden für Meeresökosysteme auf der ganzen Welt anwenden können.
Die Forscher schlagen vor, dass Fotografie und generative KI eher ein Kontinuum als ein Konflikt bilden. Die Fotografie erfasst das, was die Textur, das Licht und das tierische Verhalten während der tatsächlichen Begegnungen -, während die KI diese Imaginative and prescient über das, was gesehen wird, über das, was auf der Grundlage wissenschaftlicher Daten und künstlerisches Sehen verstanden, verstanden, abgeleitet oder vorgestellt werden könnte, erweitert. Gemeinsam bieten sie einen leistungsstarken Rahmen für die Kommunikation von Wissenschaft durch Bildherstellung.
In einer Area, in der sich Ökosysteme schnell verändern, wird der Akt der Visualisierung mehr als nur Dokumentation. Es wird zu einem Instrument für Bewusstsein, Engagement und letztendlich Erhaltung. Lobstger steckt noch in den Kinderschuhen, und das Crew freut sich darauf, weitere Entdeckungen, Bilder und Erkenntnisse zu teilen, während sich das Projekt weiterentwickelt.
Antwort aus dem Lead -Bild: Das linke Bild wurde unter Verwendung von Lobstgers bedingungslosen Modellen erzeugt und das rechte Bild ist actual.
Weitere Informationen erhalten Sie von Kontakt Keith Ellenbogen Und Andreas Mentzelopoulos.