Ein aktueller Studie von der Oregon State College schätzten, dass mehr als 3.500 Tierarten aufgrund von Faktoren wie Lebensraumveränderungen, Übernutzung natürlicher Ressourcen und Klimawandel vom Aussterben bedroht sind.
Um diese Veränderungen besser zu verstehen und gefährdete Wildtiere zu schützen, entwickeln Naturschützer wie Justin Kay, Doktorand am MIT und Forscher am Laptop Science and Synthetic Intelligence Laboratory (CSAIL), Laptop-Imaginative and prescient-Algorithmen, die Tierpopulationen sorgfältig überwachen. Als Mitglied des Labors der MIT-Abteilung für Elektrotechnik und Informatik, Assistenzprofessorin und CSAIL-Hauptforscherin Sara Beery, arbeitet Kay derzeit an der Verfolgung von Lachsen im pazifischen Nordwesten, wo sie Raubtieren wie Vögeln und Bären wichtige Nährstoffe liefern und gleichzeitig die Inhabitants von Beutetieren wie Käfern verwalten.
Bei all diesen Wildtierdaten müssen Forscher jedoch viele Informationen sortieren und viele KI-Modelle zur Auswahl haben, um alles zu analysieren. Kay und seine Kollegen von CSAIL und der College of Massachusetts Amherst entwickeln KI-Methoden, die diesen Datenverarbeitungsprozess wesentlich effizienter machen, einschließlich eines neuen Ansatzes namens „Konsens-gesteuerte aktive Modellauswahl“ (oder „CODA“), der Naturschützern bei der Auswahl des zu verwendenden KI-Modells hilft. Ihre arbeiten wurde im Oktober auf der Worldwide Convention on Laptop Imaginative and prescient (ICCV) als Spotlight Paper ausgezeichnet.
Diese Forschung wurde teilweise von der Nationwide Science Basis, dem Pure Sciences and Engineering Analysis Council of Canada und dem Abdul Latif Jameel Water and Meals Methods Lab (J-WAFS) unterstützt. Hier spricht Kay neben anderen Naturschutzbemühungen über dieses Projekt.
Q: In Ihrer Arbeit stellen Sie die Frage, welche KI-Modelle bei einem bestimmten Datensatz die beste Leistung erbringen. Wie hilft uns CODA bei der Bewältigung dieser Herausforderung, wenn allein im HuggingFace Fashions-Repository bis zu 1,9 Millionen vorab trainierte Modelle verfügbar sind?
A: Bis vor kurzem bedeutete der Einsatz von KI für die Datenanalyse in der Regel, dass man ein eigenes Modell trainierte. Dies erfordert einen erheblichen Aufwand, um einen repräsentativen Trainingsdatensatz zu sammeln und zu kommentieren sowie Modelle iterativ zu trainieren und zu validieren. Sie benötigen außerdem bestimmte technische Fähigkeiten, um KI-Trainingscode auszuführen und zu ändern. Die Artwork und Weise, wie Menschen mit KI interagieren, verändert sich jedoch – insbesondere gibt es mittlerweile Millionen öffentlich verfügbarer vorab trainierter Modelle, die eine Vielzahl von Vorhersageaufgaben sehr intestine erfüllen können. Dies ermöglicht es Menschen möglicherweise, KI zur Analyse ihrer Daten zu nutzen, ohne ein eigenes Modell entwickeln zu müssen, indem sie einfach ein vorhandenes Modell mit den benötigten Funktionen herunterladen. Dies stellt jedoch eine neue Herausforderung dar: Welches der Millionen verfügbaren Modelle sollten sie zur Analyse ihrer Daten verwenden?
Normalerweise erfordert die Beantwortung dieser Frage zur Modellauswahl auch, dass Sie viel Zeit damit verbringen, einen großen Datensatz zu sammeln und zu kommentieren, allerdings eher zum Testen von Modellen als zum Trainieren. Dies gilt insbesondere für reale Anwendungen, bei denen die Benutzeranforderungen spezifisch sind, die Datenverteilungen unausgewogen sind und sich ständig ändern und die Modellleistung möglicherweise über die einzelnen Stichproben hinweg inkonsistent ist. Unser Ziel mit CODA warfare es, diesen Aufwand deutlich zu reduzieren. Dies erreichen wir, indem wir den Datenannotationsprozess „aktiv“ machen. Anstatt von Benutzern zu verlangen, dass sie einen großen Testdatensatz auf einmal in großen Mengen mit Anmerkungen versehen, gestalten wir den Prozess bei der aktiven Modellauswahl interaktiv und leiten Benutzer dazu an, die informativsten Datenpunkte in ihren Rohdaten mit Anmerkungen zu versehen. Dies ist bemerkenswert effektiv und erfordert häufig, dass Benutzer nur 25 Beispiele mit Anmerkungen versehen, um aus ihrer Kandidatengruppe das beste Modell zu ermitteln.
Wir freuen uns sehr, dass CODA eine neue Perspektive bietet, wie menschliche Anstrengungen bei der Entwicklung und Bereitstellung von Systemen für maschinelles Lernen (ML) optimum genutzt werden können. Da KI-Modelle immer häufiger zum Einsatz kommen, betont unsere Arbeit, wie wichtig es ist, die Bemühungen auf robuste Evaluierungspipelines zu konzentrieren und nicht nur auf das Coaching.
Q: Sie haben die CODA-Methode zur Klassifizierung von Wildtieren in Bildern angewendet. Warum hat es so intestine funktioniert und welche Rolle können Systeme wie dieses bei der Überwachung von Ökosystemen in der Zukunft spielen?
A: Eine wichtige Erkenntnis warfare, dass bei der Betrachtung einer Sammlung von KI-Kandidatenmodellen der Konsens aller ihrer Vorhersagen aussagekräftiger ist als die Vorhersagen jedes einzelnen Modells. Dies kann als eine Artwork „Weisheit der Masse“ angesehen werden: Im Durchschnitt erhalten Sie durch die Bündelung der Stimmen aller Modelle einen guten Überblick darüber, wie die Bezeichnungen einzelner Datenpunkte in Ihrem Rohdatensatz lauten sollten. Unser Ansatz mit CODA basiert auf der Schätzung einer „Verwirrungsmatrix“ für jedes KI-Modell. Wenn die wahre Bezeichnung für einen Datenpunkt Klasse X ist, wie hoch ist dann die Wahrscheinlichkeit, dass ein einzelnes Modell Klasse X, Y oder Z vorhersagt? Dadurch entstehen informative Abhängigkeiten zwischen allen Kandidatenmodellen, den Kategorien, die Sie kennzeichnen möchten, und den unbeschrifteten Punkten in Ihrem Datensatz.
Stellen Sie sich eine Beispielanwendung vor, bei der Sie als Wildtierökologe gerade einen Datensatz gesammelt haben, der möglicherweise Hunderttausende Bilder von in der Wildnis eingesetzten Kameras enthält. Sie möchten wissen, um welche Arten es sich in diesen Bildern handelt – eine zeitaufwändige Aufgabe, die mithilfe von Laptop-Imaginative and prescient-Klassifikatoren automatisiert werden kann. Sie versuchen zu entscheiden, welches Artenklassifizierungsmodell auf Ihren Daten angewendet werden soll. Wenn Sie bisher 50 Bilder von Tigern beschriftet haben und ein Modell bei diesen 50 Bildern eine gute Leistung erbracht hat, können Sie ziemlich sicher sein, dass es auch bei den übrigen (derzeit unbeschrifteten) Bildern von Tigern in Ihrem Rohdatensatz eine gute Leistung erbringen wird. Sie wissen auch, dass, wenn dieses Modell vorhersagt, dass ein Bild einen Tiger enthält, dies wahrscheinlich richtig ist und dass daher jedes Modell, das eine andere Bezeichnung für dieses Bild vorhersagt, mit größerer Wahrscheinlichkeit falsch ist. Sie können alle diese gegenseitigen Abhängigkeiten nutzen, um probabilistische Schätzungen der Konfusionsmatrix jedes Modells sowie eine Wahrscheinlichkeitsverteilung darüber zu erstellen, welches Modell im Gesamtdatensatz die höchste Genauigkeit aufweist. Diese Entwurfsentscheidungen ermöglichen es uns, fundiertere Entscheidungen darüber zu treffen, welche Datenpunkte zu kennzeichnen sind, und sind letztendlich der Grund dafür, dass CODA die Modellauswahl viel effizienter durchführt als frühere Arbeiten.
Es gibt auch viele spannende Möglichkeiten, auf unserer Arbeit aufzubauen. Wir glauben, dass es möglicherweise noch bessere Möglichkeiten gibt, informative Prioritäten für die Modellauswahl auf der Grundlage von Domänenexpertise zu erstellen – zum Beispiel, wenn bereits bekannt ist, dass ein Modell bei einigen Teilmengen von Klassen außergewöhnlich intestine und bei anderen schlecht abschneidet. Es gibt auch Möglichkeiten, das Framework zu erweitern, um komplexere maschinelle Lernaufgaben und anspruchsvollere probabilistische Leistungsmodelle zu unterstützen. Wir hoffen, dass unsere Arbeit anderen Forschern Inspiration und einen Ausgangspunkt bieten kann, um den Stand der Technik weiter voranzutreiben.
Q: Sie arbeiten im Beerylab unter der Leitung von Sara Beery, wo Forscher die Mustererkennungsfähigkeiten maschineller Lernalgorithmen mit Laptop-Imaginative and prescient-Technologie kombinieren, um Wildtiere zu überwachen. Auf welche anderen Arten verfolgt und analysiert Ihr Crew die natürliche Welt über CODA hinaus?
A: Das Labor ist ein wirklich spannender Arbeitsplatz und es entstehen ständig neue Projekte. Wir haben laufende Projekte zur Überwachung von Korallenriffen mit Drohnen, zur Neuidentifizierung einzelner Elefanten im Laufe der Zeit und zur Zusammenführung multimodaler Erdbeobachtungsdaten von Satelliten und In-situ-Kameras, um nur einige zu nennen. Im Großen und Ganzen betrachten wir neue Technologien für die Überwachung der biologischen Vielfalt und versuchen zu verstehen, wo die Engpässe bei der Datenanalyse liegen, und entwickeln neue Ansätze für Laptop Imaginative and prescient und maschinelles Lernen, die diese Probleme auf allgemein anwendbare Weise angehen. Es ist eine spannende Artwork, Probleme anzugehen, die gewissermaßen auf die „Meta-Fragen“ abzielt, die den jeweiligen Datenherausforderungen zugrunde liegen, mit denen wir konfrontiert sind.
Die Laptop-Imaginative and prescient-Algorithmen, an denen ich gearbeitet habe, um wandernde Lachse in Unterwasser-Sonarvideos zu zählen, sind Beispiele für diese Arbeit. Wir haben oft mit sich verändernden Datenverteilungen zu kämpfen, auch wenn wir versuchen, möglichst vielfältige Trainingsdatensätze zu erstellen. Wenn wir eine neue Kamera einsetzen, stoßen wir immer auf etwas Neues, und dies beeinträchtigt tendenziell die Leistung von Laptop-Imaginative and prescient-Algorithmen. Dies ist ein Beispiel für ein allgemeines Downside beim maschinellen Lernen, das als Domänenanpassung bezeichnet wird. Als wir jedoch versuchten, vorhandene Domänenanpassungsalgorithmen auf unsere Fischereidaten anzuwenden, stellten wir fest, dass es erhebliche Einschränkungen bei der Artwork und Weise gab, wie vorhandene Algorithmen trainiert und bewertet wurden. Wir konnten ein neues Domänenanpassungs-Framework entwickeln, veröffentlicht Anfang dieses Jahres in Transaktionen zur maschinellen Lernforschungdas diese Einschränkungen anging und zu Fortschritten bei der Fischzählung und sogar bei der Analyse selbstfahrender und Raumfahrzeuge führte.
Ein Arbeitsbereich, der mir besonders am Herzen liegt, ist die Frage, wie man die Leistung prädiktiver ML-Algorithmen im Kontext ihrer eigentlichen Verwendung besser entwickeln und analysieren kann. Normalerweise sind die Ausgaben einiger Laptop-Imaginative and prescient-Algorithmen – beispielsweise Begrenzungsrahmen um Tiere in Bildern – eigentlich nicht das, was die Menschen interessiert, sondern eher ein Mittel zum Zweck, um ein größeres Downside zu lösen – beispielsweise welche Arten leben hier und wie verändert sich das im Laufe der Zeit? Wir haben in diesem Zusammenhang an Methoden zur Analyse der Vorhersageleistung gearbeitet und überdenken vor diesem Hintergrund die Artwork und Weise, wie wir menschliches Fachwissen in ML-Systeme einbringen. CODA warfare ein Beispiel dafür, wo wir gezeigt haben, dass wir die ML-Modelle selbst tatsächlich als fest betrachten und einen statistischen Rahmen aufbauen können, um ihre Leistung sehr effizient zu verstehen. Wir haben kürzlich an ähnlichen integrierten Analysen gearbeitet, die ML-Vorhersagen mit mehrstufigen Vorhersagepipelines sowie ökologischen statistischen Modellen kombinieren.
Die natürliche Welt verändert sich in beispiellosem Tempo und Ausmaß, und die Fähigkeit, schnell von wissenschaftlichen Hypothesen oder Managementfragen zu datengesteuerten Antworten überzugehen, ist für den Schutz von Ökosystemen und den von ihnen abhängigen Gemeinschaften wichtiger denn je. Fortschritte in der KI können eine wichtige Rolle spielen, aber wir müssen kritisch darüber nachdenken, wie wir Algorithmen im Kontext dieser sehr realen Herausforderungen entwerfen, trainieren und bewerten.