Forscher reduzieren Verzerrungen in KI-Modellen und bewahren oder verbessern gleichzeitig die Genauigkeit | MIT-Nachrichten

Modelle für maschinelles Lernen können scheitern, wenn sie versuchen, Vorhersagen für Personen zu treffen, die in den Datensätzen, mit denen sie trainiert wurden, unterrepräsentiert waren.

Beispielsweise kann ein Modell, das die beste Behandlungsoption für jemanden mit einer chronischen Krankheit vorhersagt, mithilfe eines Datensatzes trainiert werden, der hauptsächlich männliche Patienten enthält. Dieses Modell könnte beim Einsatz in einem Krankenhaus falsche Vorhersagen für weibliche Patienten treffen.

Um die Ergebnisse zu verbessern, können Ingenieure versuchen, den Trainingsdatensatz auszugleichen, indem sie Datenpunkte entfernen, bis alle Untergruppen gleichermaßen vertreten sind. Obwohl der Datensatzausgleich vielversprechend ist, erfordert er häufig das Entfernen großer Datenmengen, was die Gesamtleistung des Modells beeinträchtigt.

MIT-Forscher haben eine neue Technik entwickelt, die bestimmte Punkte in einem Trainingsdatensatz identifiziert und entfernt, die am meisten zum Scheitern eines Modells bei Minderheiten-Untergruppen beitragen. Durch das Entfernen weitaus weniger Datenpunkte als bei anderen Ansätzen behält diese Technik die Gesamtgenauigkeit des Modells bei und verbessert gleichzeitig seine Leistung in Bezug auf unterrepräsentierte Gruppen.

Darüber hinaus kann die Technik versteckte Verzerrungsquellen in einem Trainingsdatensatz identifizieren, dem es an Beschriftungen mangelt. Bei vielen Anwendungen kommen unbeschriftete Daten weitaus häufiger vor als beschriftete Daten.

Diese Methode könnte auch mit anderen Ansätzen kombiniert werden, um die Equity von Modellen des maschinellen Lernens zu verbessern, die in Situationen mit hohem Risiko eingesetzt werden. Beispielsweise könnte es eines Tages dazu beitragen, dass unterrepräsentierte Patienten nicht aufgrund eines voreingenommenen KI-Modells falsch diagnostiziert werden.

„Viele andere Algorithmen, die versuchen, dieses Drawback zu lösen, gehen davon aus, dass jeder Datenpunkt genauso wichtig ist wie jeder andere Datenpunkt. In diesem Artikel zeigen wir, dass die Annahme nicht wahr ist. Es gibt bestimmte Punkte in unserem Datensatz, die zu dieser Verzerrung beitragen, und wir können diese Datenpunkte finden, entfernen und eine bessere Leistung erzielen“, sagt Kimia Hamidieh, eine Doktorandin der Elektrotechnik und Informatik (EECS) am MIT and Co -Hauptautor von a Papier über diese Technik.

Sie verfasste die Arbeit zusammen mit den Co-Hauptautoren Saachi Jain PhD ’24 und ihrem EECS-Doktoranden Kristian Georgiev; Andrew Ilyas MEng ’18, PhD ’23, Stein Fellow an der Stanford College; und die leitenden Autoren Marzyeh Ghassemi, außerordentlicher Professor für EECS und Mitglied des Institute of Medical Engineering Sciences und des Laboratory for Data and Resolution Methods, und Aleksander Madry, Professor für Cadence Design Methods am MIT. Die Forschung wird auf der Konferenz über neuronale Informationsverarbeitungssysteme vorgestellt.

Schlechte Beispiele entfernen

Modelle für maschinelles Lernen werden häufig mithilfe riesiger Datensätze trainiert, die aus vielen Quellen im Web gesammelt wurden. Diese Datensätze sind viel zu groß, um sorgfältig von Hand kuratiert zu werden, sodass sie möglicherweise schlechte Beispiele enthalten, die die Modellleistung beeinträchtigen.

Wissenschaftler wissen auch, dass einige Datenpunkte die Leistung eines Modells bei bestimmten nachgelagerten Aufgaben stärker beeinflussen als andere.

Die MIT-Forscher kombinierten diese beiden Ideen zu einem Ansatz, der diese problematischen Datenpunkte identifiziert und entfernt. Sie versuchen, ein Drawback zu lösen, das als Worst-Group-Fehler bekannt ist und auftritt, wenn ein Modell bei Minderheiten-Untergruppen in einem Trainingsdatensatz eine unterdurchschnittliche Leistung erbringt.

Die neue Technik der Forscher basiert auf früheren Arbeiten, in denen sie eine Methode namens „ TRAKdas die wichtigsten Trainingsbeispiele für eine bestimmte Modellausgabe identifiziert.

Für diese neue Technik verwenden sie falsche Vorhersagen, die das Modell über Minderheitenuntergruppen gemacht hat, und ermitteln mithilfe von TRAK, welche Trainingsbeispiele am meisten zu dieser falschen Vorhersage beigetragen haben.

„Indem wir diese Informationen über schlechte Testvorhersagen auf die richtige Weise aggregieren, können wir die spezifischen Teile des Trainings finden, die insgesamt zu einer Verschlechterung der Genauigkeit der schlechtesten Gruppe führen“, erklärt Ilyas.

Anschließend entfernen sie diese spezifischen Stichproben und trainieren das Modell anhand der verbleibenden Daten neu.

Da mehr Daten in der Regel zu einer besseren Gesamtleistung führen, bleibt die Gesamtgenauigkeit des Modells erhalten, indem nur die Stichproben entfernt werden, die zu Ausfällen in der schlimmsten Gruppe führen, während gleichzeitig die Leistung bei Minderheitsuntergruppen gesteigert wird.

Ein zugänglicherer Ansatz

In drei Datensätzen zum maschinellen Lernen übertraf ihre Methode mehrere Techniken. In einem Fall steigerte es die Genauigkeit der schlechtesten Gruppe und entfernte gleichzeitig etwa 20.000 Trainingsstichproben weniger als eine herkömmliche Datenausgleichsmethode. Ihre Technik erreichte außerdem eine höhere Genauigkeit als Methoden, die Änderungen am Innenleben eines Modells erfordern.

Da die MIT-Methode stattdessen die Änderung eines Datensatzes beinhaltet, wäre sie für einen Praktiker einfacher zu verwenden und kann auf viele Arten von Modellen angewendet werden.

Es kann auch verwendet werden, wenn die Verzerrung unbekannt ist, da Untergruppen in einem Trainingsdatensatz nicht gekennzeichnet sind. Durch die Identifizierung der Datenpunkte, die am meisten zu einer Funktion beitragen, die das Modell lernt, können sie die Variablen verstehen, die es für eine Vorhersage verwendet.

„Dies ist ein Software, das jeder verwenden kann, wenn er ein Modell für maschinelles Lernen trainiert. Sie können sich diese Datenpunkte ansehen und sehen, ob sie mit der Fähigkeit übereinstimmen, die sie dem Modell beibringen möchten“, sagt Hamidieh.

Die Verwendung der Technik zur Erkennung unbekannter Subgruppen-Bias erfordert ein Gespür dafür, nach welchen Gruppen gesucht werden soll. Daher hoffen die Forscher, sie durch zukünftige Studien am Menschen zu validieren und umfassender zu erforschen.

Sie möchten außerdem die Leistung und Zuverlässigkeit ihrer Technik verbessern und sicherstellen, dass die Methode für Praktiker zugänglich und benutzerfreundlich ist, die sie eines Tages in realen Umgebungen einsetzen könnten.

„Wenn Sie über Instruments verfügen, mit denen Sie die Daten kritisch betrachten und herausfinden können, welche Datenpunkte zu Verzerrungen oder anderem unerwünschten Verhalten führen, ist das ein erster Schritt zur Erstellung von Modellen, die fairer und zuverlässiger sind.“ sagt Iljas.

Diese Arbeit wird zum Teil von der Nationwide Science Basis und der US Protection Superior Analysis Initiatives Company finanziert.