Laut einer aktuellen Studie der Hebräischen Universität, die in der Zeitschrift veröffentlicht wurde, weisen KI-Systeme vorhersehbare und systematische Vorurteile bei der Beurteilung von Menschen auf Verfahren der Royal Society. Die Studie analysierte über 43.000 simulierte Entscheidungen zusammen mit etwa 1.000 menschlichen Teilnehmern in fünf Szenarien und zeigte erhebliche Unterschiede zwischen menschlichen und KI-Bewertungen auf.

Die Szenarien umfassten finanzielle Entscheidungen wie die Kreditvergabe an einen Kleinunternehmer, aber auch soziale Urteile wie die Beurteilung eines Babysitters oder die Entscheidung, wie viel man einem gemeinnützigen Gründer spenden sollte. Die Ergebnisse deuten darauf hin, dass sowohl Menschen als auch KI Individuen bevorzugen, die als kompetent, ehrlich und wohlmeinend wahrgenommen werden, Maschinen jedoch anhand starrer Bewertungskriterien arbeiten, anstatt ganzheitliche Eindrücke zu vermitteln.

Prof. Yaniv Dover bemerkte: „KI trifft keine zufälligen Entscheidungen. Sie erfasst etwas Reales darüber, wie Menschen einander bewerten.“ Die Studie stellte jedoch fest, dass Menschen dazu neigen, allgemeine Eindrücke auf der Grundlage mehrerer Merkmale zu erzeugen, während KI Merkmale wie Kompetenz und Integrität eher segmentiert bewertet. Valeria Lerman erklärte weiter: „Die Menschen in unserer Studie beurteilen andere chaotisch und ganzheitlich. KI ist sauberer, systematischer und das kann zu sehr unterschiedlichen Ergebnissen führen.“

Unterschiede in den Bewertungsergebnissen waren selbst dann offensichtlich, wenn identische Angaben zu den Probanden verwendet wurden. Die Forscher fanden heraus, dass die Vorurteile der KI systematischer und manchmal stärker sein könnten als die des Menschen. In Finanzszenarien zeigten KI-Systeme konsistente Vorurteile zugunsten älterer Menschen und wurden von Aspekten wie Faith und Geschlecht beeinflusst. „Menschen haben natürlich Vorurteile“, sagte Dover. „Aber was uns überrascht hat, ist, dass die Vorurteile der KI systematischer, vorhersehbarer und manchmal stärker sein können.“

Die Studie ergab, dass unterschiedliche KI-Modelle oft zu unterschiedlichen Urteilen über dieselbe Individual führen. Diese Variabilität unterstreicht die Bedeutung der Auswahl von KI-Modellen für die Bestimmung realer Ergebnisse. „Welches Modell Sie verwenden, ist wirklich wichtig“, bemerkte Lerman. Derzeit werden große Sprachmodelle für die Auswahl von Bewerbern, die Bonitätsbeurteilung und andere Entscheidungsprozesse eingesetzt.

Während KI menschliche Urteilsprozesse nachahmt, fanden die Forscher, dass sie weniger nuanciert und starrer ist, oft mit Vorurteilen, die schwerer zu erkennen sind. „Diese Systeme sind leistungsstark“, betonte Dover. „Sie können Aspekte des menschlichen Denkens auf konsistente Weise modellieren. Aber sie sind keine Menschen, und wir sollten nicht davon ausgehen, dass sie Menschen auf die gleiche Weise sehen wie wir.“

Die Forscher plädieren für ein tieferes Verständnis der Bewertungsprozesse von KI, während sich diese Werkzeuge von Assistenten zu Entscheidungsträgern weiterentwickeln. Sie stellen klar, dass das Ziel nicht darin besteht, den Einsatz von KI zu unterbinden, sondern das Bewusstsein dafür zu schärfen, wie sehr diese Systeme Einzelpersonen vertrauen. „Die Frage ist nicht mehr, ob wir Maschinen vertrauen, sondern ob wir verstehen, wie sie uns vertrauen“, heißt es in der Studie.

---

Hervorgehobener Bildnachweis

Künstliche Intelligenz (KI) verändert die Artwork und Weise, wie wir Probleme in jeder Branche lösen, vom Gesundheitswesen bis zum Bankwesen. Eine große Herausforderung bleibt jedoch bestehen: Voreingenommenheit in KI-Systemen. Dies geschieht, wenn die zum Coaching der KI verwendeten Daten nicht vielfältig genug sind. Ohne eine Vielzahl von Daten kann KI unfaire Entscheidungen treffen, bestimmte Gruppen ausschließen oder ungenaue Ergebnisse liefern.

Um KI intelligenter, gerechter und effektiver zu machen, müssen wir uns darauf konzentrieren vielfältige Trainingsdaten. In diesem Weblog erklären wir, warum Datenvielfalt wichtig ist, wie sie dazu beiträgt, Verzerrungen zu beseitigen, und welche Schritte Sie unternehmen können, um bessere KI-Systeme zu schaffen.

Warum ist Vielfalt in Trainingsdaten wichtig?

Trainingsdaten sind es, die KI-Modellen die Funktionsweise beibringen. Wenn die Daten begrenzt oder einseitig sind, lernt die KI nur aus dieser engen Perspektive. Dies kann zu Problemen wie voreingenommenen Entscheidungen oder schlechter Leistung in realen Situationen führen. Deshalb sind vielfältige Daten so wichtig:

1. Höhere Genauigkeit in der realen Welt

KI-Modelle, die auf einer Vielzahl von Daten trainiert werden, können mit unterschiedlichen Situationen besser umgehen. Beispielsweise funktioniert ein Sprachassistent, der auf Stimmen aller Altersgruppen, Akzente und Geschlechter trainiert ist, für mehr Menschen als ein Sprachassistent, der nur auf wenige Stimmen trainiert ist.

2. Reduziert Voreingenommenheit

Ohne Diversität kann KI Verzerrungen in den Daten erkennen und verstärken. Wenn ein Einstellungsalgorithmus beispielsweise nur auf Lebensläufe von Männern trainiert wird, könnte er diese zu Unrecht gegenüber gleichqualifizierten Frauen bevorzugen. Die Einbeziehung von Daten aus allen Gruppen sorgt für fairere Ergebnisse.

3. Bereitet sich auf seltene Szenarien vor

Verschiedene Datensätze umfassen seltene oder einzigartige Fälle, auf die KI stoßen kann. Beispielsweise müssen selbstfahrende Autos auf alle Arten von Straßenbedingungen trainiert werden, auch auf ungewöhnliche wie überflutete Straßen oder Schlaglöcher.

4. Unterstützt ethische KI

KI wird in Bereichen wie dem Gesundheitswesen und der Strafjustiz eingesetzt, in denen Equity und Ethik von entscheidender Bedeutung sind. Vielfältige Trainingsdaten stellen sicher, dass die KI Entscheidungen trifft, die für alle truthful sind, unabhängig von ihrem Hintergrund.

5. Verbessert die Leistung

Wenn KI aus unterschiedlichen Daten lernt, kann sie Muster besser erkennen und genaue Vorhersagen treffen. Dies führt zu intelligenteren und zuverlässigeren Systemen.

Das aktuelle Downside mit Trainingsdaten

Derzeit versagen viele KI-Systeme, weil ihre Trainingsdaten nicht vielfältig genug sind. Beispiele hierfür sind Gesichtserkennungssysteme, die dunklere Hauttöne nicht erkennen, oder Chatbots, die beleidigende Antworten geben. Diese Fehler zeigen, warum wir uns darauf konzentrieren müssen einschließlich vielfältigerer Daten während des KI-Trainingsprozesses.

So gestalten Sie Trainingsdaten vielfältiger

Die Erstellung vielfältiger Trainingsdaten erfordert Aufwand, ist aber mit den richtigen Strategien möglich. So können Sie sicherstellen, dass Ihre Daten umfassend und ausgewogen sind:

1. Sammeln Sie Daten aus verschiedenen Quellen

Verlassen Sie sich nicht nur auf eine Datenquelle. Sammeln Sie Informationen aus verschiedenen Regionen, Altersgruppen, Geschlechtern und Ethnien. Wenn Sie beispielsweise ein Sprachmodell erstellen, beziehen Sie Textual content aus verschiedenen Kulturen und Sprachen ein.

2. Nutzen Sie Datenerweiterung

Datenerweiterung ist eine Methode, um aus vorhandenen Daten neue Daten zu erstellen. Sie können beispielsweise Bilder spiegeln, drehen oder anpassen, um mehr Abwechslung zu schaffen, ohne zusätzliche Daten zu erfassen.

3. Konzentrieren Sie sich auf seltene und Randfälle

Fügen Sie Beispiele für seltene Situationen in Ihre Trainingsdaten ein. Wenn Sie beispielsweise eine KI für das Gesundheitswesen trainieren, beziehen Sie Daten von Patienten mit seltenen Erkrankungen ein, um das Modell umfassender zu gestalten.

4. Überprüfen Sie die Daten auf Verzerrungen

Bevor Sie einen Datensatz verwenden, überprüfen Sie ihn, um sicherzustellen, dass er keine Gruppe bevorzugt oder ausschließt. Wenn Sie beispielsweise Gesichtserkennungssoftware trainieren, stellen Sie sicher, dass der Datensatz Gesichter aller Hauttöne und Geschlechter enthält.

5. Arbeiten Sie mit verschiedenen Groups zusammen

Arbeiten Sie mit Menschen mit unterschiedlichem Hintergrund zusammen, um Lücken in Ihren Daten zu identifizieren. Ein vielfältiges Crew kann einzigartige Perspektiven einbringen und für Equity in der KI-Entwicklung sorgen.

6. Aktualisieren Sie Ihre Daten regelmäßig

Die Welt verändert sich im Laufe der Zeit, und das sollten auch Ihre Daten sein. Aktualisieren Sie Ihre Trainingsdaten regelmäßig, um neue Traits, Technologien und gesellschaftliche Veränderungen widerzuspiegeln.

(Lesen Sie auch: Was sind Trainingsdaten beim maschinellen Lernen?)

Herausforderungen bei der Gewährleistung der Datenvielfalt

Obwohl vielfältige Trainingsdaten unerlässlich sind, ist dies nicht immer einfach zu erreichen. Hier sind einige häufige Herausforderungen:

• Hohe Kosten: Das Sammeln und Kennzeichnen verschiedener Daten kann teuer und zeitaufwändig sein.
• Rechtliche Einschränkungen: In verschiedenen Ländern gibt es Gesetze darüber, wie Daten erfasst und verwendet werden dürfen, beispielsweise die DSGVO in Europa.
• Datenlücken: In manchen Fällen ist es schwierig, Daten für unterrepräsentierte Gruppen oder seltene Szenarien zu finden.

Um diese Herausforderungen zu meistern, benötigen Sie einen durchdachten Plan und die Zusammenarbeit mit Experten.

Ethische und integrative KI aufbauen

Im Kern sollte KI allen helfen, nicht nur einigen wenigen. Indem wir uns auf verschiedene Trainingsdaten konzentrieren, können wir Systeme schaffen, die intelligenter, gerechter und integrativer sind. Dies ist nicht nur ein technisches Ziel. Es liegt in der Verantwortung, dafür zu sorgen, dass KI der gesamten Gesellschaft zugute kommt.

Wie Shaip helfen kann

Bei Shaip sind wir auf die Bereitstellung hochwertiger, vielfältiger Datensätze spezialisiert, die auf Ihre spezifischen KI-Anforderungen zugeschnitten sind. Egal, ob Sie eine Gesundheits-App, einen Chatbot oder ein Gesichtserkennungssystem entwickeln, wir können Ihnen bei der Entwicklung umfassender und zuverlässiger KI-Lösungen helfen.

Lassen Sie uns gemeinsam eine intelligentere KI aufbauen!

Kontaktieren Sie uns noch heute, um Ihren Trainingsdatenbedarf zu besprechen. Gemeinsam können wir KI gerechter, intelligenter und wirkungsvoller machen.

Die künstliche Intelligenz (KI) dominiert die heutigen Schlagzeilen – eines Tages als Durchbruch und wartete als Bedrohung am nächsten. Ein Großteil dieser Debatte findet jedoch in einer Blase statt, die sich eher auf abstrakte Hoffnungen und Ängste als auf konkrete Lösungen konzentriert. In der Zwischenzeit ist eine dringende Herausforderung, die oft übersehen wird, der Aufstieg der psychischen Gesundheitsprobleme in On-line -Gemeinschaften, in denen voreingenommener oder feindlicher Austausch das Vertrauen und die psychische Sicherheit untergraben.

In diesem Artikel wird eine praktische Anwendung von KI eingeführt, die auf dieses Drawback abzielt: eine Pipeline für maschinelles Lernen, die zur Erkennung und Minderung der Verzerrungen im benutzergenerierten Inhalt erfasst und gemindert wird. Das System kombiniert Deep-Studying-Modelle für die Klassifizierung mit generativen Großsprachemodellen (LLMs) zum Erstellen von kontextsensitiven Antworten. Ausgebildet für mehr als zwei Millionen Reddit- und Twitter -Kommentare, erreichte es eine hohe Genauigkeit (F1 = 0,99) und erzeugte maßgeschneiderte Moderationsnachrichten über eine virtuelle Moderator -Particular person.

Im Gegensatz zu einem Großteil des Hype um KI zeigt diese Arbeit ein materielles, einsetzbares Software, das das digitale Wohlbefinden unterstützt. Es zeigt, wie KI nicht nur Geschäftseffizienz oder Gewinn, sondern auch die Schaffung von faireren, integrativeren Räumen, in denen sich Menschen on-line verbinden, dienen kann. Im Folgenden skizziere ich die Pipeline, ihre Leistung und ihre breiteren Auswirkungen auf On-line-Communities und digitales Wohlergehen. Für Leser, die an der Untersuchung der Forschungsergebnisse ausführlicher interessiert sind, einschließlich eines Poster-Präsentationsvideos, das die Codebereiche und den Forschungsbericht in voller Länge erläutert, sind Ressourcen auf GitHub verfügbar. (1)

Eine Pipeline für maschinelles Lernen, die generative künstliche Intelligenz einsetzt, um die Verzerrungen in sozialen Netzwerken anzugehen, hat den Wert für das geistige Wohlbefinden der Gesellschaft. Die menschliche Interaktion mit Computern vertraut immer mehr Antworten, die große Sprachmodelle im Argumentationsdialog bieten.

Verfahren

Das System wurde als dreiphasige Pipeline entwickelt: Sammeln, Erkennung und Minderung. Jede Part kombinierte die NLP -Techniken (natürliche Sprachverarbeitung) mit modernen Transformatormodellen, um sowohl die Skala als auch die Subtilität der voreingenommenen Sprache on-line zu erfassen.

Schritt 1. Datenerfassung und -vorbereitung

Ich habe 1 Million Twitter -Beiträge aus dem Sentiment140 -Datensatz (2) und 1 Million Reddit -Kommentaren eines kuratierten Pushshift -Corpus (2007–2014) (3) zusammengestellt. Die Kommentare wurden gereinigt, anonymisiert und engagiert. Die Vorverarbeitung umfasste Tokenisierung, Lemmatisierung, Stopword -Entfernung und Phrase -Matching unter Verwendung von NLTK und Spacy.

Um die Modelle effektiv zu trainieren, habe ich Metadatenfunktionen wie BIAS_TERMS, HAS_BIAS und BIAS_TYPE konstruiert, die die Schichtung über voreingenommene und neutrale Teilmengen über die Schichtung hinweg ermöglichten. Tabelle 1 fasst diese Merkmale zusammen, während Abbildung 1 die Häufigkeit von Vorspannungsbegriffen über die Datensätze hinweg zeigt.

Das Ansprechen von Datenleckagen und Modellüberfütungsproblemen ist in frühen Datenvorbereitungsstadien wichtig.

Beaufsichtige Lerntechniken werden verwendet, um Vorspannungsbegriffe zu kennzeichnen und sie als implizite oder explizite Formen zu klassifizieren.

Schritt 2. Voreingenommener Annotation und Kennzeichnung

Die Verzerrung wurde an zwei Achsen kommentiert: Vorhandensein (vorgespannter vs. nicht voreingenommen) und Type (implizit, explizit oder keine). Die implizite Verzerrung wurde als subtile oder codierte Sprache (z. B. Stereotypen) definiert, während explizite Verzerrungen offenkundig waren oder Bedrohungen waren. Zum Beispiel wurde „Opa Biden die Treppe hinaufgefallen“ als AGEST codiert, während „Biden ein Opa ist, der seine Familie liebt“, warfare es nicht. Diese kontextbezogene Codierung reduzierte falsch constructive Ergebnisse.

Schritt 3. Stimmung und Klassifizierungsmodelle

Zwei Transformatormodelle haben die Erkennungsstufe betrieben:

-Roberta (4) warfare für die Klassifizierung der Stimmung intestine abgestimmt. Seine Ausgänge (positiv, impartial, negativ) haben dazu beigetragen, den Ton von voreingenommenen Kommentaren zu schließen.

– Distilbert (5) wurde auf dem angereicherten Datensatz mit impliziten/expliziten Etiketten geschult, wodurch eine präzise Klassifizierung subtiler Hinweise ermöglicht wurde.

Mit dem Erkennungsmodell, das mit der höchsten Genauigkeit geschult ist, werden Kommentare durch ein großes Sprachmodell bewertet und eine Antwort erzeugt.

Schritt 4. Minderungsstrategie

Nach der Erkennung der Vorspannung folgte Echtzeit-Minderung. Sobald ein voreingenommener Kommentar identifiziert wurde, erzeugte das System eine Antwort, die auf den Verzerrungstyp zugeschnitten warfare:

– Explizite Voreingenommenheit: direkte, durchsetzungsfähige Korrekturen.
– Implizite Voreingenommenheit: weichere Rephrasierungen oder Bildungsvorschläge.

Die Antworten wurden von ChatGPT (6) generiert und für seine Flexibilität und Kontextempfindlichkeit ausgewählt. Alle Antworten wurden durch eine fiktive Moderator-Particular person, Jenai-Moderator , gerahmt, die eine konsistente Stimme und einen konsistenten Ton beibehielt (Abbildung 3).

Schritt 5. Systemarchitektur

Die vollständige Pipeline ist in Abbildung 4 dargestellt. Sie integriert Vorverarbeitung, Verzerrungserkennung und generative Minderung. Daten- und Modellausgaben wurden in einem postgresql-relationalen Schema gespeichert, wobei Protokollierung, Auditing und zukünftige Integration in Systeme in den Schleifen in der Regel ermöglicht wurden.

Ergebnisse

Das System wurde auf einem Datensatz von über zwei Millionen Reddit- und Twitter-Kommentaren bewertet, wobei sich die Genauigkeit, Nuance und reale Anwendbarkeit konzentriert.

Function -Extraktion

Wie in Abbildung 1 gezeigt, schienen Begriffe im Zusammenhang mit Rasse, Geschlecht und Alter in den Benutzern Kommentaren unverhältnismäßig zu sein. Bei der ersten Datenuntersuchung wurden die gesamten Datensätze untersucht, und in den Kommentaren wurde eine Vorspannung von 4 Prozent aufgetaucht. Die Schichtung wurde verwendet, um das Ungleichgewicht der Nicht-Vorurteile von Vorspannungen zu beheben. Vorurteile wie Model und Mobbing schienen selten zu sein, während sich politische Vorurteile so distinguished wie andere voreingenommene Vorurteile auftraten.

Modellleistung

– Roberta erreichte durch die zweite Epoche eine Validierungsgenauigkeit von 98,6%. Seine Verlustkurven (Abbildung 5) konvergierten schnell, wobei eine Verwirrungsmatrix (Abbildung 6) eine starke Klassentrennung zeigte.

– Distilbert, ausgebildet auf impliziten/expliziten Etiketten, erreichte einen 99% igen F1 -Rating (Abbildung 7). Im Gegensatz zur Rohgenauigkeit spiegelt F1 besser das Gleichgewicht von Präzision und Rückruf in unausgeglichenen Datensätzen (7).

Vorspannungstypverteilung

Abbildung 8 zeigt Boxplots von Verzerrungstypen, die über vorhergesagte Stimmungsaufzeichnungen verteilt sind. Die Länge der Field -Diagramme für detrimental Kommentare, in denen etwa 20.000 Datensätze der geschichteten Datenbank, die sehr detrimental und detrimental Kommentare enthielten, kombiniert wurden. Für constructive Kommentare, das heißt, Kommentare, die eine liebevolle oder nicht-Bias-Stimmung widerspiegeln, umfassen die Field-Diagramme etwa 10.000 Aufzeichnungen. Neutrale Kommentare waren in etwa 10.000 Aufzeichnungen. Die Verzerrung und die vorhergesagte Sentiment-Aufschlüsselung bestätigen die klassifizierte Klassifizierungslogik.

Minderungswirksamkeit

Erzeugte Antworten von Jenai-Moderator, die in Abbildung 3 dargestellt wurden, wurden von menschlichen Rezensenten bewertet. Die Antworten wurden sprachlich genau und kontextuell angemessen beurteilt, insbesondere für implizite Verzerrungen. Tabelle 2 enthält Beispiele für Systemvorhersagen mit ursprünglichen Kommentaren, die die Empfindlichkeit gegenüber subtilen Fällen zeigen.

Diskussion

Die Moderation wird häufig als technisches Filterproblem eingerahmt: Erkennen eines verbotenen Wortes, löschen Sie den Kommentar und fahren Sie fort. Moderation ist aber auch eine Interaktion zwischen Benutzern und Systemen. In der HCI -Forschung ist Equity nicht nur technisch, sondern experimentell (8). Dieses System umfasst diese Perspektive und fordert die Minderung als Dialog durch einen personenorientierten Moderator: Jenai-Moderator.

Mäßigung als Interaktion

Eine explizite Verzerrung erfordert häufig eine feste Korrektur, während implizite Verzerrungen von konstruktivem Suggestions profitieren. Durch das Auffrischen und nicht das Löschen fördert das System die Reflexion und das Lernen (9).

Equity, Ton und Design

Ton ist wichtig. Übermäßig harte Korrekturen riskieren Risiko, Benutzer zu entfremden; Übermäßig höfliche Warnungen riskieren, ignoriert zu werden. Dieses System variiert den Ton: Durchsetzungsfähig für explizite Verzerrungen, Bildung für implizite Verzerrungen (Abbildung 4, Tabelle 2). Dies entspricht der Forschung, die Equity zeigt, abhängig vom Kontext (10).

Skalierbarkeit und Integration

Das modulare Design unterstützt die API-basierte Integration mit Plattformen. Die integrierte Protokollierung ermöglicht Transparenz und Überprüfung, während die Optionen für Menschen in der Regel Sicherheitsvorkehrungen vor Überschreitungen gewährleisten.

Ethische und soziotechnische Überlegungen

Die Erkennung von Vorspannungen Risiken falsch positiv oder überpoliert marginalisierte Gruppen. Unser Ansatz mildert dies, indem wir persönliche Informationsdaten entfernen, demografische Etiketten vermeiden und überprüfbare Protokolle gespeichert werden. Dennoch ist die Aufsicht unerlässlich. Wie Mehrabi et al. (7) argumentieren, dass die Verzerrung niemals vollständig beseitigt wird, sondern ständig verwaltet werden muss.

Abschluss

Dieses Projekt zeigt, dass KI konstruktiv in On-line-Communities eingesetzt werden kann-nicht nur um Verzerrungen zu erkennen, sondern es auf eine Weise zu mildern, die die Dignität der Benutzer beibehält und das digitale Wohlbefinden fördert.

Schlüsselbeiträge:
-Architektur Twin-Pipeline (Roberta + Distilbert).
-Toneadaptive Minderungsmotor (CHATGPT).
-Persona-basierte Moderation (Jenai-Moderator).

Die Modelle erreichten nahezu perfekte F1-Werte (0,99). Noch wichtiger ist, dass die Reaktionen der Minderung genau und kontextempfindlich waren, was sie für den Einsatz praktisch machte.

Zukünftige Anweisungen:
– Benutzerstudien zur Bewertung des Empfangs.
– Pilotbereitstellungen zum Testen von Vertrauen und Engagement.
– Stärkung der Robustheit gegen Ausweichen (z. B. codierte Sprache).
– Erweiterung auf mehrsprachige Datensätze für die globale Equity.

In einer Zeit, in der KI oft als Hype oder Gefahr gegossen wird, zeigt dieses Projekt, wie es sozial vorteilhaft sein kann. Durch die Einbettung von Equity und Transparenz fördert es gesündere On-line -Räume, in denen sich die Menschen sicherer und respektiert fühlen.

Bilder, Tabellen und Abbildungen, die in diesem Bericht dargestellt wurden, wurden ausschließlich vom Autor erstellt.

Anerkennung

Dieses Projekt erfüllte die Anforderungen an Meilenstein II und Capstone für das Programm Grasp of Utilized Knowledge Science (MADS) an der College of Michigan Faculty of Data (UMSI). Das Poster des Projekts erhielt einen MADS -Preis bei der UMSI Exposition 2025 Poster Session. Dr. Laura Stagnaro diente als Mentor für Capstone Challenge, und Dr. Jinseok Kim diente als Meilenstein II -Projekt Mentor.

Über den Autor

Celia B. Banks ist ein Sozial- und Datenwissenschaftler, dessen Arbeit menschliche Systeme und angewandte Datenwissenschaft überbrückt. Ihre Doktorarbeit in Menschen- und Organisationssystemen untersuchte, wie sich Organisationen in virtuelle Umgebungen entwickeln und ihr breiteres Interesse an der Schnittstelle von Menschen, Technologie und Strukturen widerspiegeln. Dr. Banks lernt lebenslange Lernende und ihr aktueller Fokus baut auf dieser Stiftung durch angewandte Forschung in Datenwissenschaft und Analyse auf.

Referenzen

(1) C. Banks, Celia Banks Portfolio Repository: College of Michigan Faculty of Data Poster (2025) (on-line). Verfügbar: https://celiabbanks.github.io/ (Zugriff am 10. Mai 2025)

(2) A. Go, Twitter Sentiment Evaluation (2009), Entropie, P. 252

(3) Watchful1, 1 Milliarde Reddit-Kommentare von 2005-2019 (Datensatz) (2019), Drücken Sie durch das Auge. Verfügbar: https://github.com/watchful1/pushShiftdumps (Zugriff am 1. September 2024)

(4) Y. Liu, Roberta: Ein strong optimierter Bert -Vorab -Ansatz (2019), Arxiv Preprint Arxiv, P. 1907.116892

(5) V. Sanh, Distilbert, eine destillierte Model von Bert: kleiner, schneller, billiger und leichter (2019), Arxiv Preprint Arxiv, P. 1910.01108

(6) B. Zhang, mildern unerwünschte Verzerrungen mit kontroversem Lernen (2018), in AAAI/ACM -Konferenz über KI, Ethik und Gesellschaft, S. 335-340

(7) A. Mehrabi, eine Umfrage zu Voreingenommenheit und Equity im maschinellen Lernen (2021), in ACM Computing -Umfragen, vol. 54, nein. 6, S. 1-35

(8) R. Binns, Equity im maschinellen Lernen: Lehren aus der politischen Philosophie (2018), in PMLR -Konferenz über Equity, Rechenschaftspflicht und Transparenz, S. 149-159

. ACM-Transaktionen zur Pc-Human-Interaktion (TOCHI), vol. 26, nein. 5, S. 1-35, 2019

(10) N. Lee, P. Resnick und G. Barton, Algorithmische Verzerrungserkennung und -minderung: Greatest Practices und Richtlinien zur Reduzierung von Verbraucherschaden (2019) in Brookings InstituteWashington, DC

Jedes Jahr nehmen Tausende von Schülern Kurse, in denen sie beibringen, wie man künstliche Intelligenzmodelle bereitstellt, die Ärzten helfen können, Krankheiten zu diagnostizieren und geeignete Behandlungen zu bestimmen. Viele dieser Kurse lassen jedoch ein Schlüsselelement aus: Schulungen der Schüler, um Fehler in den Schulungsdaten zu erkennen, die zur Entwicklung der Modelle verwendet werden.

Leo Anthony Celi, leitender Forschungswissenschaftler am MIT Institute for Medical Engineering and Science, Arzt am Beth Israel Deaconess Medical Heart und Affiliate Professor an der Harvard Medical College, hat diese Mängel in einem dokumentiert Neues Papier und hofft, die Kurseentwickler davon zu überzeugen, die Schüler zu unterrichten, ihre Daten gründlicher zu bewerten, bevor sie in ihre Modelle einbezogen werden. Viele frühere Studien haben ergeben, dass Modelle, die hauptsächlich auf klinischen Daten von weißen Männern ausgebildet wurden, nicht intestine funktionieren, wenn sie auf Personen aus anderen Gruppen angewendet werden. Hier beschreibt Celi die Auswirkungen einer solchen Voreingenommenheit und wie Pädagogen sie in ihren Lehren über KI -Modelle ansprechen könnten.

Q: Wie kommt die Verzerrung in diese Datensätze und wie können diese Mängel angesprochen werden?

A: Alle Probleme in den Daten werden in jede Modellierung der Daten eingebunden. In der Vergangenheit haben wir Instrumente und Geräte beschrieben, die bei Personen nicht intestine funktionieren. Als Beispiel fanden wir das Pulsoximeter Überschätzen Sie den Sauerstoffgehalt für Farbigen, da nicht genügend Menschen mit Farben in den klinischen Studien der Geräte eingeschrieben waren. Wir erinnern unsere Schüler daran, dass medizinische Geräte und Geräte für gesunde junge Männer optimiert sind. Sie wurden nie für eine 80-jährige Frau mit Herzinsuffizienz optimiert, und dennoch verwenden wir sie für diese Zwecke. Und die FDA verlangt nicht, dass ein Gerät auf dieser vielfältigen Bevölkerung intestine funktioniert, auf der wir es verwenden werden. Alles, was sie brauchen, ist ein Beweis dafür, dass es bei gesunden Themen funktioniert.

Darüber hinaus ist das elektronische Gesundheitsaktensystem in keiner Kind als Bausteine ​​von AI verwendet. Diese Aufzeichnungen wurden nicht als Lernsystem ausgelegt, und aus diesem Grund müssen Sie sehr vorsichtig mit der Verwendung elektronischer Gesundheitsakten eingehen. Das elektronische Gesundheitsaktensystem ist ersetzt, aber das wird nicht so schnell wie möglich passieren, additionally müssen wir schlauer sein. Wir müssen kreativer sein, wenn wir die Daten verwenden, die wir jetzt haben, egal wie schlecht sie sind, beim Aufbau von Algorithmen.

Ein vielversprechender Weg, den wir untersuchen, ist die Entwicklung von a Transformatormodell von numerischen Daten der elektronischen Gesundheitsakten, einschließlich, aber nicht beschränkt auf Labortestergebnisse. Modellierung der zugrunde liegenden Beziehung zwischen den Labortests, den Vitalfunktionen und den Behandlungen können die Auswirkung fehlender Daten infolge sozialer Determinanten der Gesundheit und des impliziten Anbieters abschwächen.

Q: Warum ist es wichtig, dass Kurse in KI die Quellen potenzieller Verzerrungen abdecken? Was haben Sie gefunden, als Sie solche Kurse inhalt analysiert haben?

A: Unser Kurs am MIT begann im Jahr 2016, und irgendwann erkannten wir, dass wir Menschen dazu ermutigten, um Modelle zu erstellen, die zu einem statistischen Maß für die Modellleistung übernommen werden, obwohl die Daten, die wir verwenden, mit Problemen, die Menschen nicht kennen. Zu dieser Zeit haben wir uns gefragt: Wie häufig ist dieses Downside?

Unser Verdacht battle, dass, wenn Sie sich die Kurse ansehen, in denen der Lehrplan on-line verfügbar ist, oder die On-line -Kurse, dass keiner von ihnen nur stört, um den Schülern zu sagen, dass sie über die Daten paranoid sein sollten. Und als wir uns die verschiedenen On-line -Kurse angesehen haben, geht es darum, das Modell zu erstellen. Wie bauen Sie das Modell auf? Wie visualisieren Sie die Daten? Wir fanden heraus, dass von 11 Kursen, die wir überprüft haben, nur fünf Abschnitte zu Verzerrungen in Datensätzen enthielten, und nur zwei enthielten eine signifikante Erörterung der Verzerrung.

Trotzdem können wir den Wert dieser Kurse nicht abnehmen. Ich habe viele Geschichten gehört, in denen Menschen sich selbst studieren, die auf diesen On-line-Kursen beruhen, aber gleichzeitig müssen wir uns, angesichts der Einflussnahme, wie beeindruckend sie sind, wie wirkungsvoll sie sind, dass wir sie wirklich verdoppeln müssen, um die richtigen Fähigkeiten zu vermitteln, da immer mehr Menschen von diesem AI-Multiversum angezogen werden. Es ist wichtig, dass sich die Menschen wirklich mit der Agentur ausstatten, um mit KI arbeiten zu können. Wir hoffen, dass dieses Papier diese große Lücke in der Artwork und Weise, wie wir jetzt KI beibringen, unseren Schülern ins Rampenlicht gerückt werden.

Q: Welche Artwork von Inhalten sollten Kurseentwickler einbeziehen?

A: Eine, die ihnen am Anfang eine Checkliste mit Fragen geben. Woher kamen diese Daten? Wer waren die Beobachter? Wer waren die Ärzte und Krankenschwestern, die die Daten gesammelt haben? Und dann ein wenig über die Landschaft dieser Institutionen lernen. Wenn es sich um eine ICU -Datenbank handelt, müssen sie fragen, wer es auf die Intensivstation schafft und wer es nicht auf die Intensivstation schafft, da dies bereits eine Auswahlverzerrung der Stichproben einführt. Wenn alle Minderheitenpatienten nicht einmal auf die Intensivstation aufgenommen werden, weil sie die Intensivstation nicht rechtzeitig erreichen können, werden die Modelle nicht für sie funktionieren. Für mich sollten für mich 50 Prozent des Kursinhalts die Daten wirklich verstehen, wenn nicht sogar mehr, da die Modellierung selbst einfach ist, sobald Sie die Daten verstanden haben.

Seit 2014 organisiert das MIT Crucial Information Consortium weltweit Datathons (Daten „Hackathons“). Bei diesen Versammlungen treffen sich Ärzte, Krankenschwestern, andere Gesundheitsarbeiter und Datenwissenschaftler zusammen, um Datenbanken zu durchlaufen und zu versuchen, Gesundheit und Krankheit im lokalen Kontext zu untersuchen. Lehrbücher und Journalpapiere präsentieren Krankheiten, die auf Beobachtungen und Versuchen basieren, die eine enge Bevölkerungsgruppe betreffen, die typischerweise aus Ländern mit Forschungsressourcen betreffen.

Unser Hauptziel, was wir ihnen lehren wollen, sind kritische Denkfähigkeiten. Und die Hauptzutat für kritisches Denken besteht darin, Menschen mit unterschiedlichem Hintergrund zusammenzubringen.

Sie können kritisches Denken in einem Raum voller CEOs oder in einem Raum voller Ärzte unterrichten. Die Umgebung ist einfach nicht da. Wenn wir Datathons haben, müssen wir ihnen nicht einmal beibringen, wie Sie kritisch denken. Sobald Sie die richtige Mischung aus Menschen bringen – und es kommt nicht nur aus verschiedenen Hintergründen, sondern aus verschiedenen Generationen – müssen Sie ihnen nicht einmal sagen, wie man kritisch denke. Es passiert einfach. Die Umgebung ist richtig für diese Artwork von Denken. Wir sagen jetzt unseren Teilnehmern und unseren Schülern jetzt, bitte beginnen Sie, ein Modell zu erstellen, es sei denn, Sie verstehen wirklich, wie die Daten entstanden sind, welche Patienten es in die Datenbank geschafft haben, welche Geräte wurden verwendet, und sind diese Geräte für Einzelpersonen konsequent genau?

Wenn wir auf der ganzen Welt Veranstaltungen haben, ermutigen wir sie, nach lokalen Datensätzen zu suchen, damit sie related sind. Es gibt Widerstand, weil sie wissen, dass sie feststellen, wie schlimm ihre Datensätze sind. Wir sagen, dass das in Ordnung ist. So beheben Sie das. Wenn Sie nicht wissen, wie schlimm sie sind, werden Sie sie weiterhin auf sehr schlechte Weise sammeln und sie sind nutzlos. Sie müssen anerkennen, dass Sie es beim ersten Mal nicht richtig machen werden, und das ist vollkommen in Ordnung. Mimic (die medizinischen Informationen, die für die intensive Pflegedatenbank im Beth Israel Deaconess Medical Heart gekennzeichnet sind) dauerte ein Jahrzehnt, bis wir ein anständiges Schema hatten, und wir haben nur ein anständiges Schema, weil die Leute uns sagten, wie schlecht Mimic battle.

Wir haben vielleicht nicht die Antworten auf all diese Fragen, aber wir können etwas bei Menschen hervorrufen, das ihnen hilft, zu erkennen, dass es so viele Probleme in den Daten gibt. Ich bin immer begeistert, die Weblog -Beiträge von Leuten zu betrachten, die an einem Datathon teilgenommen haben, die sagen, dass sich ihre Welt verändert hat. Jetzt sind sie mehr über das Feld aufgeregt, weil sie das immense Potenzial erkennen, aber auch das immense Risiko eines Schadens, wenn sie dies nicht richtig tun.

Forscher der Beihang College und der Chinesischen Akademie der Wissenschaften haben das Cognitive Alignment Framework (CAF) eingeführt, einen neuen Ansatz zur Verbesserung der automatisierten Meta-Überprüfungsgenerierung unter Verwendung von großsprachigen Modellen (LLMs). Ihr Studium mit dem Titel „Überbrückung der Sozialpsychologie und LLM-Argumentation: Konfliktbewusstliche Meta-Overview-Era durch kognitive Ausrichtung“Befasst sich mit den wichtigsten Herausforderungen bei der wissenschaftlichen Überprüfung der wissenschaftlichen Peer, einschließlich kognitiver Verzerrungen wie dem Verankerungseffekt und der Konformitätsvoreingenommenheit.

Das Papier wurde von Wei Chen, Han Ding, Meng Yuan, Zhao Zhang, Deqing Wang und Fuzhen Zhuang verfasst. Die Forscher schlagen eine adaptive Architektur mit zwei Prozess vor, die auf Kahnemans Twin-Course of-Theorie basiert, die sowohl intuitive (schnelle) als auch beratende (langsame) Gedanken modelliert, um die Argumentation in akademischen Bewertungen mit hohen Einsätzen zu verbessern.

CAF führt eine strukturierte dreiphasige Pipeline ein-Überprüfen Sie die Initialisierung, inkrementelle Integration und die kognitive Ausrichtung-Vorurteile abschwächen und die Konsistenz und Equity von Meta-Evaluations verbessern. Die empirische Validierung zeigt, dass CAF bestehende LLM-basierte Ansätze übertrifft und das Gefühl erreicht Konsistenzgewinne von bis zu 19,47% und die Verbesserung der Inhaltskonsistenz um bis zu 12,95%.

Herausforderungen in der LLM-basierten Meta-Overview-Era

Bestehende Methoden für die Erzeugung von LLM-gesteuerten Meta-Überprüfungen leiden unter zwei Hauptkognitiven:

• Verankerungseffekt: LLMs belasten die ersten Überprüfungen überproportional und verstärken ihren Einfluss auf spätere Bewertungen. Experimente zeigen, dass LLMs einen Verankerungskoeffizienten von aufweisen 0,255im Vergleich zu 0,193 In menschlichen Peer -Rezensenten.
• Konformitätsverzerrung: LLMs tendieren dazu, sich auf Mehrheitsmeinungen auszurichten und Minderheitenansichtspunkte zu unterdrücken. Eine Konformitätskoeffizientenanalyse zeigt, dass GPT-3,5-Punkte 0,125weit unter dem Grundwert der menschlichen Rezensenten von 1.00was auf erhöhte Anfälligkeit für Pseudo-Konsens hinweist.

Cognitive Alignment Framework (CAF)

CAF führt eine strukturierte Dreiphase ein Kognitive Pipeline Um diese Vorurteile zu mildern und die Meta-Überprüfungssynthese zu verbessern:

1. Überprüfungsinitialisierungsphase:
   • Extrahiert wichtige Erkenntnisse aus einzelnen Bewertungen mit LLM-gesteuerter Zusammenfassung.
   • Stellen Sie sicher, dass die erste Informationsverarbeitung unvoreingenommen und repräsentativ für verschiedene Perspektiven ist.
2. Inkrementelle Integrationsphase:
   • Integriert die Bewertungen zunehmend und verhindert, dass frühe Prüfer die endgültige Bewertung dominieren.
   • Pflegt a KonfliktkarteVerfolgung von Inkonsistenzen und Widersprüchen zwischen Bewertungen.
3. Kognitive Ausrichtungsphase:
   • Geräte Zweiprozess-Argumentation:
     • Schnelles Denken Synthetisiert nicht konfliktierende Erkenntnisse.
     • Langsames Denken führt eine tiefere Analyse für hochkonflikte Entscheidungen durch, um eine faire Streitbeilegung zu gewährleisten.
   • Balden Heuristische Mustererkennung mit logische Bewertungwas zu einer strukturierteren und kohärenten Meta-Überprüfung führt.

---

KI lernt zu arbeiten wie Sie und es wird jeden Tag schneller

---

Empirische Validierung

Experimente wurden unter Verwendung der durchgeführt Peersum Datensatz, bestehend aus 14.993 Peer Evaluations von Neurips und ICLR -Konferenzen. Der CAF-Framework wurde anhand von vier hochmodernen Aufforderungsmethoden in mehreren LLM-Modellen bewertet, darunter GPT-3,5, GPT-4O, QWEN2.5-7B und LLAMA3-8B.

Schlüsselergebnisse:

• Stimmungskonsistenz verbessert sich um bis zu 19,47%Reduzierung der Verzerrungen im emotionalen Ton.
• Die Konsistenz der Inhalte stieg um 12,95%was zu logisch strukturierten Meta-Evaluations führt.
• Verankerungseffekt reduziert um 0,034Minderung der Überprüfung der ersten Bewertungen.
• Die Konformitätsverzerrung nahm signifikant abum eine faire Vertretung von Meinungen von Minderheiten zu gewährleisten.

In einer Fallstudie wurde die Fähigkeit des CAF hervorgehoben, Widersprüche in Peer -Evaluations zu erkennen, was zu fundierteren redaktionellen Entscheidungen führte. Während herkömmliche LLM-basierte Methoden Inkonsistenzen in Methodikkritik nicht erkannten, identifizierte und löste CAF diese Konflikte erfolgreich und verhinderte voreingenommene Empfehlungen für die Akzeptanz/Ablehnung.

CAF präsentiert einen robusten Ansatz zu Meta-Overview-Automatisierungeffektiv die Lücke zwischen LLM-Argumentation und menschlicher Entscheidungspsychologie überbrücken. Durch Integration Konfliktbewusstliche AnalyseEs erweitert die Funktionen von LLMs über die grundlegende Zusammenfassung hinaus, sodass sie als zuverlässig funktionieren können Wissenschaftliche Schiedsrichter.

Einschränkungen:

• Domänenspezifische Einschränkungen: Aktuelle Bewertungen beschränken sich auf die Forschung für maschinelles Lernen. Es sind umfassendere Checks über die Disziplinen hinweg erforderlich.
• Widerlegungseingänge: Zukünftige Iterationen sollten die Widerlegung der Autoren integrieren, um den Konsensaufbau weiter zu verfeinern.

---

Ausgewähltes Bildnachweis: Kerem Gülen/Midjourney

Modelle für maschinelles Lernen können scheitern, wenn sie versuchen, Vorhersagen für Personen zu treffen, die in den Datensätzen, mit denen sie trainiert wurden, unterrepräsentiert waren.

Beispielsweise kann ein Modell, das die beste Behandlungsoption für jemanden mit einer chronischen Krankheit vorhersagt, mithilfe eines Datensatzes trainiert werden, der hauptsächlich männliche Patienten enthält. Dieses Modell könnte beim Einsatz in einem Krankenhaus falsche Vorhersagen für weibliche Patienten treffen.

Um die Ergebnisse zu verbessern, können Ingenieure versuchen, den Trainingsdatensatz auszugleichen, indem sie Datenpunkte entfernen, bis alle Untergruppen gleichermaßen vertreten sind. Obwohl der Datensatzausgleich vielversprechend ist, erfordert er häufig das Entfernen großer Datenmengen, was die Gesamtleistung des Modells beeinträchtigt.

MIT-Forscher haben eine neue Technik entwickelt, die bestimmte Punkte in einem Trainingsdatensatz identifiziert und entfernt, die am meisten zum Scheitern eines Modells bei Minderheiten-Untergruppen beitragen. Durch das Entfernen weitaus weniger Datenpunkte als bei anderen Ansätzen behält diese Technik die Gesamtgenauigkeit des Modells bei und verbessert gleichzeitig seine Leistung in Bezug auf unterrepräsentierte Gruppen.

Darüber hinaus kann die Technik versteckte Verzerrungsquellen in einem Trainingsdatensatz identifizieren, dem es an Beschriftungen mangelt. Bei vielen Anwendungen kommen unbeschriftete Daten weitaus häufiger vor als beschriftete Daten.

Diese Methode könnte auch mit anderen Ansätzen kombiniert werden, um die Equity von Modellen des maschinellen Lernens zu verbessern, die in Situationen mit hohem Risiko eingesetzt werden. Beispielsweise könnte es eines Tages dazu beitragen, dass unterrepräsentierte Patienten nicht aufgrund eines voreingenommenen KI-Modells falsch diagnostiziert werden.

„Viele andere Algorithmen, die versuchen, dieses Drawback zu lösen, gehen davon aus, dass jeder Datenpunkt genauso wichtig ist wie jeder andere Datenpunkt. In diesem Artikel zeigen wir, dass die Annahme nicht wahr ist. Es gibt bestimmte Punkte in unserem Datensatz, die zu dieser Verzerrung beitragen, und wir können diese Datenpunkte finden, entfernen und eine bessere Leistung erzielen“, sagt Kimia Hamidieh, eine Doktorandin der Elektrotechnik und Informatik (EECS) am MIT and Co -Hauptautor von a Papier über diese Technik.

Sie verfasste die Arbeit zusammen mit den Co-Hauptautoren Saachi Jain PhD ’24 und ihrem EECS-Doktoranden Kristian Georgiev; Andrew Ilyas MEng ’18, PhD ’23, Stein Fellow an der Stanford College; und die leitenden Autoren Marzyeh Ghassemi, außerordentlicher Professor für EECS und Mitglied des Institute of Medical Engineering Sciences und des Laboratory for Data and Resolution Methods, und Aleksander Madry, Professor für Cadence Design Methods am MIT. Die Forschung wird auf der Konferenz über neuronale Informationsverarbeitungssysteme vorgestellt.

Schlechte Beispiele entfernen

Modelle für maschinelles Lernen werden häufig mithilfe riesiger Datensätze trainiert, die aus vielen Quellen im Web gesammelt wurden. Diese Datensätze sind viel zu groß, um sorgfältig von Hand kuratiert zu werden, sodass sie möglicherweise schlechte Beispiele enthalten, die die Modellleistung beeinträchtigen.

Wissenschaftler wissen auch, dass einige Datenpunkte die Leistung eines Modells bei bestimmten nachgelagerten Aufgaben stärker beeinflussen als andere.

Die MIT-Forscher kombinierten diese beiden Ideen zu einem Ansatz, der diese problematischen Datenpunkte identifiziert und entfernt. Sie versuchen, ein Drawback zu lösen, das als Worst-Group-Fehler bekannt ist und auftritt, wenn ein Modell bei Minderheiten-Untergruppen in einem Trainingsdatensatz eine unterdurchschnittliche Leistung erbringt.

Die neue Technik der Forscher basiert auf früheren Arbeiten, in denen sie eine Methode namens „ TRAKdas die wichtigsten Trainingsbeispiele für eine bestimmte Modellausgabe identifiziert.

Für diese neue Technik verwenden sie falsche Vorhersagen, die das Modell über Minderheitenuntergruppen gemacht hat, und ermitteln mithilfe von TRAK, welche Trainingsbeispiele am meisten zu dieser falschen Vorhersage beigetragen haben.

„Indem wir diese Informationen über schlechte Testvorhersagen auf die richtige Weise aggregieren, können wir die spezifischen Teile des Trainings finden, die insgesamt zu einer Verschlechterung der Genauigkeit der schlechtesten Gruppe führen“, erklärt Ilyas.

Anschließend entfernen sie diese spezifischen Stichproben und trainieren das Modell anhand der verbleibenden Daten neu.

Da mehr Daten in der Regel zu einer besseren Gesamtleistung führen, bleibt die Gesamtgenauigkeit des Modells erhalten, indem nur die Stichproben entfernt werden, die zu Ausfällen in der schlimmsten Gruppe führen, während gleichzeitig die Leistung bei Minderheitsuntergruppen gesteigert wird.

Ein zugänglicherer Ansatz

In drei Datensätzen zum maschinellen Lernen übertraf ihre Methode mehrere Techniken. In einem Fall steigerte es die Genauigkeit der schlechtesten Gruppe und entfernte gleichzeitig etwa 20.000 Trainingsstichproben weniger als eine herkömmliche Datenausgleichsmethode. Ihre Technik erreichte außerdem eine höhere Genauigkeit als Methoden, die Änderungen am Innenleben eines Modells erfordern.

Da die MIT-Methode stattdessen die Änderung eines Datensatzes beinhaltet, wäre sie für einen Praktiker einfacher zu verwenden und kann auf viele Arten von Modellen angewendet werden.

Es kann auch verwendet werden, wenn die Verzerrung unbekannt ist, da Untergruppen in einem Trainingsdatensatz nicht gekennzeichnet sind. Durch die Identifizierung der Datenpunkte, die am meisten zu einer Funktion beitragen, die das Modell lernt, können sie die Variablen verstehen, die es für eine Vorhersage verwendet.

„Dies ist ein Software, das jeder verwenden kann, wenn er ein Modell für maschinelles Lernen trainiert. Sie können sich diese Datenpunkte ansehen und sehen, ob sie mit der Fähigkeit übereinstimmen, die sie dem Modell beibringen möchten“, sagt Hamidieh.

Die Verwendung der Technik zur Erkennung unbekannter Subgruppen-Bias erfordert ein Gespür dafür, nach welchen Gruppen gesucht werden soll. Daher hoffen die Forscher, sie durch zukünftige Studien am Menschen zu validieren und umfassender zu erforschen.

Sie möchten außerdem die Leistung und Zuverlässigkeit ihrer Technik verbessern und sicherstellen, dass die Methode für Praktiker zugänglich und benutzerfreundlich ist, die sie eines Tages in realen Umgebungen einsetzen könnten.

„Wenn Sie über Instruments verfügen, mit denen Sie die Daten kritisch betrachten und herausfinden können, welche Datenpunkte zu Verzerrungen oder anderem unerwünschten Verhalten führen, ist das ein erster Schritt zur Erstellung von Modellen, die fairer und zuverlässiger sind.“ sagt Iljas.

Diese Arbeit wird zum Teil von der Nationwide Science Basis und der US Protection Superior Analysis Initiatives Company finanziert.