Große Sprachmodelle (LLMs) werden als Werkzeuge propagiert, die den Zugang zu Informationen weltweit demokratisieren und Wissen in einer benutzerfreundlichen Oberfläche bereitstellen könnten, unabhängig von der Herkunft oder dem Standort einer Individual. Neue Forschungsergebnisse des Heart for Constructive Communication (CCC) des MIT deuten jedoch darauf hin, dass diese Systeme der künstlichen Intelligenz für genau die Benutzer, die am meisten von ihnen profitieren könnten, möglicherweise tatsächlich eine schlechtere Leistung erbringen.
Eine von Forschern des CCC, das am MIT Media Lab angesiedelt ist, durchgeführte Studie ergab, dass hochmoderne KI-Chatbots – darunter GPT-4 von OpenAI, Claude 3 Opus von Anthropic und Llama 3 von Meta – manchmal weniger genaue und weniger wahrheitsgemäße Antworten für Benutzer liefern, die über geringere Englischkenntnisse, eine geringere formale Bildung oder einen Ursprung außerhalb der Vereinigten Staaten verfügen. Die Fashions weigern sich auch, Fragen dieser Nutzer häufiger zu beantworten, und antworten in einigen Fällen mit herablassender oder herablassender Sprache.
„Uns motivierte die Aussicht, dass LLMs dazu beitragen könnten, die ungleiche Zugänglichkeit von Informationen weltweit anzugehen“, sagt Hauptautorin Elinor Poole-Dayan SM ’25, eine technische Mitarbeiterin an der MIT Sloan College of Administration, die die Forschung als CCC-Partnerin und Masterstudentin in Medienkunst und -wissenschaften leitete. „Aber diese Imaginative and prescient kann nicht Wirklichkeit werden, ohne sicherzustellen, dass Modellvorurteile und schädliche Tendenzen für alle Benutzer sicher gemildert werden, unabhängig von Sprache, Nationalität oder anderen demografischen Merkmalen.“
Ein Artikel, der die Arbeit beschreibt: „Die gezielte Minderleistung von LLM wirkt sich unverhältnismäßig stark auf gefährdete Benutzer aus„wurde im Januar auf der AAAI-Konferenz zu künstlicher Intelligenz vorgestellt.
Systematische Minderleistung in mehreren Dimensionen
Für diese Forschung testete das Staff, wie die drei LLMs auf Fragen aus zwei Datensätzen reagierten: TruthfulQA und SciQ. TruthfulQA soll den Wahrheitsgehalt eines Modells messen (indem es sich auf häufige Missverständnisse und wörtliche Wahrheiten über die reale Welt stützt), während SciQ wissenschaftliche Prüfungsfragen enthält, die die sachliche Richtigkeit prüfen. Die Forscher fügten jeder Frage kurze Benutzerbiografien hinzu und variierten dabei drei Merkmale: Bildungsniveau, Englischkenntnisse und Herkunftsland.
Bei allen drei Modellen und beiden Datensätzen stellten die Forscher deutliche Einbußen bei der Genauigkeit fest, wenn Fragen von Benutzern kamen, die angeblich über eine geringere formale Bildung verfügten oder keine englischen Muttersprachler waren. Die Auswirkungen waren bei Nutzern am Schnittpunkt dieser Kategorien am ausgeprägtesten: Bei Nutzern mit geringerer formaler Bildung, die zudem kein Englisch als Muttersprache hatten, kam es zu den größten Rückgängen in der Antwortqualität.
Die Studie untersuchte auch, wie sich das Herkunftsland auf die Modellleistung auswirkte. Beim Testen von Benutzern aus den USA, dem Iran und China mit gleichwertigem Bildungshintergrund stellten die Forscher fest, dass insbesondere Claude 3 Opus für Benutzer aus dem Iran in beiden Datensätzen deutlich schlechter abgeschnitten hat.
„Wir sehen den größten Rückgang der Genauigkeit bei Benutzern, die kein Englisch als Muttersprache sprechen und weniger gebildet sind“, sagt Jad Kabbara, Forschungswissenschaftler am CCC und Mitautor des Artikels. „Diese Ergebnisse zeigen, dass sich die negativen Auswirkungen des Modellverhaltens in Bezug auf diese Benutzermerkmale in besorgniserregender Weise verstärken, was darauf hindeutet, dass solche Modelle, die in großem Maßstab eingesetzt werden, das Risiko bergen, schädliches Verhalten oder Fehlinformationen an diejenigen zu verbreiten, die es am wenigsten erkennen können.“
Ablehnungen und herablassende Sprache
Am auffälligsten waren vielleicht die Unterschiede darin, wie oft sich die Modelle weigerten, Fragen überhaupt zu beantworten. Beispielsweise weigerte sich Claude 3 Opus, quick 11 Prozent der Fragen für weniger gebildete, nicht englischsprachige Benutzer zu beantworten – im Vergleich zu nur 3,6 Prozent bei der Kontrollbedingung ohne Benutzerbiografie.
Als die Forscher diese Ablehnungen manuell analysierten, stellten sie fest, dass Claude bei weniger gebildeten Benutzern in 43,7 Prozent der Fälle mit herablassender, herablassender oder spöttischer Sprache reagierte, verglichen mit weniger als 1 Prozent bei hochgebildeten Benutzern. In einigen Fällen ahmte das Mannequin gebrochenes Englisch nach oder übernahm einen übertriebenen Dialekt.
Das Modell weigerte sich auch, Informationen zu bestimmten Themen speziell für weniger gebildete Benutzer aus dem Iran oder Russland bereitzustellen, einschließlich Fragen zu Atomkraft, Anatomie und historischen Ereignissen – obwohl es dieselben Fragen für andere Benutzer korrekt beantwortete.
„Dies ist ein weiterer Indikator dafür, dass der Alignment-Prozess Modelle dazu veranlassen könnte, bestimmten Benutzern Informationen vorzuenthalten, um sie möglicherweise nicht falsch zu informieren, obwohl das Modell eindeutig die richtige Antwort kennt und sie anderen Benutzern zur Verfügung stellt“, sagt Kabbara.
Echos menschlicher Voreingenommenheit
Die Ergebnisse spiegeln dokumentierte Muster menschlicher soziokognitiver Voreingenommenheit wider. Untersuchungen in den Sozialwissenschaften haben gezeigt, dass englische Muttersprachler Nicht-Muttersprachler oft als weniger gebildet, clever und kompetent wahrnehmen, unabhängig von ihrem tatsächlichen Fachwissen. Ähnliche voreingenommene Wahrnehmungen wurden bei Lehrern dokumentiert, die nicht englischsprachige Schüler beurteilen.
„Der Wert großer Sprachmodelle zeigt sich in ihrer außergewöhnlichen Akzeptanz durch Einzelpersonen und den enormen Investitionen, die in die Technologie fließen“, sagt Deb Roy, Professorin für Medienkunst und -wissenschaften, CCC-Direktorin und Mitautorin des Papiers. „Diese Studie ist eine Erinnerung daran, wie wichtig es ist, systematische Vorurteile kontinuierlich zu bewerten, die sich nonetheless und leise in diese Systeme einschleichen und bestimmten Gruppen unfairen Schaden zufügen können, ohne dass einer von uns sich dessen völlig bewusst ist.“
Die Auswirkungen sind besonders besorgniserregend, da Personalisierungsfunktionen – wie ChatGPTs Reminiscence, das Benutzerinformationen über Konversationen hinweg verfolgt – immer häufiger eingesetzt werden. Solche Merkmale bergen die Gefahr, dass bereits marginalisierte Gruppen unterschiedlich behandelt werden.
„LLMs wurden als Instrumente vermarktet, die einen gerechteren Zugang zu Informationen fördern und personalisiertes Lernen revolutionieren werden“, sagt Poole-Dayan. „Aber unsere Ergebnisse deuten darauf hin, dass sie tatsächlich bestehende Ungerechtigkeiten verschärfen könnten, indem sie systematisch Fehlinformationen bereitstellen oder bestimmten Benutzern die Beantwortung von Anfragen verweigern. Die Personen, die sich möglicherweise am meisten auf diese Instruments verlassen, könnten minderwertige, falsche oder sogar schädliche Informationen erhalten.“