Der amerikanische Psychologe LL Thurstone schlug in seiner Arbeit „Ein Gesetz der vergleichenden Urteilskraft“ aus dem Jahr 1927 vor, dass Menschen, wenn sie eine Possibility aus mehreren Alternativen auswählen, diejenige auswählen, die für sie den höchsten Wert hat, auch wenn sie dieser Wahl keine bestimmte Zahl zuordnen können.
Thurstone warfare ein Pionier der „Psychometrie“ – einem Gebiet, das auf der Prämisse aufbaute, dass mentale Prozesse, die wir nicht sehen können, dennoch gemessen und quantifiziert werden können. Seine Arbeit aus dem Jahr 1927 legte den Grundstein für die sogenannten Zufallsgebrauchsmodelle, die einen mathematischen Rahmen zur Beschreibung menschlicher Präferenzen bieten – Informationen, auf die man sich wiederum verlassen kann, um Vorhersagen über verschiedene hypothetische Situationen zu treffen.
Zufällige Gebrauchsmuster (RUMs) werden so genannt, weil sie den „Nutzen“ oder Nutzen bewerten, der sich aus einer bestimmten Wahl ergeben kann – beispielsweise die Entscheidung, welches Buch aus dem Stapel Romane, den Sie aus der Bibliothek mitgebracht haben, zuerst gelesen werden soll. „Diese Modelle sind von Natur aus zufällig“, erklärt Gabriele Farina, Assistenzprofessorin am Division of Electrical Engineering and Laptop Science (EECS) des MIT und Hauptforscherin am Laboratory for Info and Determination Programs (LIDS), „weil Menschen unterschiedlich sind. Jeder hat seine eigenen Vorlieben, und selbst diese Vorlieben können von Zeit zu Zeit variieren.“ Beispielsweise kann jemand, der morgens normalerweise Kaffee statt Tee trinkt und nach dem Abendessen lieber Tee trinkt, diese Reihenfolge gelegentlich völlig durcheinander bringen.
Natürlich werden RUMs in der Regierung und in der Industrie häufig in Situationen verwendet, die weitaus schwerwiegender sind als die Auswahl eines heißen (oder eisgekühlten) Getränks. Die Modelle ermöglichen routinemäßig Vorhersagen darüber, was Menschen in sogenannten kontrafaktischen („Was-wäre-wenn“)-Szenarien tun werden, wie zum Beispiel: Wie kommen sie zur Arbeit oder zur Schule, wenn eine Hauptverkehrsstraße wegen Bauarbeiten gesperrt wird? Welche Routen und Transportmittel werden sie nutzen? Oder wenn eine Stadt plötzlich einen Glücksfall von 20 Millionen US-Greenback erhält, wie sollten diese Mittel dann ausgezahlt werden, um das Gemeinwohl zu maximieren?
Wenn man bedenkt, dass RUMs schon seit quick 100 Jahren bei uns sind und im Laufe der Zeit immer ausgefeilter geworden sind, könnte man annehmen, dass es zu diesem Zeitpunkt kaum Raum für Verbesserungen gibt. Das ist jedoch nicht der Fall.
A Papier Die im April auf der Worldwide Convention on Studying Representations in Rio de Janeiro (Brasilien) vorgestellte Studie deckte grundlegende Fakten auf, die zeigen, dass aus diesen Modellen viel mehr herausgefunden werden kann, als traditionell angenommen wurde. Der Artikel wurde von Yeshwanth Cherapanamjeri verfasst, einem ehemaligen MIT-Postdoc, der jetzt an der Nanyang Technological College in Singapur arbeitet; Farina, ebenfalls Kerndozentin am Operations Analysis Heart (ORC) des MIT; Constantinos Daskalakis, Avanessians-Professor für Informatik am MIT und Mitglied des MIT-Labors für Informatik und künstliche Intelligenz; und Sobhan Mohammadpour, ein MIT-Doktorand in Informatik mit Sitz am LIDS und EECS.
Die Ergebnisse der Gruppe sind teilweise auf einen Mangel in der Artwork und Weise zurückzuführen, wie RUMs in der Praxis üblicherweise geschätzt werden, der seit den Tagen von Thurstone besteht. Die Daten, auf denen die Modelle geschätzt werden, stammen größtenteils aus sogenannten paarweisen Vergleichen: Welches würden Sie bei der Wahl zwischen den Elementen A und B wählen – ob es sich dabei um Filme auf Netflix, Konkurrenzprodukte auf Amazon.com, auf Google veröffentlichte Nachrichten usw. handelt? Ein Grund dafür, dass dieser Ansatz so weit verbreitet ist, erklärt Daskalakis, ist, dass „es sehr schwierig ist, dem Nutzen, den man aus einem einzelnen Component zieht, eine präzise numerische Bewertung wie etwa 4,37 zuzuordnen. Zwei Dinge zu vergleichen und zu entscheiden, was einem besser gefällt, ist dagegen kognitiv viel einfacher.“ Aber darin liegt der Haken, fügt er hinzu. „Bei dieser Artwork der Beurteilung der Vorlieben von Menschen, bei der nur zwei Dinge gleichzeitig betrachtet werden, ist es unmöglich, Korrelationen zwischen den zahlreichen Auswahlmöglichkeiten zu finden.“
Die Standardmethode zur Anwendung von RUMs geht davon aus, dass die von A und B abgeleiteten Dienstprogramme unabhängig sind, sie können jedoch tatsächlich verknüpft sein, und das wäre wichtig zu wissen. Wenn jemand, der sich für ein Wahlamt bewirbt, herausfindet, dass ein potenzieller Wähler beispielsweise Waffenkontrolle befürwortet, besteht eine begründete Probability, dass dieselbe Individual auch eine staatlich geförderte Kinderbetreuung befürwortet. Ebenso magazine ein Fan von Impartial-Filmen eine Vorliebe für ausländische Filme haben, aber weniger begeistert von Hollywood-Motion-Blockbustern. „Wenn eine digitale Plattform die Existenz solcher Korrelationen ignoriert, kann sie Präferenzen nicht sehr genau einschätzen“, stellt Daskalakis fest. „Und wenn Netflix Ihnen regelmäßig eine Auswahl an Filmen zeigt, die Sie nicht interessieren, könnten Sie sich abmelden und Ihr Abonnement kündigen.“
Das MIT-Staff hat bewiesen, dass es unmöglich ist, allein aus Zwei-Wege-Vergleichen Informationen über Korrelationen zu erhalten. Korrelationen lassen sich jedoch erkennen, wenn viele Menschen drei Alternativen in der Reihenfolge ihrer Präferenz bewerten. Die gleichen Informationen können auch aus einer Kombination von Finest-of-Three- und Finest-of-Two-Auswahlmöglichkeiten gewonnen werden. In der Praxis, erklärt Mohammadpour, „würden Sie eine Gruppe von Leuten dazu bringen, drei Elemente zu bewerten. Anschließend könnten Sie die von uns entwickelte Methode nutzen, um diese einzelnen Ergebnisse in einem großen Modell zusammenzuführen, das uns ein Gesamtbild liefern kann.“
Laut Farina konzentrieren sich ihre Forschungsbemühungen auf die rechnerische Seite von RUMs, indem sie Algorithmen entwickeln, die Präferenzinformationen extrahieren und herausfinden können, wie viele Daten dafür erforderlich sind oder, was gleichbedeutend ist, wie viele Experimente durchgeführt werden müssen. Die gute Nachricht sei, sagt er, dass für diesen Zweck tatsächlich effiziente Algorithmen möglich seien. Die erforderliche Anzahl von Experimenten wächst nicht exponentiell mit der Anzahl der Elemente im Katalog oder in der Datenbank, die überprüft werden.
„Dieses Papier stellt einen entscheidenden Durchbruch dar“, kommentiert Emma Frejinger, Informatikerin an der Universität Montreal. „Es beweist mathematisch, warum die herkömmliche Datenerfassung fehlschlägt, und zeigt, dass die einfache Befragung der Benutzer nach ihren besten drei (Auswahlmöglichkeiten) die Fähigkeit freischaltet, diese leistungsstarken Modelle genau zu trainieren. Diese Erkenntnis bietet einen äußerst praktischen Fahrplan für die Erfassung besserer Daten, um genauere Optimierungen voranzutreiben.“
„Der Bau von Gebrauchsmustern wird ein sehr aktiver Bereich bleiben“, betont Daskalakis. „So wie RUMs seit den späten 1990er Jahren für die Internetwirtschaft von entscheidender Bedeutung waren, sind und bleiben sie auch in Zukunft für die Ausrichtung der KI-Modelle von entscheidender Bedeutung.“ Noch wichtiger ist, fügt er hinzu: „RUMs spielen eine zentrale Rolle für die kommerzielle Durchführbarkeit und Nützlichkeit großer Sprachmodelle (LLMs).“ Während der Schulungsphase werden die Teilnehmer in der Regel gebeten, die verschiedenen Kandidatenergebnisse dieser LLMs in eine Rangfolge zu bringen, wodurch die Modelle einen besseren Eindruck davon gewinnen können, welche Artwork von Textual content – in Bezug auf Ton, Stil und Inhalt – bevorzugt wird.
Angesichts der Tatsache, dass wir ständig „mit einem riesigen Meer an Optionen in so vielen verschiedenen Bereichen überlastet sind“, sagt Daskalakis, „kann man die Leute unmöglich bitten, alle ihre persönlichen Vorlieben für alle möglichen Szenarien mitzuteilen. Stattdessen können Sie ein Modell erstellen, das vorhersagt, was die Leute über die verschiedenen möglichen Ergebnisse denken. Und Sie müssen Ihr Modell in einem iterativen Prozess so lange verbessern und aktualisieren, bis Sie hoffentlich gute Vorhersagen treffen können.“