Stellen Sie sich vor, Sie und ein Freund spielen ein Spiel, bei dem Ihr Ziel darin besteht, sich gegenseitig geheime Nachrichten nur in kryptischen Sätzen zu übermitteln. Die Aufgabe Ihres Freundes besteht darin, die geheime Botschaft hinter Ihren Sätzen zu erraten. Manchmal gibst du Hinweise direkt, und manchmal muss dein Freund die Botschaft erraten, indem er Ja- oder Nein-Fragen zu den von dir gegebenen Hinweisen stellt. Die Herausforderung besteht darin, dass Sie beide sicherstellen möchten, dass Sie sich richtig verstehen und sich auf die geheime Botschaft einigen.
Forscher des MIT Laptop Science and Synthetic Intelligence Laboratory (CSAIL) haben ein ähnliches „Spiel“ entwickelt, um die Artwork und Weise zu verbessern, wie KI Textual content versteht und generiert. Es ist als „Konsensspiel“ bekannt und umfasst zwei Teile eines KI-Programs: Ein Teil versucht, Sätze zu generieren (z. B. Hinweise zu geben), und der andere Teil versucht, diese Sätze zu verstehen und zu bewerten (z. B. die geheime Botschaft zu erraten).
Die Forscher fanden heraus, dass sie durch die Behandlung dieser Interaktion als Spiel, bei dem beide Teile der KI nach bestimmten Regeln zusammenarbeiten, um sich auf die richtige Botschaft zu einigen, die Fähigkeit der KI, korrekte und kohärente Antworten auf Fragen zu geben, erheblich verbessern könnten. Sie testeten diesen neuen spielerischen Ansatz bei verschiedenen Aufgaben, etwa beim Leseverständnis, beim Lösen mathematischer Probleme und beim Führen von Gesprächen, und stellten fest, dass er der KI dabei half, auf ganzer Linie bessere Leistungen zu erbringen.
Traditionell antworten große Sprachmodelle auf zwei Arten: Sie generieren Antworten direkt aus dem Modell (generative Abfrage) oder verwenden das Modell, um eine Reihe vordefinierter Antworten zu bewerten (diskriminative Abfrage), was zu unterschiedlichen und manchmal inkompatiblen Ergebnissen führen kann. Mit dem generativen Ansatz „Wer ist der Präsident der Vereinigten Staaten?“ könnte eine einfache Antwort wie „Joe Biden“ ergeben. Eine diskriminierende Abfrage könnte diese Tatsache jedoch fälschlicherweise bestreiten, wenn dieselbe Antwort bewertet wird, beispielsweise „Barack Obama“.
Wie können wir additionally miteinander inkompatible Bewertungsverfahren in Einklang bringen, um kohärente, effiziente Vorhersagen zu erzielen?
„Stellen Sie sich eine neue Möglichkeit vor, Sprachmodellen wie ein Spiel dabei zu helfen, Textual content zu verstehen und zu generieren. Wir haben eine trainingsfreie, spieltheoretische Methode entwickelt, die den gesamten Prozess als ein komplexes Spiel aus Hinweisen und Signalen behandelt, bei dem ein Generator versucht, dies zu tun.“ „Senden Sie die richtige Nachricht an einen Diskriminator, indem Sie natürliche Sprache verwenden, sondern Wörter und Sätze“, sagt Athul Jacob, MIT-Doktorand in Elektrotechnik und Informatik und CSAIL-Companion. „Unsere Artwork, in diesem Spiel zu navigieren, besteht darin, die ‚ungefähren Gleichgewichte‘ zu finden, was zu einem neuen Dekodierungsalgorithmus namens ‚Gleichgewichtsrangfolge‘ führt.“ Es ist eine ziemlich spannende Demonstration, wie die Einbeziehung spieltheoretischer Strategien einige große Herausforderungen bewältigen kann, um Sprachmodelle zuverlässiger und konsistenter zu machen.“
Beim Testen in vielen Aufgabenbereichen wie Leseverständnis, vernünftigem Denken, Lösen mathematischer Probleme und Dialog verbesserte der Algorithmus des Groups die Leistung dieser Modelle kontinuierlich. Die Verwendung des ER-Algorithmus mit dem LLaMA-7B-Modell übertraf sogar die Ergebnisse viel größerer Modelle. „Angesichts der Tatsache, dass sie bereits konkurrenzfähig sind und die Leute schon seit einiger Zeit daran arbeiten, warfare es eine angenehme Überraschung, wie viel Verbesserungen wir sahen und ein zehnmal so großes Modell übertreffen konnten“, sagt Jacob.
Spiel weiter
„Diplomacy“, ein strategisches Brettspiel, das im Europa der Zeit vor dem Ersten Weltkrieg spielt und in dem Spieler Bündnisse aushandeln, Freunde verraten und Gebiete ohne den Einsatz von Würfeln erobern – und dabei ausschließlich auf Geschicklichkeit, Strategie und zwischenmenschliche Manipulation angewiesen sind –, erlebte vor Kurzem ein zweites Comeback . Im November 2022 entwickelten Informatiker, darunter Jacob, „Cicero“, einen KI-Agenten, der in dem gemischten Motivspiel für sieben Spieler Fähigkeiten auf menschlicher Ebene erreicht, die dieselben oben genannten Fähigkeiten erfordern, jedoch mit natürlicher Sprache. Die Mathematik dahinter inspirierte teilweise das Consensus Sport.
Obwohl die Geschichte der KI-Agenten lange vor dem Einzug der OpenAI-Software program in den Chat im November 2022 existiert, ist es intestine dokumentiert, dass sie immer noch als Ihr wohlmeinender, aber pathologischer Freund mitspielen können.
Das Konsensspielsystem erreicht als Vereinbarung ein Gleichgewicht und gewährleistet Genauigkeit und Treue zu den ursprünglichen Erkenntnissen des Modells. Um dies zu erreichen, passt die Methode iterativ die Interaktionen zwischen den generativen und diskriminativen Komponenten an, bis sie einen Konsens über eine Antwort erzielen, die die Realität genau widerspiegelt und mit ihren ursprünglichen Überzeugungen übereinstimmt. Dieser Ansatz überbrückt effektiv die Lücke zwischen den beiden Abfragemethoden.
In der Praxis bringt die Implementierung des Konsensspielansatzes zur Abfrage von Sprachmodellen, insbesondere für Frage-Antwort-Aufgaben, erhebliche rechnerische Herausforderungen mit sich. Wenn beispielsweise Datensätze wie MMLU verwendet werden, die Tausende von Fragen und A number of-Alternative-Antworten enthalten, muss das Modell den Mechanismus auf jede Abfrage anwenden. Dann muss für jede Frage und ihre möglichen Antworten ein Konsens zwischen der generativen und der diskriminierenden Komponente erzielt werden.
Das System hatte mit einem Grundschuldurchgangsrecht zu kämpfen: Mathe-Textaufgaben. Es konnten keine falschen Antworten generiert werden, was eine entscheidende Komponente für das Verständnis des Prozesses ist, die richtige Antwort zu finden.
„In den letzten Jahren gab es wirklich beeindruckende Fortschritte sowohl bei der strategischen Entscheidungsfindung als auch bei der Sprachgenerierung durch KI-Systeme, aber wir fangen gerade erst an, herauszufinden, wie wir beides zusammenbringen können. Das Gleichgewichtsranking ist ein erster Schritt in diese Richtung, aber ich denke, wir können noch viel tun, um es auf komplexere Probleme auszuweiten“, sagt Jacob.
Ein Weg zukünftiger Arbeit besteht darin, das Basismodell durch die Integration der Ergebnisse der aktuellen Methode zu verbessern. Dies ist besonders vielversprechend, da es zu sachlicheren und konsistenteren Antworten über verschiedene Aufgaben hinweg, einschließlich Faktizität und offener Generierung, führen kann. Das Potenzial einer solchen Methode, die Leistung des Basismodells erheblich zu verbessern, ist hoch, was zu zuverlässigeren und sachlicheren Ergebnissen von ChatGPT und ähnlichen Sprachmodellen führen könnte, die Menschen täglich verwenden.
„Obwohl moderne Sprachmodelle wie ChatGPT und Gemini dazu geführt haben, dass verschiedene Aufgaben über Chat-Schnittstellen gelöst werden können, ist der statistische Dekodierungsprozess, der aus solchen Modellen eine Antwort generiert, seit Jahrzehnten unverändert geblieben“, sagt Google-Forschungswissenschaftler Ahmad Beirami nicht an der Arbeit beteiligt. „Der Vorschlag der MIT-Forscher ist ein innovativer spieltheoretischer Rahmen für die Dekodierung von Sprachmodellen durch die Lösung des Gleichgewichts eines Konsensspiels. Die in der Forschungsarbeit berichteten erheblichen Leistungssteigerungen sind vielversprechend und öffnen die Tür für einen möglichen Paradigmenwechsel in der Sprache.“ Modelldekodierung, die eine Flut neuer Anwendungen befeuern könnte.“
Jacob verfasste das Papier zusammen mit dem MIT-IBM Watson Lab-Forscher Yikang Shen und den Assistenzprofessoren der Fakultät für Elektrotechnik und Informatik des MIT Gabriele Farina und Jacob Andreas, der ebenfalls CSAIL-Mitglied ist. Sie stellten ihre Arbeit Anfang des Monats auf der Worldwide Convention on Studying Representations (ICLR) vor, wo sie als „Highlight Paper“ hervorgehoben wurde. Die Forschung erhielt außerdem einen „Finest Paper Award“ beim NeurIPS R0-FoMo Workshop im Dezember 2023.