Millionen von Menschen entwerfen jetzt ihre eigenen personalisierten künstlichen Intelligenzbegleiter, doch die meisten haben keine Ahnung, wie sich diese Kreationen tatsächlich verhalten werden. In einem neues PapierPat Pataranutaporn, Assistenzprofessor am MIT Media Lab, und seine Doktoranden Anthony Baez und Sheer Karny stellen „Neuronale Transparenz“ vor, ein Instrument, das alltäglichen Benutzern einen Einblick in das neuronale Netzwerk einer KI ermöglicht, bevor ihr Chatbot jemals ein Wort sagt. Die Arbeit wird diese Woche auf der ACM Convention on Clever Person Interfaces vorgestellt.
In diesem Interview erklärt Pataranutaporn, CD-Professor für Medienkunst und -wissenschaften der Asahi Broadcasting Company, was sie herausgefunden haben, warum mehr auf dem Spiel steht, als den meisten Nutzern bewusst ist, und wie wirklich transparente KI in der Zukunft aussehen könnte.
Q: Ihr Artikel stellt „neuronale Transparenz“ vor, eine Möglichkeit, alltäglichen Benutzern einen Blick in die neuronalen Netzwerke einer KI zu ermöglichen, bevor ihr Chatbot jemals ein Wort sagt. Können Sie beschreiben, wie das tatsächlich funktioniert und warum Sie sich auf den Design-Second konzentriert haben, anstatt Probleme zu erkennen, nachdem ein Chatbot bereits im Umlauf ist?
A: Millionen von Menschen erstellen jetzt personalisierte KI-Chatbots und Agenten, die auf großen Sprachmodellen basieren, und machen sie durch einfache Textaufforderungen zu Mitarbeitern, Tutoren, Coaches, kreativen Partnern und Begleitern. Doch die meisten Menschen haben kaum eine Vorstellung davon, wie diese Aufforderungen das Verhalten der KI beeinflussen werden, bis sie beginnen, mit ihr zu interagieren. Das wollten wir ändern.
„Neuronale Transparenz“ bedeutet, den Menschen so etwas wie einen Gehirnscan für KI zu ermöglichen. Nicht weil KI ein menschliches Gehirn hat, sondern weil ihr neuronales Netzwerk interne Muster enthält, die Hinweise auf ihr Verhalten geben können, bevor sie spricht. In dieser Arbeit haben meine Studenten Anthony Baez, Sheer Karny und ich Erkenntnisse aus den Bereichen Mensch-KI-Interaktion und mechanistische Interpretierbarkeit kombiniert, um diese verborgenen Muster alltäglichen Benutzern zugänglich zu machen.
Die Grundidee ist einfach. Zuerst wählen wir Verhaltensweisen aus, die uns wichtig sind, wie etwa Empathie, Ehrlichkeit, Toxizität, Halluzination oder Speichelleckerei. Dann vergleichen wir die internen Aktivierungen des Modells, wenn es dazu aufgefordert wird, ein Merkmal mit dem Gegenteil zu zeigen. Dieser Unterschied wird zu einer Artwork „Verhaltensrichtung“ innerhalb des Modells. Wenn ein Benutzer eine benutzerdefinierte Systemaufforderung schreibt – die Anweisungen, die die Persönlichkeit seines Chatbots formen, bevor ein Gespräch beginnt – projizieren wir die internen Aktivierungen des Modells auf diese Anweisungen und übersetzen die Ergebnisse in eine intuitive Visualisierung. In unserem Fall handelt es sich um ein Sunburst-Diagramm, das eine Vorschau der wahrscheinlichen Persönlichkeitsmerkmale des Chatbots anzeigt, bevor der Benutzer mit ihm zu chatten beginnt.
Wir haben uns auf den Design-Second konzentriert, weil dort Prävention möglich ist. Heutzutage entdecken Menschen Probleme oft erst, nachdem sich der Chatbot bereits unbeabsichtigt verhalten hat. Unser Ziel struggle es, von der reaktiven Korrektur zum vorausschauenden Design überzugehen, indem wir Menschen dabei helfen, potenzielle Risiken zu erkennen, während sie noch an der Gestaltung der KI arbeiten.
Q: Ihre Studie hat etwas ziemlich Auffälliges ergeben: Menschen beurteilen das Verhalten ihrer personalisierten KI immer wieder falsch, überschätzen die guten Eigenschaften und unterschätzen potenziell schädliche Eigenschaften wie Speichelleckerei. Was sagt uns das über die Risiken, die damit verbunden sind, wie Millionen von Menschen derzeit KI-Begleiter entwickeln, und warum ist dieser blinde Fleck so schwer zu schließen?
A: Ich scherze oft, dass es für uns viel einfacher wäre, zu wissen, was zu tun ist, wenn die KI wie der Terminator auftauchen würde. Die eigentliche Herausforderung besteht darin, dass KI oft als herzlicher Freund, Coach, Tutor oder Begleiter auftritt. Das macht es schwierig zu erkennen, wenn etwas schief läuft.
Unsere Studie legt nahe, dass Menschen bei der Entwicklung personalisierter KI einen blinden Fleck haben. Menschen denken oft, sie wüssten, wie sich ihr Chatbot verhalten wird, aber in unserer Studie haben sie seine Persönlichkeit anhand von 11 der 15 von uns gemessenen Merkmale falsch vorhergesagt. Dies unterstreicht den Bedarf an Instruments, die den Menschen helfen, KI besser zu verstehen, bevor sie sie nutzen.
Dies ist wichtig, da einige Verhaltensweisen, die sich im Second hilfreich anfühlen, mit der Zeit möglicherweise nicht mehr gesund sind. In früheren Untersuchungen haben wir Fälle von dokumentiert psychischer Schaden im Zusammenhang mit Interaktionen mit KI-Chatbots. Ein LLM (großes Sprachmodell), das Ihre Meinungen ständig bestätigt oder Ihr Denken niemals in Frage stellt, kann schädliche Entscheidungen, ungesunde Überzeugungen oder emotionale Abhängigkeit verstärken. Die Psychologie hat seit langem gezeigt, dass Menschen von Natur aus zu Affirmationen hingezogen werden. Daher ist die Entwicklung von KI nicht nur eine technische, sondern auch eine psychologische Herausforderung.
Das tiefere Downside besteht darin, dass die heutigen KI-Systeme weitgehend Black Packing containers bleiben: Selbst Experten können nicht immer vorhersagen, wie eine Systemaufforderung das Verhalten einer KI über einen längeren Zeitraum beeinflussen wird. Da KI-Begleiter Teil des Alltags werden, benötigen wir Instruments, die den Menschen helfen, zu verstehen, was sie bauen, bevor sie mit der Nutzung beginnen. KI sollte unterstützend sein, ohne blind zu sein, personalisiert, ohne manipulativ zu werden, und clear genug sein, damit Menschen fundierte Entscheidungen treffen können.
Q: Eine Ihrer interessantesten Erkenntnisse ist, dass die Visualisierung das Vertrauen der Benutzer deutlich steigerte, aber nicht wirklich die Artwork und Weise veränderte, wie die Leute ihre Chatbots gestalteten. Was ist nötig, um diese Lücke zu schließen, und wo sehen Sie die Entwicklung von Instruments wie diesem, wenn KI-Begleiter immer stärker in den Alltag der Menschen integriert werden?
A: Ich denke tatsächlich, dass dies eines der interessantesten Ergebnisse des Papiers ist, weil es zeigt, dass Transparenz allein nicht ausreicht. Die Menschen schätzten den Einblick in das Modell und berichteten von größerem Vertrauen in das System, aber die bloße Präsentation von Informationen änderte nicht grundlegend die Artwork und Weise, wie sie ihre KI-Begleiter gestalteten.
In unserer Nachfolgearbeit, die sich derzeit befindet als Vorabdruck erhältlichWir untersuchen, wie sich die interne neuronale Repräsentation eines Modells im Verlauf eines Gesprächs mit mehreren Runden ändert, anstatt von der ersten Eingabeaufforderung an unverändert zu bleiben. Wir sehen bereits vielversprechende Ergebnisse. Durch die Visualisierung, wie sich diese internen Darstellungen im Laufe der Zeit verändern, können Menschen Veränderungen im KI-Verhalten deutlich besser erkennen und antizipieren und neigen weniger dazu, sich in ihrem Verständnis des Chatbots zu sicher zu fühlen. KI-Begleiter sind dynamische Systeme, die sich weiterentwickeln, während sie mit uns interagieren. Daher ist das Verständnis dieser internen Veränderungen ein wichtiger nächster Schritt. Dennoch handelt es sich hier um ein noch sehr junges Forschungsgebiet.
Mit Blick auf die Zukunft glaube ich, dass diese Artwork von Transparenzinstrumenten ebenso alltäglich werden könnte wie Nährwertkennzeichnungen für Lebensmittel. Da KI immer stärker in die Bildung, das Gesundheitswesen, die Arbeit und persönliche Beziehungen eingebunden wird, sollten die Menschen nicht nur verstehen können, was eine KI leisten kann, sondern auch, wie sie ihr Denken, ihre Gefühle und ihr Verhalten beeinflussen kann. Diese Artwork von Transparenz ist unerlässlich, wenn wir wollen, dass KI den Menschen wirklich dabei hilft, sich zu entfalten.