KI-Systeme werden zunehmend in sicherheitskritischen Situationen im Gesundheitswesen eingesetzt. Dennoch halluzinieren diese Modelle manchmal falsche Informationen, machen voreingenommene Vorhersagen oder scheitern aus unerwarteten Gründen, was schwerwiegende Folgen für Patienten und Ärzte haben könnte.
In einem Kommentarartikel heute veröffentlicht in NaturinformatikMarzyeh Ghassemi, Affiliate Professor am MIT, und Elaine Nsoesie, Affiliate Professor an der Boston College, argumentieren, dass KI-Systeme zur Minderung dieser potenziellen Schäden mit Etiketten für den verantwortungsvollen Gebrauch versehen sein sollten, ähnlich den von der US-amerikanischen Meals and Drug Administration vorgeschriebenen Etiketten auf verschreibungspflichtigen Medikamenten.
MIT-Nachrichten sprach mit Ghassemi über die Notwendigkeit solcher Etiketten, die Informationen, die sie vermitteln sollten, und wie Kennzeichnungsverfahren umgesetzt werden könnten.
Q: Warum brauchen wir Kennzeichnungen für den verantwortungsvollen Einsatz von KI-Systemen im Gesundheitswesen?
A: Im Gesundheitsbereich haben wir eine interessante State of affairs, in der Ärzte häufig auf Technologien oder Behandlungen angewiesen sind, die nicht vollständig verstanden sind. Manchmal ist dieser Mangel an Verständnis grundlegend – zum Beispiel über den Mechanismus hinter Paracetamol –, aber manchmal ist es auch nur eine Grenze der Spezialisierung. Wir erwarten beispielsweise nicht, dass Ärzte wissen, wie man ein MRT-Gerät wartet. Stattdessen verfügen wir über Zertifizierungssysteme der FDA oder anderer Bundesbehörden, die die Verwendung eines medizinischen Geräts oder Arzneimittels in einem bestimmten Umfeld zertifizieren.
Wichtig ist, dass für medizinische Geräte auch Wartungsverträge gelten – ein Techniker des Herstellers repariert Ihr MRT-Gerät, wenn es falsch kalibriert ist. Für zugelassene Medikamente gibt es Überwachungs- und Meldesysteme nach dem Inverkehrbringen, damit unerwünschte Wirkungen oder Ereignisse berücksichtigt werden können, beispielsweise wenn bei vielen Menschen, die ein Medikament einnehmen, eine Krankheit oder Allergie zu entwickeln scheint.
Modelle und Algorithmen, unabhängig davon, ob sie KI integrieren oder nicht, umgehen einen Großteil dieser Genehmigungs- und Langzeitüberwachungsprozesse, und das ist etwas, vor dem wir auf der Hut sein müssen. Viele frühere Studien haben gezeigt, dass Vorhersagemodelle einer sorgfältigeren Bewertung und Überwachung bedürfen. Insbesondere bei neuerer generativer KI zitieren wir Arbeiten, die gezeigt haben, dass die Generierung nicht garantiert angemessen, sturdy oder unvoreingenommen ist. Da wir nicht über den gleichen Grad an Überwachung von Modellvorhersagen oder -generierung verfügen, wäre es noch schwieriger, die problematischen Reaktionen eines Modells zu erfassen. Die derzeit von Krankenhäusern verwendeten generativen Modelle könnten verzerrt sein. Die Verwendung von Etiketten ist eine Möglichkeit, um sicherzustellen, dass Modelle keine Vorurteile automatisieren, die von menschlichen Praktikern gelernt wurden, oder falsch kalibrierte Bewertungen der klinischen Entscheidungsunterstützung aus der Vergangenheit.
Q: Ihr Artikel beschreibt mehrere Komponenten eines Etiketts zur verantwortungsvollen Verwendung von KI, das dem FDA-Ansatz zur Erstellung von Rezeptetiketten folgt, einschließlich zugelassener Verwendung, Inhaltsstoffe, potenzieller Nebenwirkungen usw. Welche Kerninformationen sollten diese Etiketten vermitteln?
A: Die Dinge, die ein Etikett deutlich machen sollte, sind Zeit, Ort und Artwork der beabsichtigten Verwendung eines Modells. Beispielsweise sollte der Benutzer wissen, dass Modelle zu einem bestimmten Zeitpunkt mit Daten aus einem bestimmten Zeitpunkt trainiert wurden. Umfasst es beispielsweise Daten, die die Covid-19-Pandemie umfassten oder nicht? Während Covid gab es sehr unterschiedliche Gesundheitspraktiken, die sich auf die Daten auswirken könnten. Deshalb plädieren wir für die Offenlegung der Musterinhaltsstoffe und abgeschlossenen Studien.
Was den Ort betrifft, wissen wir aus früheren Untersuchungen, dass Modelle, die an einem Ort trainiert wurden, tendenziell eine schlechtere Leistung erbringen, wenn sie an einen anderen Ort verschoben werden. Wenn Sie wissen, woher die Daten stammen und wie ein Modell innerhalb dieser Inhabitants optimiert wurde, können Sie sicherstellen, dass Benutzer über „potenzielle Nebenwirkungen“, etwaige „Warnungen und Vorsichtsmaßnahmen“ und „Nebenwirkungen“ informiert sind.
Bei einem Modell, das darauf trainiert ist, ein Ergebnis vorherzusagen, kann Ihnen die Kenntnis von Zeit und Ort des Trainings dabei helfen, intelligente Entscheidungen über den Einsatz zu treffen. Doch viele generative Modelle sind unglaublich flexibel und für viele Aufgaben einsetzbar. Hier sind Zeit und Ort möglicherweise nicht so informativ, und es kommen explizitere Anweisungen zu „Bedingungen der Kennzeichnung“ und „genehmigte Verwendung“ im Vergleich zu „nicht genehmigter Verwendung“ ins Spiel. Wenn ein Entwickler ein generatives Modell zum Lesen der klinischen Notizen eines Patienten und zum Generieren künftiger Abrechnungscodes evaluiert hat, kann er offenlegen, dass es dazu tendiert, für bestimmte Erkrankungen zu viel in Rechnung zu stellen oder andere nicht ausreichend zu berücksichtigen. Ein Benutzer möchte nicht dasselbe generative Modell verwenden, um zu entscheiden, wer eine Überweisung an einen Spezialisten erhält, obwohl er dies könnte. Aufgrund dieser Flexibilität plädieren wir für zusätzliche Particulars zur Artwork und Weise, wie Modelle verwendet werden sollten.
Im Allgemeinen empfehlen wir, dass Sie mit den Ihnen zur Verfügung stehenden Instruments das bestmögliche Modell trainieren. Aber selbst dann sollte es eine Menge Offenlegung geben. Kein Modell wird perfekt sein. Als Gesellschaft verstehen wir jetzt, dass keine Pille perfekt ist – es gibt immer ein gewisses Risiko. Wir sollten das gleiche Verständnis von KI-Modellen haben. Jedes Modell – mit oder ohne KI – ist begrenzt. Es magazine sein, dass Sie realistische, fundierte Prognosen über die mögliche Zukunft erhalten, aber nehmen Sie das mit aller Vorsicht.
Q: Wenn KI-Kennzeichnungen eingeführt würden, wer würde die Kennzeichnung vornehmen und wie würden Kennzeichnungen reguliert und durchgesetzt?
A: Wenn Sie nicht beabsichtigen, dass Ihr Modell in der Praxis zum Einsatz kommt, reichen die Angaben aus, die Sie für eine hochwertige Forschungspublikation machen würden. Sobald Sie jedoch beabsichtigen, Ihr Modell in einer Umgebung mit menschlichem Blick bereitzustellen, sollten Entwickler und Bereitsteller eine erste Kennzeichnung vornehmen, die auf einigen der etablierten Frameworks basiert. Vor dem Einsatz sollte eine Validierung dieser Ansprüche erfolgen; In einem sicherheitskritischen Umfeld wie dem Gesundheitswesen könnten viele Behörden des Ministeriums für Gesundheit und menschliche Dienste beteiligt sein.
Ich denke, dass Modellentwickler, wenn sie wissen, dass sie die Einschränkungen eines Techniques benennen müssen, eine sorgfältigere Betrachtung des Prozesses selbst erfordern. Wenn ich weiß, dass ich irgendwann die Bevölkerung offenlegen muss, auf der ein Modell trainiert wurde, möchte ich nicht offenlegen, dass es beispielsweise nur auf Dialoge männlicher Chatbot-Benutzer trainiert wurde.
Wenn Sie darüber nachdenken, von wem die Daten erfasst werden, über welchen Zeitraum hinweg, wie groß die Stichprobe warfare und wie Sie entschieden haben, welche Daten ein- oder ausgeschlossen werden sollen, können Sie potenzielle Probleme bei der Bereitstellung erkennen.