Künstliche Intelligenz verspricht Ärzten dabei zu helfen, Patienten zu diagnostizieren und Behandlungsoptionen zu personalisieren. Eine internationale Gruppe von Wissenschaftlern unter der Leitung des MIT warnt jedoch davor, dass KI-Systeme in ihrer derzeitigen Type das Risiko bergen, Ärzte in die falsche Richtung zu lenken, weil sie möglicherweise zu selbstsicher falsche Entscheidungen treffen.
Eine Möglichkeit, diese Fehler zu verhindern, besteht laut den Forschern darin, KI-Systeme „bescheidener“ zu programmieren. Solche Systeme würden erkennen, wenn sie sich ihrer Diagnosen oder Empfehlungen nicht sicher sind, und würden Benutzer dazu ermutigen, zusätzliche Informationen einzuholen, wenn die Diagnose unsicher ist.
„Wir verwenden KI jetzt als Orakel, aber wir können KI auch als Coach nutzen. Wir könnten KI als echten Co-Piloten einsetzen. Das würde nicht nur unsere Fähigkeit, Informationen abzurufen, sondern auch unsere Fähigkeit, Zusammenhänge zu erkennen, stärken“, sagt Leo Anthony Celi, leitender Forschungswissenschaftler am Institute for Medical Engineering and Science des MIT, Arzt am Beth Israel Deaconess Medical Heart und außerordentlicher Professor an der Harvard Medical Faculty.
Celi und seine Kollegen haben ein Framework geschaffen, das ihrer Meinung nach KI-Entwicklern dabei helfen kann, Systeme zu entwerfen, die Neugier und Bescheidenheit zeigen. Dieser neue Ansatz könnte es Ärzten und KI-Systemen ermöglichen, als Companion zusammenzuarbeiten, sagen die Forscher, und dazu beitragen, zu verhindern, dass KI zu viel Einfluss auf die Entscheidungen von Ärzten ausübt.
Celi ist der leitende Autor der Studie erscheint heute In BMJ Gesundheits- und Pflegeinformatik. Der Hauptautor des Papiers ist Sebastián Andrés Cajas Ordoñez, ein Forscher bei MIT Crucial Information, einem globalen Konsortium unter der Leitung des Laboratory for Computational Physiology am MIT Institute for Medical Engineering and Science.
Menschliche Werte vermitteln
Laut dem MIT-Crew können übertriebene KI-Systeme zu Fehlern im medizinischen Bereich führen. Frühere Studien haben gezeigt, dass Intensivärzte auf KI-Systeme zurückgreifen, die sie als zuverlässig empfinden, selbst wenn ihre eigene Instinct dem KI-Vorschlag widerspricht. Sowohl Ärzte als auch Patienten akzeptieren eher falsche KI-Empfehlungen, wenn diese als maßgeblich wahrgenommen werden.
Anstelle von Systemen, die zu selbstbewusste, aber möglicherweise falsche Ratschläge geben, sollten Gesundheitseinrichtungen Zugang zu KI-Systemen haben, die enger mit Klinikern zusammenarbeiten, sagen die Forscher.
„Wir versuchen, Menschen in diese Mensch-KI-Systeme einzubeziehen, damit wir es Menschen ermöglichen, gemeinsam zu reflektieren und neu zu denken, anstatt isolierte KI-Agenten zu haben, die alles tun. Wir möchten, dass Menschen durch den Einsatz von KI kreativer werden“, sagt Cajas Ordoñez.
Um ein solches System zu schaffen, hat das Konsortium ein Framework entworfen, das mehrere Rechenmodule umfasst, die in bestehende KI-Systeme integriert werden können. Das erste dieser Module erfordert, dass ein KI-Modell seine eigene Sicherheit bei diagnostischen Vorhersagen bewertet. Der von den Konsortiumsmitgliedern Janan Arslan und Kurt Benke von der College of Melbourne entwickelte Epistemic Advantage Rating dient als Selbstbewusstseinsprüfung und stellt sicher, dass das Vertrauen des Techniques durch die inhärente Unsicherheit und Komplexität jedes klinischen Szenarios angemessen gemildert wird.
Wenn dieses Selbstbewusstsein vorhanden ist, kann das Modell seine Reaktion auf die Scenario anpassen. Wenn das System feststellt, dass seine Konfidenz über die verfügbaren Beweise hinausgeht, kann es eine Pause einlegen und die Nichtübereinstimmung kennzeichnen, spezifische Assessments oder eine Anamnese anfordern, die die Unsicherheit beseitigen würden, oder eine Fachberatung empfehlen. Das Ziel ist eine KI, die nicht nur Antworten liefert, sondern auch signalisiert, wann diese Antworten mit Vorsicht zu genießen sind.
„Es ist, als hätte man einen Co-Piloten, der einem sagen würde, dass man sich ein neues Augenpaar suchen muss, um diesen komplexen Patienten besser verstehen zu können“, sagt Celi.
Celi und seine Kollegen haben zuvor umfangreiche Datenbanken entwickelt, mit denen KI-Systeme trainiert werden können, darunter die Datenbank Medical Data Mart for Intensive Care (MIMIC) des Beth Israel Deaconess Medical Heart. Sein Crew arbeitet nun daran, das neue Framework in auf MIMIC basierende KI-Systeme zu implementieren und es Klinikern im Beth Israel Lahey Well being System vorzustellen.
Dieser Ansatz könnte auch in KI-Systemen umgesetzt werden, die unter anderem zur Analyse von Röntgenbildern oder zur Ermittlung der besten Behandlungsmöglichkeiten für Patienten in der Notaufnahme eingesetzt werden, sagen die Forscher.
Auf dem Weg zu einer inklusiveren KI
Diese Studie ist Teil einer größeren Anstrengung von Celi und seinen Kollegen, KI-Systeme zu entwickeln, die von und für die Menschen entwickelt werden, die letztendlich am stärksten von diesen Instruments betroffen sein werden. Viele KI-Modelle wie MIMIC werden auf öffentlich zugänglichen Daten aus den USA trainiert, was dazu führen kann, dass Vorurteile gegenüber einer bestimmten Denkweise in medizinischen Fragen entstehen und andere ausgeschlossen werden.
Das Einbringen weiterer Standpunkte sei entscheidend, um diese potenziellen Vorurteile zu überwinden, sagt Celi und betont, dass jedes Mitglied des globalen Konsortiums eine eigene Perspektive in ein umfassenderes, kollektives Verständnis einbringe.
Ein weiteres Downside bestehender KI-Systeme für die Diagnostik besteht darin, dass sie in der Regel auf elektronische Gesundheitsakten trainiert werden, die ursprünglich nicht für diesen Zweck gedacht waren. Dies bedeutet, dass den Daten ein Großteil des Kontexts fehlt, der für die Erstellung von Diagnosen und Behandlungsempfehlungen nützlich wäre. Darüber hinaus werden viele Patienten aufgrund mangelnden Zugangs nie in diese Datensätze aufgenommen, beispielsweise Menschen, die in ländlichen Gebieten leben.
Bei Datenworkshops, die von veranstaltet werden Kritische MIT-DatenGruppen von Datenwissenschaftlern, Gesundheitsexperten, Sozialwissenschaftlern, Patienten und anderen arbeiten gemeinsam an der Entwicklung neuer KI-Systeme. Vor Beginn wird jeder aufgefordert, darüber nachzudenken, ob die Daten, die er verwendet, alle Treiber dessen, was er vorhersagen möchte, erfassen, um sicherzustellen, dass er nicht unbeabsichtigt bestehende strukturelle Ungleichheiten in seine Modelle kodiert.
„Wir lassen sie den Datensatz hinterfragen. Sind sie von ihren Trainings- und Validierungsdaten überzeugt? Glauben sie, dass es Patienten gibt, die unbeabsichtigt oder absichtlich ausgeschlossen wurden, und wie wird sich das auf das Modell selbst auswirken?“ sagt er. „Natürlich können wir die Entwicklung von KI nicht aufhalten oder gar verzögern, nicht nur im Gesundheitswesen, sondern in allen Sektoren. Aber wir müssen dabei bewusster und durchdachter vorgehen.“
Die Forschung wurde vom Boston-Korea Revolutionary Analysis Challenge über das Korea Well being Trade Growth Institute finanziert.