Generative KI kommt in die Gesundheitsfürsorge, und nicht jeder ist begeistert

Generative KI, die Bilder, Text, Audio, Videos und mehr erstellen und analysieren kann, dringt zunehmend in die Gesundheitsfürsorge vor, angetrieben sowohl von großen Technologiefirmen als auch von Start-ups.

Google Cloud, die Cloud-Services und -Produkte von Google, arbeitet mit Highmark Health, einem gemeinnützigen Gesundheitsunternehmen mit Sitz in Pittsburgh, an generativen KI-Werkzeugen zusammen, die darauf abzielen, die Erfahrung der Patientenaufnahme zu personalisieren. Amazon's AWS-Division sagt, dass sie mit nicht genannten Kunden an einer Möglichkeit arbeiten, generative KI zur Analyse von medizinischen Datenbanken für "soziale Determinanten der Gesundheit" zu verwenden. Und Microsoft Azure hilft beim Aufbau eines generativen KI-Systems für Providence, das gemeinnützige Gesundheitsnetzwerk, um Nachrichten von Patienten automatisch an die Versorgungsanbieter zu triagieren.

Zu den prominenten generativen KI-Startups im Gesundheitswesen gehören Ambience Healthcare, das eine generative KI-App für Kliniker entwickelt; Nabla, ein Umgebungs-KI-Assistent für Praktiker; und Abridge, das Analysetools für medizinische Dokumentationen erstellt.

Der breite Enthusiasmus für generative KI spiegelt sich in den Investitionen in generative KI-Bemühungen im Gesundheitswesen wider. Insgesamt haben Start-ups im Gesundheitswesen, die sich auf generative KI konzentrieren, bis heute Dutzende von Millionen Dollar Risikokapital eingesammelt, und die überwiegende Mehrheit der Gesundheitsinvestoren gibt an, dass generative KI ihre Investitionsstrategien maßgeblich beeinflusst hat.

Aber sowohl Fachleute als auch Patienten sind sich uneinig darüber, ob generative KI im Gesundheitswesen bereit für den Mainstream ist.

Generative KI könnte nicht das sein, was die Leute wollen

In einer kürzlich durchgeführten Deloitte-Umfrage gaben nur etwa die Hälfte (53%) der amerikanischen Verbraucher an, dass sie glauben, dass generative KI die Gesundheitsfürsorge verbessern könnte - zum Beispiel durch eine bessere Erreichbarkeit oder Verkürzung der Wartezeiten auf Termine. Weniger als die Hälfte der Befragten erwartete, dass generative KI die medizinische Versorgung erschwinglicher machen würde.

Andrew Borkowski, Chief AI Officer beim VA Sunshine Healthcare Network, dem größten Gesundheitssystem des US-amerikanischen Ministeriums für Veteranenangelegenheiten, hält den Zynismus für nicht unbegründet. Borkowski warnte davor, dass der Einsatz generativer KI aufgrund seiner "erheblichen" Einschränkungen und der Bedenken hinsichtlich seiner Wirksamkeit vorzeitig sein könnte.

"Ein wichtiges Problem bei der generativen KI ist ihre Unfähigkeit, komplexe medizinische Anfragen oder Notfälle zu bearbeiten", sagte er TechCrunch. "Ihr begrenztes Wissensspektrum - das Fehlen aktueller klinischer Informationen - und der Mangel an menschlicher Expertise machen sie ungeeignet, um umfassende medizinische Ratschläge oder Behandlungsempfehlungen zu geben."

Mehrere Studien deuten darauf hin, dass diese Punkte berechtigt sind.

In einer Studie in der Zeitschrift JAMA Pediatrics wurde festgestellt, dass der generative KI-Chatbot ChatGPT von OpenAI, den einige Gesundheitsorganisationen für begrenzte Anwendungsfälle getestet haben, bei der Diagnose von pädiatrischen Krankheiten in 83% der Fälle Fehler machte. Und bei Tests eines diagnostischen Assistenten von OpenAI, des GPT-4, beobachteten Ärzte des Beth Israel Deaconess Medical Center in Boston, dass das Modell in fast zwei von drei Fällen die falsche Diagnose als beste Antwort einstufte.

Die heutige generative KI hat auch Schwierigkeiten mit den medizinischen Verwaltungsaufgaben, die zu den täglichen Arbeitsabläufen der Kliniker gehören. Im MedAlign-Benchmark zur Bewertung, wie gut generative KI Dinge wie die Zusammenfassung von Patientenakten und die Suche über Notizen ausführen kann, versagte GPT-4 in 35% der Fälle.

OpenAI und viele andere generative KI-Anbieter warnen davor, sich auf ihre Modelle für medizinische Ratschläge zu verlassen. Aber Borkowski und andere sagen, sie könnten mehr tun. "Das ausschließliche Vertrauen in generative KI für die Gesundheitsfürsorge könnte zu Fehldiagnosen, unangemessenen Behandlungen oder sogar lebensbedrohlichen Situationen führen," sagte Borkowski.

Jan Egger, der die KI-geführten Therapien am Institut für KI in der Medizin der Universität Duisburg-Essen leitet, das die Anwendungen aufkommender Technologien für die Patientenversorgung untersucht, teilt Borkowskis Bedenken. Er glaubt, dass der einzige sichere Weg, generative KI derzeit im Gesundheitswesen zu verwenden, unter der engen, wachsamen Aufsicht eines Arztes liegt.

"Die Ergebnisse können völlig falsch sein, und es wird immer schwieriger, sich dessen bewusst zu bleiben", sagte Egger. "Sicher, generative KI kann beispielsweise für das Vorverfassen von Entlassungsbriefen verwendet werden. Aber Ärzte tragen die Verantwortung, es zu prüfen und die endgültige Entscheidung zu treffen."

Generative KI kann Stereotypen verstärken

Eine besonders schädliche Art und Weise, wie generative KI im Gesundheitswesen Dinge falsch machen kann, besteht darin, Stereotypen zu verstärken.

In einer Studie aus dem Jahr 2023 von Stanford Medicine testete ein Forscherteam ChatGPT und andere generative KI-gesteuerte Chatbots in Bezug auf Fragen zur Nierenfunktion, Lungenkapazität und Hautdicke. Die Antworten von ChatGPT waren nicht nur häufig falsch, sondern auch die Co-Autoren fanden heraus, dass die Antworten mehrere lang gehegte unrichtige Überzeugungen verstärkten, dass es biologische Unterschiede zwischen Schwarzen und Weißen gibt - Unwahrheiten, die dazu geführt haben, dass medizinische Anbieter Gesundheitsprobleme falsch diagnostizierten.

Die Ironie ist, dass die Patienten, die am ehesten von generativer KI für die Gesundheitsfürsorge diskriminiert werden könnten, auch diejenigen sind, die es am ehesten nutzen könnten.

Menschen ohne Krankenversicherung - größtenteils Menschen mit Farbe, so eine Studie des KFF - sind nach der Deloitte-Umfrage eher bereit, generative KI für Dinge wie die Suche nach einem Arzt oder Unterstützung bei der psychischen Gesundheit auszuprobieren. Wenn die Empfehlungen des KI von Voreingenommenheit beeinträchtigt sind, könnte dies Ungleichheiten in der Behandlung verschärfen.

Einige Experten argumentieren jedoch, dass generative KI in dieser Hinsicht Fortschritte macht.

In einer von Microsoft veröffentlichten Studie aus dem Jahr 2023 sagten Forscher, dass sie mit GPT-4 eine Genauigkeit von 90,2% bei vier anspruchsvollen medizinischen Benchmarks erreichten. Das herkömmliche GPT-4 konnte diese Punktzahl nicht erreichen. Aber die Forscher sagen, dass sie durch Prompt-Engineering - das Entwerfen von Aufforderungen für GPT-4, um bestimmte Ausgaben zu erzeugen - die Punktzahl des Modells um bis zu 16,2 Prozentpunkte steigern konnten. (Microsoft, es sei darauf hingewiesen, ist ein großer Investor in OpenAI.)

Jenseits von Chatbots

Aber das Stellen einer Frage an einen Chatbot ist nicht das Einzige, worin generative KI gut ist. Einige Forscher sagen, dass die medizinische Bildgebung erheblich von der Leistungsfähigkeit der generativen KI profitieren könnte.

Im Juli stellte eine Gruppe von Wissenschaftlern in einer Studie, die in der Zeitschrift Nature veröffentlicht wurde, ein System namens complementarity-driven deferral to clinical workflow (CoDoC) vor. Das System ist darauf ausgelegt, herauszufinden, wann sich medizinische Bildspezialisten auf KI für Diagnosen verlassen sollten, im Vergleich zu traditionellen Techniken. CoDoC schnitt besser ab als Spezialisten und reduzierte klinische Arbeitsabläufe um 66%, so die Co-Autoren.

Im November präsentierte ein chinesisches Forschungsteam Panda, ein KI-Modell, das zur Entdeckung potenzieller Pankreasläsionen in Röntgenaufnahmen verwendet wird. Eine Studie zeigte, dass Panda diese Läsionen, die oft zu spät für chirurgische Eingriffe entdeckt werden, sehr genau klassifizieren konnte.

Tatsächlich sagte Arun Thirunavukarasu, klinischer Forschungsstipendiat an der Universität Oxford, dass es "nichts Einzigartiges" an generativer KI gibt, was ihren Einsatz in medizinischen Umgebungen ausschließt.

"Alltäglichere Anwendungen der generativen KI-Technologie sind im kurz- und mittelfristigen Bereich realisierbar und umfassen Textkorrektur, automatische Dokumentation von Notizen und Briefen und verbesserte Suchfunktionen zur Optimierung elektronischer Patientenakten," sagte er. "Es gibt keinen Grund, warum die generative KI-Technologie - wenn sie effektiv ist - nicht sofort in diesen Arten von Aufgaben eingesetzt werden könnte."

"Rigorose Wissenschaft"

Aber während generative KI in bestimmten, engen Bereichen der Medizin vielversprechend ist, verweisen Experten wie Borkowski auf die technischen und Compliance-Hürden, die überwunden werden müssen, damit generative KI als allgemeines Hilfsmittel in der Gesundheitsfürsorge nützlich und vertrauenswürdig sein kann.

"Bedeutende Datenschutz- und Sicherheitsbedenken umgeben den Einsatz von generativer KI im Gesundheitswesen", sagte Borkowski. "Die sensible Natur medizinischer Daten und das Potenzial für Missbrauch oder unbefugten Zugriff stellen erhebliche Risiken für die Patientenvertraulichkeit und das Vertrauen in das Gesundheitssystem dar. Darüber hinaus ist das regulatorische und rechtliche Umfeld, das den Einsatz von generativer KI im Gesundheitswesen umgibt, noch im Wandel begriffen, wobei Fragen zur Haftung, zum Datenschutz und zur Ausübung der Medizin durch nichtmenschliche Entitäten noch gelöst werden müssen."

Auch Thirunavukarasu, so bullish er in Bezug auf generative KI im Gesundheitswesen ist, sagt, dass es "rigorose Wissenschaft" hinter Werkzeugen geben muss, die patientenorientiert sind.

"Insbesondere ohne direkte klinische Überwachung sollten pragmatische randomisierte Kontrollstudien durchgeführt werden, um den klinischen Nutzen zur Rechtfertigung des Einsatzes von generativen KI für den Patienten zu demonstrieren," sagte er. "Eine ordnungsgemäße Governance ist unerlässlich, um unvorhergesehene Schäden nach dem Einsatz im großen Maßstab zu erfassen."

Erst kürzlich veröffentlichte die Weltgesundheitsorganisation Leitlinien, die für diese Art von Wissenschaft und menschlicher Überwachung von generativer KI im Gesundheitswesen plädieren, sowie die Einführung von Audits, Transparenz und Auswirkungsbeurteilungen dieser KI durch unabhängige Dritte. Das Ziel, wie die WHO in ihren Leitlinien ausführt, wäre es, die Beteiligung einer vielfältigen Kohorte von Menschen an der Entwicklung von generativer KI für das Gesundheitswesen zu fördern und die Möglichkeit zu haben, Bedenken zu äußern und während des gesamten Prozesses Rückmeldungen zu geben.

"Bis die Bedenken angemessen angesprochen und angemessene Sicherheitsvorkehrungen getroffen sind", sagte Borkowski, "könnte die weitreichende Implementierung von medizinischer generativer KI ... potenziell für Patienten und die Gesundheitsbranche insgesamt schädlich sein."