Eine neuere Studie der University of California hat die empathischen Reaktionen von Medizinerinnen und Medizinern und dem Chatbot ChatGPT auf eine Auswahl von medizinischen Fragen aus dem öffentlichen „AskDocs“ Subreddit gegenübergestellt und analysiert.
ChatGPT glänzt durch Qualität
Die Fragen, die von den Gefahren des Verschluckens eines Zahnstochers bis zum Risiko einer Gehirnerschütterung nach einer Kopfverletzung reichten, wurden von einer medizinischen Fachkraft und dem KI-Chatbot beantwortet. Diese Antworten wurden anschließend von einem Gremium aus Ärzten bewertet, die nicht wussten, welche Antwort zu wem gehörte. Drei Juroren untersuchten jeden Fall, wobei die Punktzahlen gemittelt wurden, was zu insgesamt 585 Bewertungen führte.
Überraschenderweise wurden die Chatbot-Antworten in 79 Prozent der Fälle bevorzugt, vor allem weil sie qualitativ bessere Informationen lieferten und eine einfühlsamere Sprache verwendeten.
Die Antworten von ChatGPT fielen nicht nur etwa viermal häufiger in die höchste Qualitätskategorie als die des Fachpersonals, sondern erreichten auch etwa zehnmal häufiger die höchsten Empathiewerte. Außerdem waren die Antworten der Künstlichen Intelligenz (KI) im Durchschnitt viermal so lang, nämlich 211 Wörter pro Beitrag im Vergleich zu den 52 Wörtern der Menschen.
Fürsorglicherer Umgang durch KI
In der Studie wurde ein konkretes Beispiel angeführt, um die Unterschiede in den Antworten zu verdeutlichen. Auf die Frage, wie hoch das Risiko sei, nach dem Verschlucken eines Zahnstochers zu sterben, gab der Arzt eine knappe, sachliche Antwort.
Im Gegensatz dazu war die Antwort des KI-Modells umfassender, einfühlsamer und beruhigender und beinhaltete auch potenzielle Risiken und Maßnahmen, die zu ergreifen sind, wenn Unbehagen auftritt. Dieser Unterschied veranlasste die Forschenden zu der Schlussfolgerung, dass ChatGPT den Eindruck eines fürsorglichen Umgangs am Krankenbett besser vermitteln können als ein vielbeschäftigter Arzt oder eine Ärztin, die freiwillig online Fragen beantworten.
Anfällig für Fehlinformationen
Die Forschenden wiesen jedoch darauf hin, dass sich der Nutzen eines solchen Tools in der klinischen Praxis erst noch erweisen müsse. Online-Foren würden möglicherweise nicht die typischen Arzt-Patienten-Interaktionen widerspiegeln. Außerdem liefere ChatGPT zwar höfliche, verständliche und scheinbar kohärente Antworten, macht aber grundlegende Fehler in der Codierung und Mathematik, und viele Fakten in seinen Antworten sind erfunden oder falsch.
- Auch interessant: Verbreitet ChatGPT Falschmeldungen? Experten und KI geben klare Antwort
Da Chatbots jedoch dazu neigen, zu „halluzinieren“ und Fakten zu erfinden, könnte es gefährlich sein, sich bei sachlichen Informationen auf sie zu verlassen. Alle Antworten müssen sorgfältig von einer medizinischen Fachkraft überprüft werden.
Quelle: „Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum“ (JAMA International Medicine, 2023)
Seit dem 24. Februar 2022 herrscht Krieg in der Ukraine. Hier kannst du den Betroffenen helfen.