ChatGPT im Gesundheitswesen: Für Ada Health noch zu unausgereift

Denn „im Gesundheitswesen, wo es im wahrsten Sinne des Wortes um Leben und Tod gehen kann, ist dies nicht angemessen … Während ChatGPT Antworten liefert, die natürlich und plausibel klingen, ist es für logikbasiertes Denken nicht gut geeignet. Es handelt sich um ein „Black-Box“-System, das heißt, der Entscheidungsprozess ist völlig undurchsichtig,“ ordnet das Gesundheitsunternehmen die Chancen von ChatGPT für das Gesundheitswesen ein.

Ada dagegen „ist ein White-Box-System, das bedeutet, dass medizinische Fachkräfte nachverfolgen können, wie und warum Empfehlungen generiert werden – was für Vertrauen und Sicherheit von entscheidender Bedeutung ist.“ 

Und Ada möchte sich noch mehr von ChatGPT abgrenzen: Die Symptom- und Tracking App wurde nämlich so „konzipiert, dass sie auf die gleiche Art und Weise „denkt“ und interagiert, wie es ein Arzt in der realen Welt tun würde. Sie interagiert mit Benutzern über einen geführten Fragenfluss und schlägt schließlich vor, was Symptome verursachen könnte, und führt die Menschen zu praktischen nächsten Schritten. Unsere umfassende medizinische Wissensbasis wurde von einem Team aus mehr als 50 internen Ärzten im Laufe mehrerer Jahre und einer Million Stunden aufgebaut, um durch ausgefeilte Krankheitsmodellierungsverfahren und umfangreiche Tests anhand realer klinischer Fallszenarien eine hohe medizinische Qualität sicherzustellen.“

Das Gesundheitsunternehmen findet, dass ChatGPT für das Gesundheitssystem noch zu wenig ausgereift ist: „Diese Modelle nutzen neuronale Netze, die auf riesigen Datensätzen trainiert werden und Ergebnisse erzeugen, indem sie das wahrscheinlichste nächste Wort generieren, um natürlich klingende Antworten zu bilden. Im Fall von ChatGPT besteht dieser Schulungssatz aus riesigen Text- und Codemengen, die vor Ende 2021 aus dem Internet geschnippt wurden. Dazu gehören zwar verifizierte CDC-Gesundheitsleitlinien, das bedeutet aber leider, dass vertrauenswürdige Informationen neben Nicht-Experten-Diskussionen und Hörensagen und mögliche Fehlinformationen stehen. Infolgedessen kann es zu irreführenden Antworten kommen … 

Noch besorgniserregender ist, dass LLMs in der Lage sind, zu „halluzinieren“ – also Antworten aus dem Nichts zu erfinden, basierend auf dem, was der Maschine plausibel erscheint, ohne Grundlage auf ihren tatsächlichen Trainingsdaten. Zukünftige Regulierungen der KI im Gesundheitswesen müssen sich nicht nur mit dem Problem der Voreingenommenheit befassen, die sich in Trainingsdatensätzen widerspiegelt, sondern auch den schwerwiegenden Risiken Rechnung tragen, die diese Halluzinationen im Gesundheitswesen mit sich bringen. Das bedeutet, dass LLMs wie ChatGPT derzeit für das Gesundheitswesen schlecht geeignet sind, da es derzeit keine Möglichkeit gibt, Transparenz und Qualitätssicherung zu gewährleisten.“