Science-Studie zu KI-Diagnostik: Wie gut sind Sprachmodelle?

00:00:03: [Hinweis: Das Transkript wurde automatisch erstellt] gesundheit-hören.

00:00:04: Es ist längst Gang und Gebe, dass Patientinnen vor euch sitzen und sagen ich habe das mal mit ChatGPT diskutiert was ich glaube, dass sich haben könnte.

00:00:12: Und genauso normal ist es, dass auch Gesundheitsprofis Sprachmodelle für sich einsetzen.

00:00:18: Das kann richtig sinnvoll sein zeigt eine neue Studie die gerade in Science veröffentlicht worden ist.

00:00:26: Guten Morgen und willkommen zu eine Dosis-Wissen dem täglichen Podcast für das Gesundheitswesen.

00:00:31: Eine Dosis Wissen gibt es Werktags ab sechs Uhr in der Früh, im kompakten zehn Minuten.

00:00:36: Ich bin Dennis Ballwieser, ich bin Arzt und Teil der Chefredaktion der Apothekenumschau.

00:00:39: Heute ist Montag, der elfte Mai, zwei Tausendsechsundzwanzig Ein

00:00:44: Podcast von Gesundheit

00:00:46: hören!

00:00:51: Laut dieser inscience erschienenen Studie könnten Sprachmodelle ärztliches Fachpersonal bei Diagnosen und Entscheidungen zum weiteren medizinischen Vorgehen unterstützen.

00:01:00: Die Studie ist frisch im April in Science veröffentlicht, wir verlinken die natürlich in den Show-Notes und die Autoren kommen vom Beth Israel Deaconess Medical Center in Boston in den USA also aus dem Dunstkreis der Harvard University.

00:01:13: Wir haben über die Ergebnisse mit Titus Brinker gesprochen.

00:01:16: Der ist der Leiter der Abteilung Digitale Prävention, Diagnostik und Therapiesteuerung am Deutschen Krebsforschungszentrum dem DKFZ in Heidelberg.

00:01:24: Holt euch euren ersten Kaffee des Tages!

00:01:27: Und dann geht's los!

00:01:32: Es geht also wieder um künstliche Intelligenz und natürlich um Large Language Models.

00:01:38: Ist so hochrangig wie nur eben möglich in Science eine neue Publikation erschienen, die die Frage stellt.

00:01:43: Wie gut schneidet ein großes Sprachmodell – in diesem Fall aus dem Hause OpenAI beim ärztlichen Mitdenken ab?

00:01:52: Dazu haben die Forschenden systematisch die Performance-Untersucht in Teilen des klinischen Alltags also zum Beispiel bei Differenzialdiagnosen, diagnostischen Tests, Managemententscheidungen und echten Fällen in der Notaufnahme.

00:02:05: Die Forscher haben zum Beispiel dem LLM gut einhundertvierzig komplexe Fallkonferenzen aus dem New England Journal of Medicine gegeben und in knapp achtzig Prozent der Fälle hat die LLm die richtige Diagnose gestellt, in gut fünfzig Prozent sogar an erster Stelle in der Differenzialdiagnosenliste.

00:02:26: Und wenn auch nur sehr nah dran oder klinisch hilfreiche Diagnose mitgezählt worden sind, dann lag die Trefferquote des Large Language Models sogar bei siebenundneunzig Komma neun Prozent.

00:02:36: Es gab in der Studie auch mehrere Settings wo teilweise das Large Language Model mit der Performance von echten Ärztinnen und Ärzten verglichen worden ist.

00:02:45: zum Beispiel hat man einen Test mit seventy-sechzig echten Notaufnahmefällen aus Boston gemacht.

00:02:50: Die KI sollte bei jedem Notfall zu drei Zeitpunkten eine Zweitmeinung liefern Bei der Ersteinschätzung, bei der ärztlichen Untersuchung in der Notaufnahme und bei der Aufnahme auf die Normal- oder Intensivstation.

00:03:02: Und das Large Language Model hat die exakte Diagnose in mehr als zwei Drittel der Fälle schon bei der Triage erkannt.

00:03:10: Bei der ärzlichen Untersuchtung stieg es auf seventy-fünf Prozent und bei den Aufnahmen auf die Station dann auf achtzig Prozent.

00:03:17: Das ist jeweils besser als zwei Vergleichsärztinnen denen man die Fälle auch vorgelegt hatte!

00:03:23: Die lagen je nach Zeitpunkt zwischen fünfzig und neunundsebzig Prozent.

00:03:27: Jetzt ist die Frage, ob LLM besser sein können in der Diagnostik als ausgebildete Ärztinnen?

00:03:33: Und welche Konsequenzen kann das haben?

00:03:35: Deswegen haben wir Titus Brinker um seine Meinung gefragt.

00:03:38: Er beschäftigt sich genau mit der Fragestellung des Papers.

00:03:41: Der Forschungsschwerpunkt seiner Abteilungen ist Diagnostic- und Therapiesteuerung für die Onkologie mittels künstlicher Intelligenz – er sagt uns im Gespräch mit eine Dosis wissen.

00:03:50: Das Paper ist vor einem Jahr in ganz ähnlicher Form schon als Pre-Print erschienen.

00:03:53: Es ist gut gemacht und hochspannend, die Autoren sind hochkarätig und die Qualität sehr gut.

00:03:58: Aber man kann nicht einfach sagen das Large Language Model schneidet im Durchschnitt besser ab als echte Ärzte etwa bei diagnostischen Entscheidungen.

00:04:06: Und warum ist es so?

00:04:07: Titus Brinker sagt – bei vielen der Fälle etwa den Fallkonferenzen des New England Journal of Medicine Wissen wir nicht, ob das LLM die Fälle einschließlich des Ausgangs nicht schon kannte.

00:04:17: Es gibt kaum noch anziehen Data –

00:04:19: d.h.,

00:04:20: die LLMs kennen fast alle Daten, die im Internet unter den Fachstandels vorhanden sind und wenn sie die kompletten Fälle schon kannten dann konnten Sie natürlich auch die richtige Diagnose stellen!

00:04:30: Wichtig deshalb bei solchen Performance-Untersuchungen, sagt Titus Brinker.

00:04:34: Es müsste ähnlich wie bei jeder Zulassungsstudie in die Zukunft gerichtet untersucht werden, wie die LLMs abschneiden – gerne im Vergleich zu Ärztinnen und Ärzten!

00:04:43: Nur so kann man garantieren, dass die LlMs hier tatsächlich mit neuen Daten performen.

00:04:48: Ähnlich sehen es auch die Autorinnend der Studier.

00:04:50: Im Abstract sagen sie, die Ergebnisse motivierten sie zur dringenden Bedarf an prospjektiven Studien.

00:04:56: also genau das was Titus Prinker auch einfordert.

00:05:00: Einer der Seniorautoren der Studie, der Letztautor Adam Rotman betont in einem Interview das parallel erschienen ist bei StatNews.

00:05:07: Auch das verlinken wir euch hier den Show Notes Das Ziel sei eben nicht Ärzte zu ersetzen, sondern mit Hilfe von KI die medizinische Versorgung zu verbessern.

00:05:15: Und da sagt Titus Brinker gerade an seltene Diagnosen denke ich als Hausarzt eben selten und da können Hinweise eines Sprachmodells durchaus wegweisend sein für diagnostisch schwierige Fälle.

00:05:26: Am Ende sollten aber immer die menschlichen Ärzter die Entscheidung treffen – also der sogenannte Human in the Loop!

00:05:32: Das weitere Problem bei den LLMs sieht Titus Brinker an einer Stelle.

00:05:35: Sie haben kein Domänenwissen, das ist eine Schwäche.

00:05:39: mit Domäinenwissen ist gemeint was vor Ort Sache ist.

00:05:43: welche diagnostischen Tests habe ich?

00:05:44: Was die Krankenversicherung zahlt wie der Patient riecht und welchen Eindruck er macht.

00:05:48: all das fehlt den Sprachmodellen.

00:05:51: Außerdem merkt Titus Brinke an, hat zumindest in dieser Science-Studie die genutzte KI noch keine Quellentransparenz.

00:05:57: Und da sagt er – wenn die KI eine Quelle angibt gerade etwas ältere wie sie noch in der Science-studie verwendet wurde dann ist das häufig nicht präzise.

00:06:05: Da wird dann eine Zweihundertseiten Leitlinie genannt aber wo genau die Info dort steht sofern es überhaupt drinsteht das erfährt man nicht und das ist nicht praktikabel.

00:06:15: Und natürlich ist doch das Thema Datenschutz wichtig!

00:06:17: Schließlich geht es um hochsensible Patientendaten und die sind bei Big Tech nicht sicher aufgehoben.

00:06:23: Titus Brinker sagt, hier wäre eine Lösung mit europäischem Schwerpunkt wichtig.

00:06:27: da tut sich zum Glück gerade eine Menge etwa durch das deutsche KI-Unternehmen Aleph Alpha.

00:06:33: Das Fazit ist, dieses Science Paper ist wirklich hochgradig spannend.

00:06:38: Die LLMs können ganz klar diagnostisch performen.

00:06:41: die Frage ist wie gut sind sie im Detail tatsächlich?

00:06:44: und man braucht den Menschen dazu damit man überhaupt das Potenzial ausspielen kann dass diese LLM bieten.

00:06:53: Und das heißt am Ende nicht nur die Patientinnen sind besser vorbereitet mit KI in der Sprechstunde sondern die Ärztinnen und Ärzte sind es auch und das ist gut so.

00:07:03: Das war eine Dosiswissen für heute.

00:07:05: Die nächste Folge gibt's morgen ab sechs Uhr in der Früh überall da, wo ihr Podcast findet.

00:07:10: und wenn euch die heutige Folge gefallen hat dann lasst uns eine gute Bewertung da!

00:07:13: Danke dass ihr eine Doses Wissen

00:07:32: hört.