Fake-Science: ’ne Dosis Unwissen

00:00:03:

00:00:04: Erinnert ihr euch an die Folge, die wir vor Kurzem gemacht haben zu den MedFakes.

00:00:10: Sprich also gefälschte Werbung zu Medikamenten?

00:00:15: Das war ja Werbung bzw.

00:00:19: waren das KI-Fakes... Patientinnen und Patienten betroffene sozusagen als Target, als Ziel hatten.

00:00:26: Heute geht es um uns, um Menschen die sich mit Wissenschaft beschäftigen, die Studien lesen.

00:00:33: Die sind diesmal das Ziel von gefälschten Publikationen!

00:00:44: Guten Morgen.

00:00:44: wir kommen zu einer Dosis Wissen.

00:00:46: ihr hört den täglichen Podcast für das Gesundheitswesen.

00:00:50: Eine neue Folge gibt's jeden Werktag ab sechs Uhr in der Früh mit einem Thema für euch.

00:00:56: In meistens zumindest schnell zehn Minuten!

00:00:59: Mein Name ist Laura Weisenburger, ich bin Ärztin und wissenschaftliche Redakteurin bei der Apotheken-Umschau – heute ist Donnerstag der achte Oktober.

00:01:18: Und wir beschäftigen uns heute ... gewachsenen Zahl an gefälschten Publikationen, warum das so ist und was das mit der wissenschaftlichen Welt bzw.

00:01:30: allen die mit Wissenschaft zu tun haben macht oder machen könnte?

00:01:36: Das ist heute sozusagen eine Dosis Fake-Wissen!

00:01:41: Anlass ist ein Beitrag, der im Lancet im Mai dieses Jahres erschienen ist.

00:01:46: Der neue Zahlen vorliegt zu gefälschten Referenzen und wir haben natürlich mit einem Experten dazu gesprochen und zwar mit Bernhard Sabel.

00:01:56: er ist Neuropsychologe an der medizinischen Fakultät der Otto von Gerike Universität in Magdeburg Und auch Buchautor, und zwar hat er geschrieben Fake Mafia in der Wissenschaft.

00:02:08: Seine Vorabeinschätzung ist – ich kann es leider nicht anders sagen – ein bisschen sehr ernüchternd?

00:02:15: Wenn die Wissenschaft untergraben wird, weil unsere Kommunikation, sprich die Publikation dann immer mehr verseucht wird, haben wir ein ganz grundsätzliches Problem.

00:02:26: Das heißt, wir kommen gar nicht umhin und das zum ersten Kaffee des Tages sehr genau anzuschauen.

00:02:38: Vorab, bevor wir so richtig starten, müssen wir natürlich klären.

00:02:41: Worum geht's eigentlich?

00:02:42: Wenn wir über Fake-Science, Fake-Publikationen sprechen ... Es geht nicht um plagierte Doktorbeiten von einzelnen Persönlichkeiten wie z.B.

00:02:51: Politikerinnen!

00:02:53: Es geht um massenhafte systemische wissenschaftliche Fälschungen sprich also Fakereferenzen die in Papers drinstehen ohne dass es da wirklich ein zugehöriges Paper gibt.

00:03:07: Paper die Text- oder Bildplagiate natürlich verwenden, ja.

00:03:12: Oder sogar um gänzlich durch KI geschriebene Paper – das heißt also da gab's nie eine Forschung zu – die entstammen, vielleicht habt ihr diesen Begriff auch schon mal gehört, sogenannten Papermilzpapiermühlen, die einfach nur jede Menge davon produzieren.

00:03:30: und jetzt werfen wir gleich einmal einen Blick auf diese Lancet-Veröffentlichung.

00:03:36: Da haben die Autorinnen und Autoren Referenzlisten natürlich von biomedizinischen Publikationen untersucht, und genau hingeschaut wie viele Zitationen in diesen Referenzlistens sind falsch!

00:03:51: Und um das rauszufiltern, haben sie ein automatisiertes Referenzverifikationssystem entwickelt.

00:03:59: Das scannte dann von zwei Komma fünf Millionen Open Access Papers, hundert sechsundzwanzig Millionen Referenzen.

00:04:10: Der Untersuchungszeitraum war Januar drei und zwanzig bis Februar sechsundzwarzig also in der Zeit kamen diese zwei Kommas fünf Millionen Paper raus.

00:04:21: Und Ergebnis von diesen hundert sechsundzwanzig Millionen Referenzen, also wir sprechen hier wirklich über eine riesige Stichprobe würden dann siebenundsiebzig Prozent mithilfe von der Papp mit ID.

00:04:33: Identification Number, die da gesetzt vergeben wird näher untersucht.

00:04:38: Warum?

00:04:38: Die restlichen dreiundzwanzig Prozent nicht!

00:04:41: Das war sehr wahrscheinlich graue Literatur, so wie Webseiten und Bücher.

00:04:45: Da war die Überprüfung deutlich aufwendiger.

00:04:47: das heißt also da schnelle Formel mit PubMed ID.

00:04:52: Da wurde dann vergleichen in PubMed Stimmen Titel und Thema Die OE überein, das ist ja diese Identification-Number auch die jedes Paper zugeordnet bekommt.

00:05:06: Und dann wurde nochmal abgeglichen mit anderen Publikationsdatenbanken so was wie Crossref, Google Scholar

00:05:13: usw.,

00:05:14: Ergebnis war insgesamt waren viertausend und sechsundvierzig Referenzen fabriziert also fake in zwei tausend achthundert und zehn papern.

00:05:27: Von diesen gefundenen Referenzen wurden nur eins Komma sechs von den Verlägen zurückgezogen.

00:05:35: Und wenn ihr jetzt sagt, ja Moment aber das ist gar nicht so wahnsinnig viel Ja halt halt halt.

00:05:41: Wenn man sich das genauer anschaut wie die Entwicklung war Dann konnte man einen zwölf fachen Anstieg beobachten denn natürlich is So ein Fake-Paper oder die Fälschung und auch Nutzung einer Fake-Studie jetzt per se nichts Neues, aber eben sehr interessanter Aspekt.

00:06:03: In dem Jahr in den Jahren im Jahr es waren vier von zehn Tausend Publikationen gefunden worden Und in zwanzig, sechsundzwanzig waren es sechsundfünfzig von zehntausend Publikationen.

00:06:17: Die Eskalation fand ungefähr so ab Mitte zwanzich, vierundzwzig statt und mit Sicherheit wissen jetzt schon einige, warum das genau Mitte vierundzwantig passiert ist.

00:06:27: Dazu kommen wir aber gleich noch.

00:06:29: Gucken wie uns erst mal an, wie sind denn diese Fake-Hafferenzen ausgedacht wurden?

00:06:35: Zum Beispiel gab's eine Publikion über Schmerzen Und diese zitierte wiederum ein Paper mit fingiertem Titel.

00:06:43: Da gab es also schon eine DOI zu und auch ne PubMed-ID, aber das war eigentlich eine Studie über ChatGPT Ethik – das stimmte also gar nicht dieser Zuordnung!

00:06:55: Ein anderes Beispiel an einem einzigen Journal tauchten die Namen zweier Autoren in insgesamt elf Fake-Publikationen auf.

00:07:05: Das ist natürlich ein deutlicher Hinweis auf eine Papermüllaktivität, weil das so unfassbar viel is'.

00:07:12: Und herauszugreifen oder beziehungsweise rausgestellt wurde quasi low light wenn man so möchte.

00:07:18: Es fand sich ein Paper, dass hatte insgesamt sechzig Prozent gefälschte Referenzen.

00:07:24: Achtzehn von dreißig waren falsch und das war aber alles ... auf das Thema zugeschnittene Referenzen mit den Namen von realen Wissenschaftlerinnen und Wissenschaftlern.

00:07:36: Also auch leider irgendwie verdammt nah dran an dieser wissenschaftlichen Community.

00:07:41: Unser Experte Bernhard Sabel sagt, diese Lancet-Arbeit die da vorliegt ist substanziell ganz klar.

00:07:49: Ist natürlich eben in einem renommierten Journal erschienen Und auch fast die Einzige, die sich mit solchen Fake-Häferenzen mal beschäftigt hat.

00:07:59: Aber er sagt auch, er glaubt ja nicht, dass die Zahlen so in Anführungsstrichen niedrig

00:08:05: sind.".

00:08:05: Die

00:08:05: Eskalation im Jahr ... ... ist auf die Einführung von KI und Large Language Models zurückzuführen.

00:08:13: Aber die Zahl der Arbeiten, die rausgefunden haben, die so charakterisiert sind war für mich relativ klein.

00:08:20: Ich hätte sie als deutlich höher erwartet So dass man da, ich sag's mal ein bisschen frisch vielleicht auch mal überlegen könnte ob die Arbeit auch publiziert wurde um zu zeigen das Problem ist ja gar nicht so groß.

00:08:32: Das würde schon mal dahingestellt sein

00:08:33: lassen.".

00:08:34: Und er sagte dann auch warum er glaubt, dass es eigentlich höher ist?

00:08:38: Er hat nämlich Zahlen aus seiner eigenen Forschung.

00:08:42: Vor vier Jahren, wo wir die Untersuchung gemacht haben, lagen wir dann bei einer Schätzung von circa sechs Prozent echt gefägte Arbeiten und fünfzehn Prozent verdächtige Arbeiten.

00:08:51: Heute sind wir ein Stück weiter mit KI.

00:08:53: Da ist die Zahl noch eher höher.

00:08:55: Meine persönliche Schätzungen legt jetzt irgendwo bei zwanzig bis dreißig Prozent.

00:08:59: Und ich glaube auch jeder Editor kann bestätigen dass er so einen Mist auf den Tisch kriegt.

00:09:03: Wir haben uns auch angeguckt, beziehungsweise nachgefragt wie das funktioniert.

00:09:08: Warum kommen da so viele Fake-Referenzen rein?

00:09:11: Das sind zwei Merkmale.

00:09:13: vor allen Dingen natürlich wenn ein Large Language Model unkritisch eingesetzt wird und gesagt wird, ach recherchier mir doch mal zum Thema XY dann kann das mit Sicherheit alle schon mal gesehen.

00:09:26: Referenzen halluzinieren was sicher auch passiert.

00:09:30: aber Klar, es sind auch vor allen Dingen die Fake-Paper aus diesen Papiermühlen.

00:09:37: Und Sabel erläutert für uns ganz kurz mal warum die natürlich ein großes Interesse daran haben dass das in den Umlauf kommt.

00:09:44: Papier-Mühlen verdienen sehr viel da dran und indirekt auch Verlage.

00:09:48: ich sage nicht das Verlage das selber machen aber sie profitieren auch davon.

00:09:53: Das ist einfach Fakt denn wenn man mehr publiziert Gebührenzeit für diese Publikationen pro Arbeit, eine Tausende von Euros.

00:10:02: Zum Teil dann sind natürlich alle die in der Schleife sind auch Beneficiaries.

00:10:06: und da gibt es einen extremen Push das publiziert wird.

00:10:10: und der Pool kommt natürlich von der Wissenschaft weil Institutionen also Universitäten Forschungseinrichtungen natürlich wenn Wissenschaftler sich bewerben auf ne Stelle erst mal gucken hey wie viel hat der publiziert?

00:10:23: Ja, und natürlich wollten wir von ihm am Ende auch wissen okay.

00:10:26: Und was hat das für Konsequenzen dann für die Medizin oder die wissenschaftliche Gemeinschaft?

00:10:33: Da kann man es leider nicht anders sagen, sieht er da schon sehr kritisch und durchaus bedrohlich!

00:10:42: Unsere moderne Gesellschaft basiert auf der Wissenschafts- und der Erkenntnis der akademischen Arbeit.

00:10:50: Wenn wir nicht wissen, was stimmt und was nicht, dann haben wir ein Grundsatzproblem.

00:10:54: Und da Fake arbeiten, auch preferenziell andere Fake-Arbeiten zitieren ... Weil die kommen aus der eigenen Schmiede, wenn man so will.

00:11:02: Steigt die relative Zahl der Fakearbeiten extrem schnell an?

00:11:07: Und denklogisch wird das zu einem Wissenskolaps führen!

00:11:11: Man sieht schon, dass diese Flut an Papermilkpapern Konsequenzen hat.

00:11:20: Die Autorinnen und Autoren des Lancet-Beitrags zeigen auf, dass solche Papiermühlenartikel schon einzugehalten haben in medizinische Leitlinien, die wurden da zitiert.

00:11:33: Und das ist jetzt zugegebenermaßen ein Beispiel was noch aus der Zeit vor den large language models also sprich gpt usw.

00:11:43: stammt.

00:11:44: Eventuell erinnert ihr euch an den in Anführungsstrichen Kurkuma-König.

00:11:49: Das war ein Biochemiker, der hat zwischen fourneunzig und zwanzigzwanzig gut hundertzwanziger Titel zum Nutzen von Kurkumin, also Kurkumar veröffentlicht.

00:12:02: Davon wurden dann letztendlich dreißig Artikel zurückgezogen schon zwölf.

00:12:07: Aber was wissen wir natürlich auch alle?

00:12:11: Das ist hängen geblieben.

00:12:13: Auch wenn klinische Studien inzwischen diese Wirkversprechen ausgehebelt und nicht belegt haben, wird trotzdem weiter viel zu Kokomin publiziert.

00:12:22: Es wird teuer geforscht!

00:12:24: Und es wird auch nach wie vor weiter im der großen Breitengesellschaft angepriesen, Kokoma als eben Wunder Heilmittel.

00:12:35: Wenn uns das auf die Füße fällt und so eine Fake-Science und falsche Veröffentlichung zu spät entlarvt werden, dann hat das Nachwirkungen, die wir nur sehr schwer wieder ausmerzen können.

00:12:47: Was können wir also dagegen tun?

00:12:50: Das Studienteam vom Lancet Review schlägt vor Referenzverifikationssysteme vor den Peer-Review zu schalten.

00:13:00: – Bernhard Sabel geht aber noch weiter und präferiert unabhängige Institutionen.

00:13:06: Da gab es bereits eine Stockholm Declaration zur Reformation des wissenschaftlichen Publizierens, da hat er auch eine Empfehlung ausgesprochen von der Royal Swedish Academy of Science veröffentlicht bzw unterstützt dass man eben wegkommen sollte von dieser Masse an Publikation.

00:13:24: Dass es wichtig ist, wie viel habe ich publiziert und veröffentlicht?

00:13:28: Sondern das wir da einen anderen Fokus setzen müssen!

00:13:31: Den größten Hebel hätten wir einerseits die Reputationsökonomie zu beenden also dieses Beancounting mal einzustellen und das andere ist unabhängige Prüfung von Integritäts von eingereichten Manuskripten bevor die zu den Verlagen gehen.

00:13:52: Und wer das erreichen kann, es sind letztendlich die Fundas also die Geldgeber der Forschungsförderung und auch die Akademie in der Wissenschaften, die da schon einen Einfluss haben könnten wenn sie das dann wollen und auch Energie aufbringen wollen die Kosten das dann zu kontrollieren.

00:14:09: Für uns, wenn wir einfach so ein Paper lesen das erkennen sind da Fake Publikationen drin letztendlich.

00:14:16: So sagt es zumindest Sabe gar nicht.

00:14:20: die sind einfach zu gut gemacht.

00:14:22: Es gibt Agenturen für Fake Checking und die muss man dann eben bemühen.

00:14:28: Tja, als Fazit prägt natürlich die Frage müssen wir jetzt in eine sehr, sehr düstere Zukunft gucken.

00:14:34: Bekommen wir das irgendwie in den Griff?

00:14:36: Auch das haben wir unseren Experten natürlich gefragt!

00:14:39: Es wird letztlich eine Frage sein, inwiefern sich die Großverlage bereit sind zu bewegen, dass sie die Fake-Check Geschichte unabhängig machen lassen.

00:14:50: und dafür kämpfe ich gerade dass Fake-Checking unabhängig gemacht wird, wie wenn ein Auto zugelassen wird.

00:14:55: Da muss der Tift erst mal einen Stempel drauf machen und das brauchen wir in der

00:15:00: Wissenschaft.".

00:15:01: Letztendlich kann man zusammenfassen es ist ein weiteres Feld mit Problematik was durch KI beschleunigt wird.

00:15:09: also die problematik wird beschleünigt und wir brauchen hier schnell eine gute Lösung.

00:15:13: ansonsten fällt uns das ganz fürchterlich auf die Füße.

00:15:20: Ich sag jetzt aber erst mal vielen Dank, dass ihr heute bei der Dosis Fake-Wissen dabei wart.

00:15:28: Und wenn ihr jetzt noch mal reinhören wollt in die Folge, die ich am Anfang erwähnt habe zu den Metfakes das war Anfang September und auch dazu gehöre ich eine ganze Artikelreihe in der Apothekenumschau veröffentlicht.

00:15:41: da findet ihr natürlich die Folge verlinkt in den Showmates

00:15:48: ein Podcast von Gesundheit hören und Apothekenumschau pro.

00:15:58: Gesundheit hören!

00:15:59: Das ist das Audioangebot der Apothekensumschau.