Jasmin Schmitz, ZB MED – Informationszentrum Lebenswissenschaften, schmitz@zbmed.de

Neben Predatory Publishing gibt es weitere Entwicklungen im wissenschaftlichen Publikationswesen, die alles andere als den wissenschaftlichen Fortschritt im Blick haben, sondern in erster Linie das Ziel verfolgen, den Output oder Impact von Autor:innen gegen Geldzahlung zu steigern. David Bimler spricht hier von „publication facilitation“, wozu zwar auch unseriöse oder gekaperte (hijacked journals) Zeitschriften gehören, weil sie unredlichen Forschenden eine Möglichkeit zur Publikation von fragwürdigen Ergebnissen bieten [Bimler 2022], aber vornehmlich ist hiermit der Verkauf von fertigen Manuskripten und weiteren Dienstleistungen gemeint (siehe dazu auch den Beitrag von Andreas Ferus und Gerlinde Maxl in diesem Blog: https://in-transition.at/de/predatory-und-andere-fragwurde-praktiken-in-der-wissenschaftlichen-kommunikation/).

Paper Mills – Verkauf von Autor:innenschaft und Autor:innenpositionen als Geschäftsmodell

Anna Abalkina, Forscherin an der Freien Universität Berlin, definiert Paper Mills wie folgt: “Paper mills are commercial companies that organize on-demand writing of fraudulent academic manuscripts and offer co-authorship of these papers for sale” [Albakina 2023]. Neben dem Abfassen von Manuskripten und dem Verkauf von Autor:innenpositionen werden zusätzliche Dienste im Sinne eines „Full Service“ [Dirnagl 2022] angeboten. Hierzu gehört beispielsweise die komplette Begleitung des Publikationsprozesses, von der Einreichung des Manuskripts, über das Peer-Review-Verfahren bis hin zur Überarbeitung und Sicherstellung der Indexierung. Die Kosten für Inanspruchnahme der Dienstleistung(en) richten sich nach der Höhe des Journal Impact Factors der Zeitschrift und der konkreten Autor:innenposition, wobei die Erstautor:innenschaft am teuersten ist [z.B. COPE & STM 2022].

Die zum Verkauf stehenden Manuskripte zeichnen sich dadurch aus, dass sie manipulierte oder erfundene Daten und Abbildungen sowie plagiierte Textstellen enthalten. Es ist davon auszugehen, dass dabei mit Software gearbeitet wird, um offensichtliche Plagiate zu verschleiern. Anhaltspunkt dafür liefern sogenannte „tortured phrases“, also Bezeichnungen, die anstelle einer korrekten Fachterminologie verwendet werden (wie z.B. „colossal information“ anstelle von „big data“) und vermutlich von Übersetzungssoftware stammen [Else 2021]. Es werden hier wohl Publikationen aus nicht-englischsprachigen Zeitschriften übersetzt und mit neuen Autor:innennamen versehen [Dirnagl 2022].

Artikel mit freien Autor:innenpositionen werden über Websites, Social-Media-Seiten oder Chatkanäle zum Kauf angeboten [z.B. Else 2023]. In der Folge findet sich eine Ansammlung von Autor:innennamen auf den Artikeln, bei der man sich fragt, wie die Personen zu einer Kooperation zusammengefunden haben, weil es weder räumliche nach fachliche Bezugspunkte gibt – das sind wiederum Anhaltspunkte, die dann auch zur Identifikation von entsprechenden Publikationen führen können [Albakina 2023]. Möglich ist auch, dass legitime Autor:innen über die Paper Mill Ko-Autor:innenschaften für ihre bereits angenommenen Manuskripte verkaufen, die Paper Mill also nur als Vermittler auftritt [Albakina 2023]. Das Ganze lockt nun auch Trittbrettfahrer:innen an: So werden über Social-Media-Kanäle wohl auch Autor:innenpositionen für Artikel mit einem gefälschten „Letter of Acceptance“ verkauft [Neumann 2023].

Die Namen der Käufer:innen werden während des Peer-Review-Verfahrens zusätzlich eingefügt [Else 2023], meist nach der ersten Begutachtungsrunde und vor der Einreichung der letzten Manuskriptversion.

Zentraler Punkt ist das „Unterbringen“ des Manuskripts bei einer Zeitschrift. Bei der Einreichung kommen unterschiedliche Strategien zur Anwendung, um die Chancen einer Annahme zu erhöhen:

• Manipulation des Peer-Review-Verfahrens: Bei vielen Zeitschriften dürfen Autor:innen Gutachter:innen vorschlagen. Herausgebende sind zwar nicht an die Vorschläge gebunden, sehen dies aber als Arbeitserleichterung und greifen gerne darauf zurück. Hier besteht die Möglichkeit, über falsche E-Mailadressen die Anfrage nach Begutachtung auf die Paper Mill umzuleiten, die dann auch gleich noch das positive Gutachten verfasst [COPE & STM 2022].
• „Steuerung“ oder Einsatz von Herausgeber:innen durch die Paper Mill selbst, beispielsweise im Rahmen von Themenheften (Special Issues), bei denen Zeitschriften häufig auf externe Herausgebende zurückgreifen [z.B. Oransky 2021]; Albakina 2023]. Hierüber wird sichergestellt, dass im Editorial Board Entscheidungen getroffen werden, die im Sinne der von der Paper Mill eingereichten Artikel sind [Bishop 2023]. Des Weiteren werden eventuell Namen von Forschenden benutzt, die im Feld arbeiten. Die Mailadressen sind allerdings erfunden, so dass alle Nachrichten bei der Paper Mill landen [Oransky 2021].
• Zeitgleiche Einreichung bei mehreren Zeitschriften, um die Chancen zur Annahme zu erhöhen [Else 2022]; zeichnet sich die Annahme bei einer Zeitschrift ab, werden die übrigen Einreichungen fallengelassen [COPE & STM 2022].

„Citation Trading“ und „Citation Circles“ – Unlautere Steigerung des Impacts durch irrelevante Zitierungen

Zitationskartelle – also das gegenseitige Zitieren von Publikationen aus Gefälligkeit – sind schon länger bekannt; ebenso die Aufforderungen mancher Zeitschriftenbetreibenden an ihre Autor:innen, man möge doch bitte mehr Referenzen zu Publikationen der eigenen Zeitschriften einfügen. Für „Citation Trading“ oder „Citation Circles“ (Gruppe von Autor:innen, die sich gegenseitig zitieren, deren Arbeiten aber eigentlich nichts miteinander zu tun haben) fließt allerdings Geld [Bimler 2022]. Um die Gefahr der Entdeckung gering zu halten, werden dabei erst nach Durchlaufen des Peer-Review-Verfahrens – also während der Überarbeitungs- und Korrekturphase – zusätzliche Passagen in einen Artikel eingefügt, in denen entsprechende Arbeiten aus dem „Pool“ oder „Circle“ zusammenhanglos zitiert werden [Neumann 2022].

Auch bieten vereinzelt unseriöse Verlage „cash for citations“ an, wenn Autor:innen Referenzen auf Zeitschriften des Verlages in ihren bereits angenommenen Manuskripten – vorzugsweise in Zeitschriften, die im Web of Science ausgewertet werden, platzieren. Die Höhe des Verdienstes richtet sich nach der Anzahl der Artikel, die zitiert werden [Marcus 2021].

Eine weitere Variante ist die Manipulation von CrossRef-Metadaten. Hierzu werden in das entsprechende Feld bei CrossRef zusätzliche Referenzen eingefügt, die in der HTML- und/oder PDF-Version eines Artikels nicht vorhanden sind. Weil dieses Feld bei bestimmten Diensten wie Dimensions (https://app.dimensions.ai/discover/publication) zum Auszählen von Zitationszahlen verwendet wird, können damit Impactzahlen hochgetrieben werden. Ob es sich hierbei um ein strategisches Vorgehen handelt, hinter dem auch ein Geschäftsmodell steckt, ist noch unklar. Deutlich wird aber, dass man bei sehr hohen Diskrepanzen bei den Zitationszahlen auf unterschiedlichen Plattformen skeptisch werden sollte [Singh Chawla 2023].

„Kombi-Angebote“

Oftmals werden auch gleich mehrere Dienstleistungen angeboten, d.h. es werden nicht nur Autor:innenschaften für Publikationen verkauft, sondern es wird gleich auch sichergestellt, dass diese zitiert werden. Eine klare Trennung und Systematisierung der unredlichen Aktivitäten wird daher schwierig [Bimler 2022]. Untersuchungen beziehen sich zumeist nur auf einzelne Paper Mills, die ihre Angebote wiederum schnell verändern können, um unter anderem auf „Marktbedürfnisse“, Trendthemen bei der Drittmittelakquise, aber auch auf die zunehmende Sensibilisierung des Wissenschaftsbetriebs zu reagieren [Albakina 2023; Bimler 2022].

Erstaunlich ist, mit welcher Selbstverständlichkeit die Dienste angeboten werden und der Euphemismus, der dabei zur Anwendung kommt. So wird wissenschaftliches Fehlverhalten als „Publikationsdienstleistung“ verkauft oder Verträge abgeschlossen, in denen sich beide Parteien Vertraulichkeit zusichern. Auch eine Erstattung von Geldern ist vorgesehen, sollten die „Publikationsbemühungen“ nicht erfolgreich sein. Des Weiteren werden die Kund:innen auch unterstützt, sollte ein Zurückziehen des Artikels unausweichlich werden [COPE & STM 2022].

Konsequenzen

Bei allen oben beschrieben Entwicklungen handelt es sich um wissenschaftliches Fehlverhalten, denn Publikationen mit gefälschten Daten, Plagiaten, falscher Autor:innenschaft, Manipulation des Peer-Review-Verfahrens sowie Zitieren ohne Bezug zur Argumentationslinie haben nichts mehr mit wissenschaftlicher Redlichkeit zu tun. In der Folge müssen die Publikationen bei Entdeckung zurückgezogen werden. Entsprechend lassen sich seit 2020 immer wieder entsprechende „massive retractions“ beobachten [z.B. Albakina 2023]. Zudem reagieren auch fachübergreifende Literaturdatenbanken wie das Web of Science und setzen die Indexierung von Zeitschriften, die massenhaft unterwandert oder manipuliert wurden, aus. Dies hat auch zur Konsequenz, dass für diese Zeitschriften erstmal kein Journal Impact Factor mehr vergeben wird [Kincaid 2023].

Bedenklich ist allerdings, dass diese Publikationen bis zur Entdeckung den wissenschaftlichen State-of-the-Art regelrecht „vermüllen“ und es immer mühsamer wird, valide Ergebnisse herauszufiltern. In der Konsequenz können die von Paper Mills in Umlauf gebrachten Publikationen auch Evidenz-Synthesen oder Reviews verzerren [Dirnagl 2022], die auch als Grundlage für die Ableitung von Behandlungsmethoden von Patient:innen oder von politischen Maßnahmen verwendet werden. In der Folge verliert nicht nur die wissenschaftliche Gemeinschaft, sondern auch die Gesellschaft.

Ausmaß und Bekämpfung mit technischen Mitteln

Eine Einschätzung des Ausmaßes des Problems ist schwierig. Erste Schätzungen basierend auf Analysen mit Software, die speziell darauf trainiert wurde, Publikationen aus Paper Mills zu erkennen, gehen davon aus, dass 1,5-2% des Publikationsaufkommens in 2022 möglicherweise auf Paper Mills zurückzuführen sind – in der Biologie und Medizin sogar 3%. In absoluten Zahlen sind das 70.000 Publikationen in 2022 bzw. schätzungsweise 400.000 in den letzten 20 Jahren [van Noorden 2023]. Betroffen sind nahezu alle größeren Verlage; auch Zeitschriften von Fachgesellschaften – diese allerdings im geringeren Maße [Bimler 2022]. Beliebtes Einreichungsziel sind, wie oben erwähnt, dabei insbesondere auch Themenhefte (Special Issues) von Zeitschriften. Auch die Zusammenarbeit mit Hijacked Journals oder Predatory Journals ist denkbar (sowohl absichtlich als auch versehentlich), weil diese eine leichte Möglichkeit für Paper Mills darstellen, ihre Artikel unterzubringen [Albakina 2023; Perron et al 2023].

Im Rahmen des STM Integrity Hub (www.stm-assoc.org/stm-integrity-hub/) versuchen Verlage mittlerweile das Problem gemeinsam anzugehen. Einreichungen werden hierbei mit Hilfe von Tools überprüft und nach Kriterien wie z.B. Bildmanipulationen gesucht, die für eine Paper-Mill-Produktion sprechen. Die komplette Kriterienliste bleibt vorerst geheim, um etwaige Anpassung seitens der Paper Mills zu verhindern [van Noorden 2023]. Soviel ist bekannt: Paper Mills arbeiten nach dem Prinzip „schnelle Gewinnmaximierung“ und daher möglichst effizient: Einmal erstellte Inhalte, Literaturverzeichnisse oder auch Gutachten werden „nachgenutzt“ [Bimler 2022] oder es wird mit Templates gearbeitet [z.B. Bimler 2023; van Noorden 2023; Christopher 2021]. Hieraus ergeben sich Muster, die für eine automatische Erkennung genutzt werden können.

Ein weiteres Kriterium, nach dem gesucht wird, sind Mehrfacheinreichungen, da Paper Mills häufig bei mehreren Zeitschriften zeitgleich einreichen, um die Chancen auf eine (schnelle) Annahme zu steigern [Else 2022].

Ein weiterer Ansatzpunkt ist die Durchsicht der Website einer Paper Mill oder Snapshots von dieser auf Plattformen, die Internetseiten archivieren, nach Artikeltiteln, die zum Kauf stehen. Mit Hilfe der dort genannten Titel kann nachvollzogen werden, ob und wo die Artikel später veröffentlicht werden [Perron et al 2023].

Aufklärung auf unterschiedlichen Ebenen zur Bekämpfung des Problems

Generell ist Aufklärung auf unterschiedlichen Ebenen wichtig: Zum einen, damit fragwürdige Publikationen schneller erkannt, zurückgezogen und falsche Ergebnisse nicht zur Anwendung oder Auswertung in Reviews etc. kommen [Candal-Pedreira 2022]. Wichtig ist hierbei auch, dass entsprechende Publikationen nicht zitiert werden, was wiederum voraussetzt, dass erkannt wurde, dass diese Publikationen nicht den State-of-the-Art abbilden. Wenngleich viele der Artikel nicht zitiert werden, können einige dennoch eine nennenswerte Anzahl an Zitaten auf sich vereinigen [Teixeira da Silva & Nazarovets 2023], wobei diese auch wiederum von der Paper Mill selbst stammen können [Albakina 2023]. Außerdem: Da zurückgezogene Publikationen nicht gelöscht werden, bleibt der durch sie mit eher sinnfreien Referenzen erzeugte Impact für die zitierten Publikationen dauerhaft bestehen [Bishop 2023].

Idealerweise werden die Produkte von Paper Mills erst gar nicht publiziert – hierfür ist, neben dem Einsatz der oben beschriebenen Tools, eine Sensibilisierung von Herausgebenden und Gutachter:innen notwendig [Else 2022]. Generell kommt den Zeitschriften eine besondere Verantwortung zu, weil sie wissenschaftliche Ergebnisse in Umlauf bringen [Christopher 2021]. Eine Anpassung von Workflows und „Author Guidelines“ bei den Zeitschriften, z.B. mit Verpflichtung zur Verwendung von institutionellen Mailadressen und zur Bereitstellung einer Auflistung der Beiträge der einzelnen Autor:innen zum Manuskript; zudem könnte aber auch die Mitbetreuung von Special Issues durch Mitglieder der Stammherausgeber:innenschaft die Arbeit von Paper Mills erschweren [Perron et al 2023].

Aktuelle Praxis der Forschungsbewertung als Ursache

Klar ist, dass ein Markt sich immer nur dann bildet, wenn er auf einen Bedarf trifft. Ähnlich wie bei Predatory Publishing bedienen diese Angebote den Wunsch von Forschenden Bewertungslogiken gerecht zu werden, denen sie nun mal unterliegen – ein Verhalten, dass ihnen zu gewissen Teilen das Aufsteigen im Wissenschaftsbetrieb sichert (siehe hierzu auch den Beitrag von Susanne Luger in diesem Blog: https://in-transition.at/de/wie-sind-wir-hierher-gekommen/). Die Empfehlungen im COPE & STM Report [2022] raten daher unter anderem Forschungseinrichtungen und Mittelgeber:innen dazu, Forschungsbewertungssysteme entsprechend zu überdenken. Neben der „Stilllegung“ des fragwürdigen Geschäftsbetriebs, dem Zurückziehen von fragwürdigen Publikationen und damit dem Signal, dass diese nicht zum State-of-the-Art gehören, liegt also ein weiterer Ansatzpunkt zur Bekämpfung von unseriösen Praktiken in der Reform der derzeit gängigen Bewertungsstrukturen, die sich auf quantitative Kennzahlen zu Output und Impact stützen. Initiativen wie zum Beispiel CoARA mit dem „Agreement on Reforming Research Assessment“ (https://coara.eu/agreement/the-agreement-full-text/) setzen sich daher für die Abkehr von rein quantitativen Indikatoren bei der Bewertung von Forschungsleistungen ein und fordern eine Hinwendung zu eher qualitativen Bewertungspraktiken wie Peer Review.

Quellen

Abalkina, Anna (2023): Publication and collaboration anomalies in academic papers originating from a paper mill. Evidence from a Russia‐based paper mill. In: Learned Publishing 36 (4), S. 689–702. https://doi.org/10.1002/leap.1574

Bimler, David (2022): Better Living through Coordination Chemistry. A descriptive study of a prolific papermill that combines crystallography and medicine. Preprint. https://doi.org/10.21203/rs.3.rs-1537438/v1

Bishop, Dorothy Vera Margaret (2023): Red flags for paper mills need to go beyond the level of individual articles. A case study of Hindawi special issues. Preprint. https://doi.org/10.31234/osf.io/6mbgv

Candal-Pedreira, Cristina; Ross, Joseph S.; Ruano-Ravina, Alberto; Egilman, David S.; Fernández, Esteve; Pérez-Ríos, Mónica (2022): Retracted papers originating from paper mills. Cross sectional study. In: BMJ (Clinical research ed.) 379, e071517. https://doi.org/10.1136/bmj-2022-071517

Christopher, Jana (2021): The raw truth about paper mills. In: FEBS letters 595 (13), S. 1751–1757. https://doi.org/10.1002/1873-3468.14143

COPE & STM (2022): Paper mills research: Committee on Publication Ethics and STM. Report. https://doi.org/10.24318/jtbG8IHL

Dirnagl, Ulrich (2022). Wie die akademische Reputationsökonomie Papiermühlen antreibt. In: Laborjournal. Online verfügbar unter https://www.laborjournal.de/rubric/narr/narr/n_22_03.php

Else, Holly (2021): ‚Tortured phrases‘ give away fabricated research papers. In: Nature 596 (7872), S. 328–329. https://doi.org/10.1038/d41586-021-02134-0

Else, Holly (2022): Paper-mill detector put to the test in push to stamp out fake science. In: Nature 612 (7940), S. 386–387. https://doi.org/10.1038/d41586-022-04245-8

Else, Holly (2023): Multimillion-dollar trade in paper authorships alarms publishers. In: Nature 613 (7945), S. 617–618. https://doi.org/10.1038/d41586-023-00062-9

Kincaid, Ellie (2023). Nearly 20 Hindawi journals delisted from leading index amid concerns of papermill activity. In: Retraction Watch Blog. Online verfügbar unter https://retractionwatch.com/2023/03/21/nearly-20-hindawi-journals-delisted-from-leading-index-amid-concerns-of-papermill-activity/

Marcus, Adam (2021). Publisher offers cash for citations. In: Retraction Watch Blog. Online verfügbar unter https://retractionwatch.com/2021/08/31/publisher-offers-cash-for-citations/

Neumann, Ralf (2022). Zitatesammeln per Lieferfahrzeug. In: Laborjournal. Online verfügbar unter https://www.laborjournal.de/blog/?p=12370

Neumann, Ralf (2023). Betrugsware Co-Autorenschaft. In: Laborjournal. Online verfügbar unter https://www.laborjournal.de/blog/?p=13065

Oransky, Ivan (2021). ‚Galling‘: Journal Scammed by guest editor impersonator. Online verfügbar unter https://retractionwatch.com/2021/06/18/galling-journal-scammed-by-guest-editor-impersonator/

Perron, Brian; Hiltz-Perron, Oliver T.; G. Victor, Bryan (2021). Revealed: The inner workings of a paper mill. In: Retraction Watch Blog. Online verfügbar unter https://retractionwatch.com/2021/12/20/revealed-the-inner-workings-of-a-paper-mill/

Singh Chawla, Dalmeet (2023). How thousands of invisible citations sneak into papers and make for fake metrics. In: Retraction Watch Blog 2023. Online verfügbar unter https://retractionwatch.com/2023/10/09/how-thousands-of-invisible-citations-sneak-into-papers-and-make-for-fake-metrics/

Teixeira da Silva, Jaime A.; Nazarovets, Serhii (2023): Assessment of retracted papers, and their retraction notices, from a cancer journal associated with “paper mills”. In: Journal of Data and Information Science 8 (2), S. 118–125. https://doi.org/10.2478/jdis-2023-0009

van Noorden, Richard (2023): How big is science’s fake-paper problem? In: Nature 623 (7987), S. 466–467. https://doi.org/10.1038/d41586-023-03464-x