Studi che non esistono: le citazioni inventate arrivano in fisica e ingegneria

Nel primo trimestre del 2026, un articolo su 435 pubblicato su riviste scientifiche di fisica, chimica, scienza dei materiali, ingegneria e informatica citava almeno uno studio che non esiste. Nel 2023 il rapporto era di uno su 1.600. Sono i numeri principali di uno studio uscito su Proceedings of the National Academy of Sciences (PNAS), firmato da un gruppo guidato da Maxim Topaz, docente alla School of Nursing e al Data Science Institute della Columbia University di New York.

In altre parole, in poco più di tre anni la frequenza degli articoli con citazioni fantasma è quasi quadruplicata: da 6,3 ogni 10 mila nel 2023 a 15,4 nel 2025, fino a 23 nei primi tre mesi di quest'anno. Il fenomeno tocca tutti e cinque i settori analizzati, ma con intensità molto diverse. Sull'intero periodo, a guidare la classifica è la fisica con 25,6 articoli ogni 10 mila, seguita da scienza dei materiali (18,4), computer science (11,1), ingegneria (10,3) e chimica (4,3): uno scarto di circa sei volte tra il primo e l'ultimo posto.

Non sono numeri enormi, ma proiettando i tassi di ciascun campo sui circa 7 milioni di articoli complessivamente indicizzati in queste discipline nello stesso periodo, gli autori stimano che circa 8.500 articoli pubblicati contengano almeno un riferimento inventato, per un totale di circa 14 mila citazioni a studi che nessuno ha mai scritto.

Dopo la medicina

Non è la prima volta che il gruppo di Topaz mette sotto la lente della ricerca le bibliografie dei paper scientifici. Lo studio su PNAS è, infatti,  l'ultimo tassello di un lavoro che il team ha reso disponibile nel corso di quest'anno. Lo scorso maggio, una research letter pubblicata su The Lancet aveva passato al setaccio 2,5 milioni di articoli nel settore biomedico, trovando 4.046 citazioni inventate in 2.810 articoli.

A luglio è arrivato un secondo lavoro pubblicato sul Journal of Internal Medicine e concentrato su medRxiv, cioè l’archivio online di preprint medici più noto. I riferimenti inventati risultavano circa due volte più frequenti che negli articoli già passati dalla peer review (37,2 contro 16,4 ogni 10 mila). E a settembre un preprint su arXiv, non ancora sottoposto a revisione, ha messo alla prova 26 large language model, i grandi modelli linguistici alla base di chatbot come ChatGPT: quando gli è stato chiesto di fornire riferimenti bibliografici in ambito medico, ne hanno inventati il 55%.

Leggi anche: Troppi paper scientifici: la scienza diventa "junk"

“Dopo il nostro audit su The Lancet, la domanda che ci siamo sentiti fare più spesso era se si trattasse di un problema specifico della medicina. Non lo è”, ha dichiarato Topaz nel comunicato della Columbia University. Fuori dall’ambito biomedico, infatti, le prove erano finora scarse: un audit indipendente su server di preprint e PubMed Central, citato dagli stessi Topaz e colleghi, aveva già segnalato il problema anche in altri ambiti, ma nessuno aveva misurato se e quanto il fenomeno riguardasse la letteratura revisionata delle scienze fisiche, dell'ingegneria e dell'informatica, né se ci fossero differenze tra un campo e l'altro.

Come si scova una citazione fantasma

Per rispondere, il gruppo ha estratto un campione casuale stratificato di 500 mila articoli pubblicati su riviste scientifiche tra gennaio 2023 e il 31 marzo 2026. La fonte è OpenAlex, un grande indice aperto che raccoglie pubblicazioni scientifiche e che permette anche di individuare i legami di citazione tra di loro. Nel campione non ci sono preprint: solo articoli usciti su rivista, quindi passati, almeno sulla carta, dal vaglio della revisione tra pari.

Da questi articoli sono stati estratti 26,2 milioni di riferimenti bibliografici. Gli autori hanno ne hanno tenuti 21,6 milioni (circa l'82%): quelli dotati di un DOI funzionante, ossia il codice che identifica in modo univoco una pubblicazione, una specie di codice fiscale dell'articolo scientifico. Per ciascuno, il sistema ha recuperato il titolo a cui il DOI rimanda e lo ha confrontato con quello dichiarato nella bibliografia. Se i due non coincidevano, il riferimento finiva sotto osservazione.

A quel punto sono entrati in gioco dei filtri automatici e un Large Language Model (Claude 3.5 Haiku, di Anthropic), con il compito di separare i possibili falsi dalle semplici differenze di formattazione, come un titolo abbreviato o troncato. C'è forse una certa ironia nell'usare un'intelligenza artificiale per dare la caccia a errori che spesso vengono attribuiti proprio alle intelligenze artificiali. Ma lo studio si guarda bene dal trarre questa conclusione. I titoli sopravvissuti sono stati infine cercati in sette fonti diverse: OpenAlex, Crossref, PubMed, Semantic Scholar, Europe PMC, Google Scholar e il motore di ricerca DuckDuckGo. Solo se un titolo non compariva da nessuna parte veniva classificato come “inventato”.

Risultato: 1.135 riferimenti inventati in 619 articoli. Per verificare la tenuta del metodo, due esperti hanno esaminato in modo indipendente, e senza sapere come il sistema li avesse classificati, un campione casuale di 400 riferimenti segnalati. Ne hanno confermati come inesistenti l'85,8%.

Fisica in testa, chimica in coda

La crescita è visibile in ogni campo, come mostrano i dati riportati nello studio. Ma è la fisica a fare corsa di testa: nel primo trimestre del 2026 gli articoli con almeno una citazione inventata sono 48,6 ogni 10 mila, più o meno uno su 200.

Perché proprio la fisica? Gli autori avanzano più ipotesi, senza sceglierne una. I tempi tra l'invio di un articolo e la sua pubblicazione variano da disciplina a disciplina, e i campi con una filiera editoriale più rapida mostrerebbero il fenomeno prima e con tassi più alti. Poi c'è il ruolo dei preprint: in fisica arXiv è da decenni il cuore della comunicazione scientifica e, dove citare materiale non revisionato è la norma, un riferimento che non si riesce a verificare può attirare meno attenzione da parte di autori, revisori ed editor. Anche l'uso dei modelli linguistici nella scrittura scientifica cambia da un campo all'altro, così come la selettività delle riviste. Con ogni probabilità, concludono, questi meccanismi agiscono contemporaneamente.

Per la chimica c'è poi un'avvertenza. OpenAlex classifica alcune riviste di chimica analitica e di chimica fisica sotto la biochimica, quindi il suo tasso va letto come una soglia minima, e la distanza reale tra i campi potrebbe essere più ridotta.

Il condizionale è d'obbligo

Gli autori sono molto cauti su come vanno letti questi numeri. Anzitutto, “inventato” è un'etichetta operativa: indica un titolo che non si trova in nessuna delle sette fonti consultate e descrive la verificabilità di un riferimento, non l'intenzione di chi l'ha scritto. Le cause possibili sono diverse: le paper mill, cioè le ‘fabbriche’ di articoli falsi su commissione; altre forme di cattiva condotta; oppure l'uso acritico di strumenti di scrittura basati sull'intelligenza artificiale, capaci di produrre riferimenti tanto fluenti quanto fittizi. Ma visto che tra l'invio e la pubblicazione passano spesso diversi mesi, l'andamento nel tempo è “compatibile con molteplici cause” e “non dimostra il coinvolgimento dei grandi modelli linguistici”.

Inoltre, come spiegano i materiali supplementari, dal conteggio sono rimasti fuori i 4,6 milioni di riferimenti senza DOI, il 18% del totale. Il gruppo ha provato a verificarli usando solo il titolo, ma ha rinunciato: le lacune dei database, soprattutto per la letteratura non in lingua inglese, gli atti di convegno e le tesi, generano troppi falsi positivi. Un'esclusione che, ammettono gli autori, può distorcere le stime in entrambe le direzioni. Non è stato valutato nemmeno quante citazioni inventate siano sfuggite al sistema. E la proiezione di 8.500 articoli coinvolti, con un intervallo tra 7.500 e 9.600, tiene conto solo della variabilità del campione, non degli errori di classificazione.

Uno non vale cinque

La maggior parte degli articoli coinvolti contiene uno o due riferimenti inventati: 518 ne hanno uno, 47 due, 27 tre o quattro. Ma ci sono 27 articoli che ne contengono cinque o più, e da soli concentrano più di un terzo di tutte le citazioni inesistenti individuate. Per gli autori la distinzione conta: uno o due riferimenti fantasma possono essere il frutto di un errore isolato, mentre i casi più gravi meritano una revisione prioritaria. “Un articolo con un solo riferimento non verificabile e uno con cinque o più non sono la stessa cosa, e gli editor non dovrebbero trattarli allo stesso modo”, sottolinea Topaz intervistato da Phys.org.

Finora, però, le riviste sembrano essersene accorte poco. Al momento dell'audit solo due dei 619 articoli erano stati ritrattati, e nessuno dei due era tra i 27 casi più gravi. Una delle note di ritrattazione segnalava, insieme a fonti esistenti ma citate male, anche riferimenti a studi inesistenti; l'altra parlava di problemi di paternità e di dati incompleti, senza alcun cenno alla bibliografia. Gli altri 617 articoli, il 99,7%, non avevano ricevuto ritrattazioni, correzioni o ‘espressioni di preoccupazione’ da parte degli editor. Una fotografia indicativa, precisano gli autori, non un bilancio definitivo, visto il poco tempo trascorso dalla pubblicazione.

L'elenco dei singoli articoli non è stato reso pubblico, per non attribuire citazioni inventate ad autori identificabili prima che gli editori abbiano fatto le loro verifiche: è disponibile, su richiesta, per editor e revisori.

La buona notizia, secondo Topaz e colleghi, è che si tratta di “uno dei pochi problemi di integrità che si possono controllare automaticamente, prima ancora che un articolo venga pubblicato”. Per questo gli autori raccomandano verifiche automatiche dei riferimenti al momento dell'invio dei manoscritti e uno screening retroattivo della letteratura già pubblicata. 

Il gruppo, intanto, sta continuando a lavorare su questi temi, tornando a occuparsi della letteratura biomedica. Come riporta Phys.org, il prossimo passo è analizzare 12 milioni di articoli medici pubblicati dal 2020 a oggi e chiedere a esperti di valutare quanto alcune centinaia di riferimenti fabbricati pesino sugli articoli che li contengono. I risultati serviranno a costruire protocolli di screening, regole e formazione per la gestione dei manoscritti.

Perché, come ricorda Topaz, “una citazione è una promessa fatta al lettore: quella che una fonte esista. In un numero crescente di articoli scientifici, tale promessa non viene mantenuta”.