Diciamo subito, non è un sondaggio scientificamente significativo: sia perché il campione non è statisticamente rappresentativo della comunità scientifica internazionale, sia perché non è detto che chi ha risposto avesse le giuste competenze. Ma è comunque significativo che tra i 1.576 ricercatori intervistati dalla rivista  Nature il 70% sostiene di non essere riuscito a ripetere un qualche esperimento riportato nella letteratura scientifica e il 90% ritiene che la scienza sia nel pieno di una “crisi di riproducibilità”.

I risultati di questa indagine sono stati resi noti da Monya Baker con un articolo – senza peer review – pubblicato sul numero del settimanale scientifico inglese dello scorso giovedì 26 maggio.

Davvero gli articoli scientifici pubblicati sulle oltre 100.000 riviste con peer review di livello internazionale sono “scarsamente riproducibili”? Certamente sì. Ma è altrettanto certo che la percezione della crisi sovrastima i fatti. In una recente indagine, scientificamente fondata, sulla riproducibilità dei risultati ottenuti in una disciplina molto delicata qual è la psicologia, “solo” il 40% è risultato non riproducibile. Il che non significa che 4 articoli su 10 in quella disciplina riporti risultati sbagliati. Studiare la psiche dell’uomo, che per definizione è unica, non è semplice. E dunque un tasso di mancanza di riproducibilità è scontato.

Non abbiamo statistiche precise sulle “scienze dure”, ma è presumibile che in matematica come in fisica o in chimica i risultati siano molto più riproducibili. Ciò non toglie che una quota parte (il 10, il 20 per cento?) degli articoli scientifici propongano risultati difficili da riprodurre. 

E poiché la scienza è un processo teso a raggiungere un consenso razionale di opinione tra esperti che devono trovarsi in accordo prima sui fatti e poi sulla loro interpretazione, sono lecite alcune domande: è troppo alta la quota di irriproducibilità? Quanto fa male – se fa male – alla scienza? E quali sono le cause?

Alla prima domanda si può rispondere che non tutte le esperienze scientifiche siano riproducibili. Alcune, soprattutto quelle relative a sistemi complessi in cui la diversità degli elementi e la storia delle loro relazioni giocano una parte importante, sono difficilmente riproducibili per definizione. Altre lo sono per ragioni culturali. Nel 1610 Galileo propose a molti esperti – per esempio ad Antonio Mangini, professore di matematica a Bologna e astronomo consumato – di puntare il cannocchiale al cielo e vedere le cose che lui aveva visto e raccontato nel Sidereus Nuncius. Ma molti non avevano alcuna dimestichezza con il nuovo strumento e davvero non vedevano ciò che invece appariva agli occhi di Galileo. Dunque, bisogna fare attenzione. Se un esperimento risulta non riproducibile non è detto che sia sbagliato, può darsi che chi lo ripete non sappia “come si fa”.

Tuttavia, non bisogna nascondersi dietro un dito. Molti risultati pubblicati su riviste scientifiche sono non riproducibili perché sono sbagliati. Eccoci, dunque, alla seconda domanda: tutto questo fa male alla scienza?

Non è detto. Quando l’errore viene scoperto, la scienza ci guadagna. Prendiamo a esempio il famoso annuncio dei “neutrini più veloci della luce”. L’osservazione del gruppo OPERA risultò non riproducibile. E anche per questo lo stesso gruppo OPERA fu indotto a ricercarne la cause, trovando l’errore. E dimostrando che la comunità scientifica ha gli anticorpi giusti per scoprire i suoi stessi errori. Quella vicenda, probabilmente, ha fatto più bene che male alla scienza. 

Ma ancora una volta, non nascondiamoci dietro un dito. O una singola vicenda. La terza domanda è: gli errori scientifici sono in aumento e quali sono le cause?

La domanda ammette numerose risposte, che occorre contestualizzare. Solo una quota minima degli errori è frutto di frodi. In questo caso non c’è dubbio alcuno: chi imbroglia va individuato prontamente e punito (con equità e proporzionalità). Il grosso degli errori ha altre cause che non la malafede. E occorre tenerle tutte presenti.

In molti settori, per esempio, ha un’influenza non banale il “conflitto di interessi”. I ricercatori sono finanziati da grandi imprese e, in maniera più o meno consapevole, tendono a presentare solo risultati bene accetti ai finanziatori. Talvolta si è indotti a forzare un po’ e a produrre risultati non riproducibili.

Non meno influente è il cosiddetto “publish or perish”: o pubblichi o non sei nessuno. Questa tensione riguarda anche – e, forse, soprattutto – i ricercatori che attingono a fondi pubblici per le loro ricerche: il cui valore, ormai in tutto il mondo, viene misurato su basi quantitativa (quanti articoli hai pubblicato? Quante citazioni hanno avuto i tuoi articoli?). E talvolta la ricerca della quantità va a scapito della qualità.

Infine i ricercatori in tutto il mondo stanno aumentando rapidamente. Se all’inizio del XX secolo gli uomini e le donne di scienza erano poche decine di migliaia in tutto il mondo, ora sono quasi otto milioni. Ma il meccanismo di valutazione critica dei loro lavori – la cosiddetta peer review – è rimasto sostanzialmente analogo. Viene svolto su base volontaria da colleghi anonimi. Gioco forza la qualità della revisione critica ne risente.

In definitiva, il combinato disposto dell’aumento degli investimenti industriali, della valutazione bibliometrica e del numero stesso dei ricercatori fa sì che gli errori fisiologici siano aumentati in numero assoluto e, probabilmente, anche in termini relativi.

Tuttavia la scienza ha in sé ancora gli anticorpi giusti per correggere se stessa. Purché faccia come Nature: non nasconda il problema e, anzi, ne dibatta pubblicamente.

Pietro Greco