istock

Publish or perish e crisi della replicabilità

La pressione a pubblicare, publish or perish, può generare dei mostri. Il problema è particolarmente grave, anche se le stime variano a seconda degli ambiti accademici considerati. Un lavoro pubblicato nel 2015 riporta che più dei tre quarti delle ricerche biomediche in fase preclinica pubblicate anche su riviste di alto profilo producono risultati che non sono replicabili. Per quanto riguarda le ricerche sul cancro, un lavoro del 2012 ha trovato che erano replicabili solo 6 lavori dei 53 considerati (circa il 10%), mentre uno studio più recente, pubblicato quest'anno, fa salire questa percentuale a 46%. Il problema si presenta anche nelle scienze sociali: secondo una stima del 2015, in ambito psicologico solo il 40% dei lavori pubblicati sono ripetibili.

La replicabilità dei risultati è una delle caratteristiche fondamentali della buona scienza. È un criterio di controllabilità e dunque di affidabilità della conoscenza prodotta: se un gruppo di ricerca sostiene di aver trovato qualcosa, ad esempio una molecola che neutralizza con efficacia un patogeno, e pubblica i risultati su una rivista scientifica, deve descrivere anche i materiali (attrezzature) e i metodi (le procedure) usati per giungere a quelle conclusioni. Riproducendo quelle stesse condizioni sperimentali, qualsiasi altro laboratorio nel mondo dovrebbe essere in grado di ritrovare i medesimi risultati. Se questo non avviene, potrebbe voler dire che i risultati ottenuti dal primo gruppo di ricerca non erano poi così solidi.

L’incapacità di replicare i risultati di una ricerca tuttavia non implica necessariamente che questi siano falsi. A volte i limiti sono posti da fattori contingenti, come ad esempio, banalmente, i costi: si pensi a cosa vorrebbe dire riprodurre un altro laboratorio come il Cern di Ginevra per replicare il risultato della scoperta del bosone di Higgs. Un sondaggio compiuto tra 1500 scienziati e pubblicato su Nature nel 2016 riporta che nonostante la fiducia nella letteratura scientifica non risulti intaccata, la crisi della riproducibilità è seria e va affrontata.

Come curare una scienza in cattiva salute

Un nuovo studio pubblicato su Nature Human Behaviour prova a farlo, per lo meno sul piano teorico, o meglio matematico, modellizzando una serie di variabili e parametri che, messi matematicamente in relazione tra loro, rappresentano la pratica scientifica e la sua evoluzione.

L’approccio adottato è quello del paradigma dell’evoluzione culturale. L’analogia proposta è la seguente: così come nel mondo biologico ci sono organismi dotati di tratti che possono essere più o meno adattativi impattando sulla sopravvivenza e sull’ereditarietà, nel mondo culturale ci sono comportamenti e idee (l’equivalente dei tratti biologici) che a seconda del successo che avranno impatteranno sulla sopravvivenza, il successo e la diffusione o meno di alcune pratiche.

Declinato nell’ambiente accademico scientifico, il successo (quella che in biologia evoluzionistica si chiamerebbe fitness) viene misurato in termini di quantità di risultati pubblicati a supporto di ipotesi vere: in questo caso si ha nel complesso la pratica di una buona scienza. Più un gruppo di ricerca pubblica risultati solidi, più questi vengono citati dai lavori degli altri gruppi e più aumenta il successo (misurato in quantità di citazioni, fitness) di quel gruppo.

In un ambiente che però spinge a pubblicare tanto e in fretta, pena l’esclusione dal gioco accademico (publish or perish), è possibile che il rigore metodologico venga meno e che si accumuli una gran quantità di risultati pubblicati che vanno a supporto di ipotesi che a un’analisi più attenta si rivelano essere false (o perché lo sono davvero o perché i risultati non possono essere replicati): lo scenario è quello di una scienza in cattiva salute.

Un declino nella qualità dei risultati scientifici può dipendere quindi da poco rigore e scarsa “efficacia” metodologica (efficacy). Tuttavia gli autori individuano un’altra possibile causa: uno scarso investimento nel lavoro preliminare che sta a monte della verifica sperimentale, ovvero il lavoro teorico di selezione dell’ipotesi da sottoporre a test. Gli autori riassumono questo concetto nel termine “sforzo” teorico (effort). In altri termini, se non si compie lo sforzo teorico di porre un filtro alle ipotesi da sperimentare, si rischia di perdere tempo, risorse e rimanere lontani da quel successo accademico misurato in numero di lavori pubblicati e citati in quanto solidi.

Occorre ricordare infatti che il sistema delle pubblicazioni scientifiche tende ad accettare solo i risultati positivi, ovvero i risultati che confermano che l’ipotesi testata risulta vera. Gli altri, ovvero i lavori le cui procedure non confermano l’ipotesi di partenza, tendenzialmente non vengono pubblicati. Alcuni fanno notare che invece rendere pubblica l’informazione che una certa procedura sperimentale è un vicolo cieco potrebbe far risparmiare tempo e risorse a molti laboratori. Ma così ad oggi non è.

Il riassunto è che senza un buon lavoro teorico a monte si rischia di arrivare a testare ipotesi balzane. Gli esperimenti, nel migliore dei casi, produrranno risultati non pubblicabili, facendo perdere risorse e tempo ai ricercatori. Ma nel peggiore dei casi gli esperimenti, condotti con scarso rigore metodologico, produrranno risultati che supportano le ipotesi balzane di partenza, le quali verranno credute vere. Tali lavori verranno anche pubblicati e contribuiranno al declino della qualità delle pubblicazioni scientifiche, perché solo troppo tardi ci si accorgerà che quegli studi erano poco rigorosi, non replicabili o addirittura (capita anche questo, ma più di rado) volutamente manipolati.

Le osservazioni degli autori del paper pubblicato su Nature Human Behaviour (un matematico di St Andrews, Alexander Stewart, e un biologo di Philadelphia, Joshua Plotkin) risultano particolarmente attuali oggi che, si dice, la teoria ha progressivamente ceduto terreno ai dati: la data-driven science è certamente più popolare della hypothesis-driven sicence.

Lungi da contrapporre questi due approcci, Stewart e Plotkin piuttosto propongono un’alleanza, sostenendo che il lavoro teorico assume il ruolo fondamentale di argine a derive qualitative delle pubblicazioni scientifiche e tende a prevenire, invece che curare, la crisi della replicabilità.

Naturalmente il lavoro teorico, che gli autori chiamano appunto sforzo, ha dei costi (tempo e risorse) che tenderanno a far produrre al gruppo di ricerca che li paga meno pubblicazioni in termini numerici, ma probabilmente risultati più solidi e contributi più validi alla conoscenza condivisa.

Quale lavoro teorico? Tre tipi almeno

Efficacia metodologica, livello di sofisticazione teorica e capacità di riprodurre empiricamente i risultati sono tre pilastri fondamentali della buona scienza. In discipline diverse però questi pilastri hanno dimensioni diverse e la loro composizione ci dice qualcosa di quello che i filosofi chiamano statuto epistemologico di una disciplina scientifica. Ad esempio alcune branche della fisica hanno metodi solidi, notevole sviluppo teorico e buona capacità di riprodurre i risultati. Una pseudoscienza come l'astrologia magari ha un discreto grado di sofisticazione teorica, ma nessun metodo valido né alcuna capacità di riprodurre i propri risultati. In mezzo a questi due estremi ci stanno tutte le sfumature intermedie, come ad esempio delle scienze sociali, che dispongono di una gran quantità di dati, ma data la complessità dei fenomeni che studiano non hanno un denominatore teorico delineato come quello che può avere la fisica nel suo cosiddetto modello standard.

Il lavoro teorico di cui parlano Stewart e Plotkin però è più specifico rispetto alla sola analisi dello statuto epistemologico di una disciplina e può essere di almeno tre tipi. Uno è l’analisi matematica formale, che spesso si può applicare alle branche della fisica. Peter Higgs ha predetto matematicamente l’esistenza del bosone che oggi porta il suo nome negli anni ‘60 del ‘900. Quando l’esperimento condotto al Cern e guidato dal fisico italiano Guido Tonelli nel 2012 ha portato a compimento il test sperimentale dell’ipotesi di Higgs, l’accademia reale svedese ha consegnato il premio Nobel al fisico britannico l’anno successivo.

Ma il lavoro teorico può essere anche un lavoro concettuale informale di meta-analisi critica della letteratura scientifica già pubblicata intorno a un determinato tema. In gergo si chiama analisi di revisione (review analysis): ad esempio, cosa sappiamo delle origini di Homo sapiens fino ad oggi? Un lavoro analitico di quanto è stato pubblicato fino ad oggi saprà mettere in evidenza le cose che sappiamo e quelle che non abbiamo capito, individuando quali sono i dibattiti cruciali in corso e proponendo un sentiero da seguire per far progredire la ricerca e le conoscenze. Questo genere di lavoro teorico, pur non avendo il formalismo della matematica, restringe il cerchio intorno alle ipotesi più valide da testare in futuro.

Un altro tipo ancora di lavoro teorico può collocarsi addirittura più a monte, e consiste nella creazione di canali di comunicazione tra discipline diverse: si tratta, in altri termini, favorire l’interdisciplinarità. Per restare nell’ambito dell’evoluzione umana, negli Stati Uniti, ma anche in Germania o nel Regno Unito, sono di recente sorti centri di ricerca interdisciplinari che riuniscono biologi, antropologi, psicologi, neuroscienziati, sociologi, informatici (computer scientists che si occupano di far modelli e simulazioni) per indagare domande comuni a tutti questi ambiti con metodologie diverse ma incanalate in modo collaborativo verso un unico obiettivo: ad esempio capire come sono evolute le facoltà cognitive umane e capire se sono le stesse per tutti gli esseri umani o se mostrano una variabilità non trascurabile.

Naturalmente raggiungere questo grado di contaminazione proficua non è cosa semplice, e lo è ancor di meno in un’organizzazione accademica in cui le carriere dei ricercatori sono rigidamente divise per settori scientifico-disciplinari. Solitamente per far carriera, un ricercatore dovrà pubblicare molto e bene in campi molto delimitati e specialistici. Gli incentivi a creare ponti tra approcci e discipline diverse sono pochi, anzi sono di più i disincentivi a farlo. Questo di certo non favorisce quella forma di lavoro teorico che è la ricerca interdisciplinare, necessaria oggi più che in passato a mantenere la conoscenza scientifica in buona salute.