SCIENZA E RICERCA
La crisi di riproducibilità in Psicologia: catastrofe o salvezza?
Uno dei fondamenti di ogni scienza, forse quello principale, è la sua attendibilità. Per attendibilità si intende la misura in cui gli stessi risultati possano essere raggiunti tramite ripetute osservazioni/misurazioni dello stesso fenomeno. Quindi, una scienza per essere credibile, deve essere, innanzitutto, attendibile. In caso contrario, nessuno si fiderebbe di una scienza le cui scoperte non venissero sistematicamente replicate; esattamente come nessuno si fiderebbe di un termometro che, a parità di condizioni ambientali, segnalasse una temperatura diversa ogni due secondi.
Una delle scienze empiriche è la Psicologia. Infatti, le teorie psicologiche si bassano su scoperte, alle quali gli psicologi arrivano mediante l’osservazione del comportamento umano. Queste osservazioni possono avvenire in contesti naturali (ad esempio osservando quante volte un bambino manifesta comportamenti aggressivi). Le suddette osservazioni del comportamento umano possono aver luogo anche in contesti più artificiali, come i laboratori (ad esempio manipolando sistematicamente l’intensità di uno stimolo sonoro per osservare l’aumento dell’aggressività). Indipendentemente dallo specifico approccio alla ricerca psicologica (osservazione naturalistica vs. sperimentazione), le osservazioni del comportamento umano, se ripetutamene eseguite, dovrebbero restituire risultati comparabili e affidabili. Se questo è il caso, allora la Psicologia è una scienza attendibile. Ma come facciamo a saperlo?
Un’enorme passo avanti, per verificare l’attendibilità delle ricerche psicologiche, è stato effettuato con il Reproducibility Project: Psychology (RPP), pubblicato su Science nel 2015. Nell’RPP,100 studi, nel dominio della Psicologia, sono stati ripetuti, il più fedelmente possibile. Lo scopo dell’RPP era di valutare l’attendibilità dei risultati riportati nei 100 studi originali. Purtroppo, i risultati degli studi di replica sono stati poco incoraggianti. Infatti, approssimativamente, solo un terzo dei risultati originali è stato replicato. Ulteriori tentativi hanno riportato percentuali di replicabilità simili a quelle dell’RPP; parlo delle iniziative Many Labs (Many Labs 1:77% di studi replicati rispetto ai 13 studi originali; Many Labs 2: 50% di studi replicati rispetto ai 28 studi originali; Many Labs 3:30% di studi replicati rispetto ai 10 studi originali).
Un ulteriore passo avanti, citato da Telmo Pievani nel suo intervento, è stato fatto adesso con il Social Sciences Replication Project (SSRP), da poco pubblicato su Nature Human Behaviour. Nell’SSRP, sono stati ripetuti 21 studi pubblicati sulle due più prestigiose riviste scientifiche: Nature e Science. Sebbene questa volta le cose siano andate meglio (risultati replicati: 57-67% di quelli originali), si rimane ancora lontani da una percentuale di attendibilità perfetta (100%).
L’attendibilità, relativamente “bassa”, caratterizza solo la Psicologia e le Scienze sociali in generale? Fortunatamente, almeno per noi psicologi, no! Pare, infatti, che la Psicologia non sia l’unica scienza ad affrontare il problema delle basse percentuali di replicabilità delle proprie scoperte. Problemi simili, se non peggiori, sono presenti anche in altre scienze; per esempio, nelle varie branche della medicina. Quindi, la Psicologia non danza da sola in questo ballo dell’inaffidabilità.
Come si può riuscire ad affrontare la crisi di riproducibilità, che affligge la Psicologia e le altre scienze? Il primo passo da fare è quello di riconoscere e identificare il problema. Su questo versante, negli ultimi anni, la Psicologia si è trovata all’avanguardia. Infatti, in nessun’altra scienza hanno avuto luogo tentativi, cosi massici ed estesi, di replicare i risultati delle ricerche originali (ad es. RPP, Many Labs, ecc.). Quindi, il primo importantissimo passo è stato fatto: ci siamo accorti del problema e abbiamo verificato la sua presenza. La diagnosi è stata fatta! Ciononostante, per affrontare un problema, o peggio, una malattia -in questo caso la bassa attendibilità e, quindi, bassa replicabilità- non basta avere una diagnosi precisa. Bisogna anche avere delle terapie efficaci e innovative.
Anche con riferimento a questo secondo passo (terapia della malattia), ritengo che la Psicologia si trovi all’avanguardia. Per esempio, a livello internazionale, è nata, nel 2018, una nuova prestigiosa rivista (Advances in Methods and Practices in Psychological Science). Questa rivista ha come scopo principale la proposta e promozione di metodi e pratiche rigorose per migliorare la riproducibilità delle ricerche in Psicologia. Inoltre, Cortex, una storica rivista di Neuropsicologia, è stata all’avanguardia negli ultimi anni, nel considerare - e accettare - progetti di ricerca prima che venisse realizzata la raccolta dei dati (Registered reports; https://www.sciencedirect.com/science/article/pii/S0010945212003735). I Registered reports, infatti, garantiscono, che gli studi pubblicati si basano su chiare ipotesi formulate a priori, anziché su fantasiose “torture” dei dati e incredibili elucubrazioni teoriche; fatte a posteriori, per spiegare dei risultati inspiegabili e imprevisti o, peggio ancora, per confermare per forza le proprie posizioni, poi non replicabili. Qui alcuni esempi, di pratiche discutibili, nell’ambito della Psicologia, e, nell’ambito dell’Ecologia ed Evoluzione.
Gli sforzi degli psicologi non si fermano solo a livello delle riviste del settore. Infatti, lo psicologo Chris Chambers, nel 2017, ha pubblicato un bellissimo libro riguardante i “peccati” della Psicologia; peccati ampiamente responsabili della crisi di riproducibilità. E’ chiaro che “confessando” questi peccati, uno studioso può arrivare anche alla loro estinzione: una specie di “catarsi” psicoanalitica.
Anche a livello nazionale, le cose hanno cominciato a muoversi bene. Con i colleghi del Dipartimento di Psicologia generale di Padova, Massimo Grassi e Patrizio Tressoldi, e con altri colleghi (ad es. Marco Perugini e Cristina Zogmaister del Dipartimento di Psicologia, Milano-Biccoca), abbiamo organizzato, a partire dal 2017 una serie di presentazioni, seminari e convegni, a Padova e Milano. Lo scopo è quello di sensibilizzare tutti gli studiosi di Psicologia - noi stessi inclusi - verso l’approccio Open Science in Psicologia. L’approccio Open Science include, infatti, tutti gli ingredienti sottostanti alle buone ricerche, quelle replicabili: trasparenza delle ipotesi scientifiche formulate a priori; disponibilità di apparati, materiali e dati; chiarezza nelle analisi statistiche; libero accesso ai prodotti scientifici. Inoltre, nel gennaio del 2018, abbiamo creato su Facebook un gruppo pubblico intitolato Rete Italiana Open Science. In questa rete “vibrante” e attivissima, gli studiosi di Psicologia -e non solo- possono trovare validi e importanti riferimenti a una pleiade di materiali (ad es. articoli, capitoli, libri, siti Web, software, ecc.), utili all’incremento del rigore scientifico e, quindi, della riproducibilità dei risultati delle nostre ricerche.
In conclusione, ritengo che la crisi di riproducibilità dei risultati delle ricerche psicologiche, non sia una catastrofe, come tanti credono. È proprio il contrario! Ritengo che questa crisi, se affrontata adeguatamente, mediante i principi che derivano dall’approccio Open Science, potrà portare la Psicologia all’avanguardia scientifica; esempio da imitare per tutte le scienze empiriche. Nel frattempo, bisogna continuare a controllare scrupolosamente ogni aspetto delle nostre ricerche, applicando i principi dell’approccio Open Science. La strada che abbiamo imboccato è quella giusta, ma bisogna percorrerla fino in fondo.