Ricerca universitaria: indici bibliometrici, tra il serio e il faceto
Lo scorso 15 dicembre l’università di Siena ha ospitato un incontro promosso dalla Rete delle Società Scientifiche (RSS) per discutere la riforma a pezzi dell’università italiana che il governo sta portando avanti.
Secondo gli oltre oltre 300 partecipanti, rappresentanti di varie fasce del mondo accademico (docenti, ricercatori precari, studenti, membri dell’Accademia dei Lincei, esponenti dei sindacati) si starebbe delineando un quadro preoccupante che rischia di minare non solo i finanziamenti (storicamente scarsi) ma anche l’autonomia dell’istituzione universitaria, sancita dall’articolo 33 della Costituzione. I principali punti di discussione sono stati quelli riportati in una lettera aperta a governo e parlamento pubblicata il 20 novembre scorso, sottoscritta da 138 società scientifiche.
Le critiche alla riforma non sono però una rigida difesa dello status quo. La RSS riconosce che alcuni meccanismi del sistema accademico oggi non funzionano come dovrebbero.
LEGGI ANCHE
I valori-soglia dell’ANVUR
Il governo ha da poco fatto passare in Senato la legge 1518 che prevede la rinuncia all’Abilitazione Scientifica Nazionale (ASN), una sorta di certificazione che fino a ora i ricercatori dovevano ottenere per poter diventare professori associati in Italia (non vale però per altri Paesi).
I criteri con cui questa abilitazione viene ottenuta sono stabiliti dall’ANVUR (Agenzia Nazionale per la Valutazione dell’Università e della Ricerca) attraverso un sistema di valori-soglia che il candidato o la candidata deve raggiungere con titoli e pubblicazioni scientifiche.
La procedura di reclutamento tramite concorsi da parte dei singoli atenei però prevede già una valutazione dei titoli e delle pubblicazioni scientifiche dei ricercatori, rispetto alla quale il sistema dell’ANVUR risulta ridondante e a volte persino incongruente.
In certi casi, alcuni settori scientifico-disciplinari non riconoscono nella categoria di “fascia A” riviste internazionali tra le più citate del settore: può capitare allora che i paper che un ricercatore ha pubblicato su quelle riviste non vengano considerati nel computo dei valori-soglia che permettono l’ottenimento dell’ASN, perché la lista dell’ANVUR non le elenca.
La Rete delle Società Scientifiche riconosce questi e molti altri limiti, tanto che a Siena “è stata ribadita la critica al ruolo svolto fin qui dall’ANVVUR, che con la sua logica bibliometrica ha spinto i ricercatori a privilegiare la quantità di pubblicazioni rispetto a qualità e originalità”.
Invece di tentare di riformarla, il governo ha scelto di abolire l’ASN, anche se forse sarà prevista una proroga della sua validità per un altro anno.
L’H-index
Allargando lo sguardo al di fuori dell’Italia, la questione degli indici bibliometrici con cui viene valutata la produttività scientifica di ricercatori e ricercatrici è molto sentita e dibattuta. Anche all’estero privilegiare la quantità delle pubblicazioni a scapito della loro qualità è avvertito come un problema sistemico. Così facendo, i ricercatori spendono i loro sforzi migliori per ottimizzare i propri indici bibliomentrici. In altri termini, scelgono di ingegnerizzare la propria carriera, invece di lavorare nella direzione di fornire, con l’innovatività della propria ricerca, un servizio alla società che con le tasse paga loro gli stipendi.
Naturalmente questa logica è figlia dalla scarsità delle risorse economiche che permea l’intero sistema accademico (non solo italiano), che offre poche posizioni permanenti e che produce una feroce competizione tra candidati per ottenerle. È il famoso publish or perish, pubblica o perisci.
Invece dei valori-soglia dell’Anvur, la comunità scientifica internazionale insegue l’H-index, introdotto una ventina di anni fa dal fisico John Hirsch. Un ricercatore con un indice h pari a n avrà pubblicato n articoli, ciascuno dei quali è stato citato almeno n volte.
In un commento su Nature, il vice presidente dell’Accademia delle scienze polacche Dariusz Jemielniak, scherza sul vaso di pandora che l’H-index ha scoperchiato: “Ciò che Hirsch aveva scatenato non era semplicemente una metrica, ma una compulsione. Nel giro di un decennio, l’indice h si era metastatizzato attraverso le discipline. E molto rapidamente, più che una metrica, divenne un obiettivo. Le commissioni di selezione iniziarono a ordinare i candidati in base all’indice h; le commissioni di avanzamento fissarono soglie di indice h; gli studenti di dottorato cominciarono a controllare il proprio indice h con la frequenza e l’ansia tipicamente riservate al controllo di un’app di incontri”.
Oltre all’H-index però, negli ultimi anni gli indici bibliometrici si sono moltiplicati.
Un’invasione di indici
“Ma perché fermarsi a un solo numero quando se ne possono avere decine?” continua sarcastico Dariusz Jemielniak. “Oggi l’accademico moderno non si limita a pubblicare: produce metriche”. Oltre all’indice H infatti negli ultimi anni ne sono stati elaborati molti altri, tra cui:
l’indice G, che attribuisce maggiore peso agli articoli molto citati;
l’indice E, che tiene conto delle citazioni oltre quelle considerate dall’indice H;
l’indice A, che misura il numero medio di citazioni nei principali articoli di un ricercatore;
l’indice M, che tiene conto della durata della carriera;
l’indice i10, che indica il numero di pubblicazioni con almeno dieci citazioni;
l’H-core, ovvero i più importanti articoli considerati dall’indice H;
l’indice H contemporaneo, che aggiunge una funzione di decadimento nel tempo del valore “perché a quanto pare anche le citazioni dovrebbero avere una emivita”.
Pubblicazioni un tanto al chilo
Anche Dariusz Jemielniak arriva a proporre il suo personalissimo indice bibliometrico: l’indice J.
“J = W ÷ Y, dove W è il peso totale (in chilogrammi) di tutti i libri scritti da uno scienziato e Y è il numero di anni trascorsi da quando l’autore ha conseguito il dottorato”.
“Consideriamone l’elegante semplicità. Non dobbiamo più preoccuparci dei cartelli di citazioni (in cui gli autori si citano reciprocamente per aumentare il numero di citazioni) né di manipolare il sistema tramite autocitazioni. L’indice J è immune a tali pratiche – a meno che i libri non vengano stampati su carta particolarmente pesante, cosa che dovrebbe essere scoraggiata mediante linee guida rigorose sui pesi accettabili della carta”.
“L’indice J riconosce ciò che tutti sappiamo ma raramente ammettiamo: la vera erudizione ha peso. Una monografia della Princeton University Press, con la sua dignitosa consistenza e le sue sostanziose note a piè di pagina, dovrebbe sicuramente contare più di una dozzina di articoli leggeri sparsi come coriandoli accademici su varie riviste. Lo studioso che produce un flusso costante di tomi poderosi dimostra non solo capacità intellettuale, ma anche resistenza fisica – trasportare quei manoscritti fino all’editore non è certo un’impresa da poco”.
L’indice J risolverebbe anche l’annoso problema dei confronti tra discipline. “Non è più necessario arrovellarsi sul fatto che gli informatici citino in modo diverso dagli storici, o che i ricercatori in ambito medico pubblichino in team mentre i filosofi faticano in solitudine. Un chilogrammo di filosofia pesa quanto un chilogrammo di fisica”.
Con la sua proposta paradossale Dariusz Jemielniak in realtà non fa altro che evidenziare che discipline diverse, operando in maniera diversa, avrebbero bisogno di criteri di valutazione della produzione scientifica diversa. Per quanto elegante sia la semplicità, valutare le pubblicazioni un tanto al chilo trascura troppe sfumature complesse del lavoro di ricerca.
Individui e gruppi
Potrebbe trattarsi dell’ennesima proliferazione di indici bibliometrici, ma in un altro commento su Nature, David Budtz Pedersen coordinatore della EU High Level Conference on Reforming Research Assessment, propone di mettere meno enfasi sugli individui e più sui gruppi. La ragione è presto detta: un lavoro di analisi di 65 milioni tra paper, brevetti e software ha evidenziato che la ricerca in gruppo ha più probabilità di generare vere innovazioni scientifiche rispetto a quella condotta da singoli individui. Un’altra analisi ancora ha mostrato che questa innovazione viene prodotta con più alta probabilità da gruppi collaborativi e culturalmente diversi, rispetto a quelli organizzati secondo una struttura più rigidamente gerarchica.
Sviluppare criteri validi per misurare la performance scientifica di un gruppo, composto da individui, non è semplice. Al momento sono state sviluppate solo indicazioni generiche, ma non un vero e proprio indicatore.
La direzione potrebbe essere quella di includere nei bandi alcuni di questi criteri, in modo da incentivare i Principal Investigators, ossia ricercatori che fanno domanda di finanziamento per condurre i loro progetti di ricerca, a promuovere una cultura collaborativa all’interno del laboratorio.
Non sarà questo a risolvere tutti gli annosi problemi del publish or perish, che oggi continua a dominare la rincorsa alla carriera accademica, ma anche secondo David Budts Pedersen in un modo o nell’altro “l’attuale modello di ipercompetizione e di pressione sui ricercatori, che devono dedicare quanto più tempo possibile all’inseguimento di un ristretto insieme di indicatori, deve cambiare”.
