Non si può parlare della valutazione della ricerca astraendo dalle condizioni presenti dell’università italiana. Il modo nel quale, infatti, si è impostata e si sta svolgendo la complessiva attività di valutazione è influenzato da tali condizioni e, a sua volta, le influenza.

Le condizioni dell’università, il luogo nel quale principalmente si fa ricerca in Italia, sono miserevoli:i rettori, scelti spesso in base a criteri di selezione inversa e prigionieri di una concezione bonapartista (quando non satrapesca o bossistica) della loro funzione, si sono erti a rappresentanti delle università e hanno persino costituito un loro piccolo Parlamento i cui poteri sono cresciuti, e che opera come un organo corporativo; le strutture fondamentali, le facoltà, sono in corso di cambiamento in dipartimenti (la dipartimentalizzazione, già criticata a suo tempo da Massimo Severo Giannini, sta avendo esiti diversi talora cambiando solo il nome, talaltra producendo riaggregazioni per disciplina, talaltra conducendo ad altri risultati, spesso dannosi, senza che alcuno si preoccupi di valutare i risultati del processo in corso) ;le risorse scarseggiano, dopo anni di relativa abbondanza che hanno moltiplicato le sedi universitarie, molte delle quali sono solo “teaching universities”, o grandi licei (basti dare uno sguardo alle loro biblioteche); sono quasi sei anni che non si reclutano nuovi docenti, con conseguenti vuoti e invecchiamento del corpo professionale; fuggono altrove i giovani ricercatori senza grandi prospettive davanti, e fuggono i giovani e vecchi professori, alla ricerca periodica di buone e funzionanti biblioteche estere, dove trascorrere anni sabbatici o mesi di clausura; la ricerca si sta spostando fuori dell’università, un fenomeno non ignoto agli storici, che si è verificato, ad esempio, in Europa, nel Sei-Settecento; le strutture amministrative centrali si sono auto-annullate, proprio nel momento nel quale, con l’autonomia universitaria, vi era bisogno di un centro forte quale strumento di raccordo, di scambio, di trasmissione delle conoscenze, di verifica; non è in Italia nessuna delle poco meno di cinquanta università che  nel mondo corrispondano al modello humboldtiano (quello che ha fatto scrivere a un noto studioso americano nella prefazione a un libro appena uscito “I have often described life as a Yale Law School faculty member as the modern equivalent of living at the Court of Medici, but without the obligations of a courtier”: J. L. Mashaw, Creating the Administrative Constitution. The Lost One Hundred Years of American Administrative Law, Yale Univ. Press, 2012, p. IX: nessun professore universitario italiano potrebbe scrivere una frase analoga).

La misurazione della ricerca. Su tutto questo si è inserito, dopo essere giunto in ritardo,  il processo di misurazione e valutazione della qualità della ricerca, un’attività preziosa, ma condotta male. Questa è svolta con tecniche ingegneristiche e prevedo che farà fallire il progetto della misurazione e valutazione. Quali sono i difetti principali? Ne vedo cinque: burocratizzazione; sproporzione tra promozione e guida, e controllo della ricerca; mancata distinzione tra misurazione e valutazione; confusione tra misurazione per fare paragoni e misurazione per calcolare proporzioni; sproporzione tra mezzi e fine. Ma prima di parlare di ciascuno di essi, voglio spiegare che derivano da insufficienti riflessioni sul modo in cui inserire un processo centrale di misurazione sulle procedure necessariamente decentrate di valutazione, sulla scientometria e bibliometria come tecniche di misurazione della scienza, e sulla docimologia come teoria e tecnica degli esami e delle valutazioni di attività. In particolare, derivano da una scarsa attenzione sulla distinzione tardo ottocentesca tra “valutazioni di istato” e “valutazioni di isviluppo”; dall’aver dimenticato che “le misurazioni sono preziose, ma non sono valutazioni. Una valutazione richiede almeno il confronto con misurazioni anteriori e con misurazioni medie in relazione alle caratteristiche degli ambienti extrascolastici e con l’assetto organizzativo degli insegnamenti” (T. De Mauro, A proposito di misurazione e valutazione, in E. Lugarini (a cura di), Valutare le competenze linguistiche, Milano, FrancoAngeli, 2010, p. 17 – 22); l’assenza di elementi di comparazione avrebbe dovuto consigliare, in qualche caso, almeno maggiore prudenza nell’avventurarsi in classificazioni di buoni, meno buoni e cattivi; dalla insufficiente riflessione sulla regola generale che “non si misura senza definire e dunque elaborare e concepire in modo esplicito che cosa si misura e perché” (T. De Mauro, op. loc. cit.): ad esempio, atti ufficiali, ministeriali e dell’Anvur, fanno riferimento a “libri” e “articoli” senza tentare di definirli, e quindi sollevano problemi che non possono essere definiti “a posteriori”; da ignoranza del contesto nel quale la valutazione si andava a calare, aggiungendo una fase a procedimenti amministrativi di varia natura (scelta dei commissari di abilitazione, scelta delle persone da abilitare, distribuzione di mezzi finanziari, ecc.) e, quindi, innestandosi in un mondo iperregolato, nel quale decisore ultimo non è l’Anvur, ma il giudice amministrativo.

I difetti della “valutazione della ricerca”. Il processo centrale di misurazione, avviato dal Civr, è ora stato collegato alle procedure selettive, sia degli esaminatori, sia degli esaminandi. E’ stato istituito un ente apposito, l’Anvur. Questo  rappresenta il vertice della rete dei nuclei di valutazione delle singole università, un ulteriore fattore di complicazione che si aggiunge ad una poco chiara ripartizione dei compiti tra Anvur stessa e Civit. Le procedure amministrative di attuazione della recente legge universitaria, finora avviate, sono o fondate su esiti di attività dell’Anvur o piene di riferimenti ad atti dell’Anvur o di suoi organismi sussidiari. Quindi, la cosiddetta valutazione della ricerca è entrata appieno nell’attività amministrativa (selezione, finanziamento, ecc.), e finirà per seguirne le regole. Si pensava alla “scientometria al potere”, invece l’ultima parola sarà quella dei giudici amministrativi. Si sarebbe potuta evitare la tentazione di “dare la pagella ai professori”, utilizzando, nella prima fase, la valutazione solo per lo scopo originario, quello della distribuzione dei fondi. Si sarebbe potuto provvedere in modo progressivo, per gradi, e più limitato, per aree, per abituare alle specifiche procedure di valutazione un mondo che non ha saputo finora distinguere l’una dall’altra e per tener conto della circostanza che alcune aree dispongono di criteri e indicatori internazionalmente accettati, altre non ne dispongono. Si sarebbe potuto evitare di “amministrativizzare” tutta la procedura, con gradi e misure che di necessità evocano futuri interventi giudiziari e fanno prevedere che i futuri concorsi si vinceranno al Consiglio di Stato, non nelle università. Si sarebbe potuto prevedere che il complesso meccanismo misurativo avesse finalità conoscitive, per fornire alle commissioni di valutazione un insieme di ulteriori elementi su cui fondare i propri giudizi. Si sarebbe potuto procedere attivando discussioni nelle diverse “comunità epistemiche”, alcune più abituate, altre meno alla misurazione della ricerca, anche per evitare di centralizzare, e senza confondere le comunità scientifiche di settore con le relative società e associazioni, spesso giovanissime. Si sarebbe potuto procedere in modo più trasparente, fissando prima i criteri, discutendoli apertamente, poi applicandoli. Nulla di tutto questo: si sono stabilite scale di merito e si è dato ad esse un valore giuridico scriminante. Le base dati su cui si è proceduto e i criteri selettivi non sono stati resi noti e in molti casi sono stati tenuti nascosti (si veda quanto più avanti si osserva sulle prime cause in materia). Il miglior esempio della burocratizzazione è quello del documento sull’“Autovalutazione, valutazione e accreditamento del sistema universitario italiano”, paradigma di bizantinismo burocratico e di accanimento classificatorio-valutatorio che potrebbe far soccombere anche un organismo giovane e sano (e l’università italiana non lo è). C’è chi dice che tutto ciò va imputato al Ministero, invece che all’Anvur. Ma, se disegno ministeriale c’è stato, l’Anvur si è prestata al gioco. Scelta tanto più sbagliata se si ritiene che corrisponda ad un disegno burocratico di soffocamento dell’Anvur stessa.

Sproporzione tra promozione e controllo. L’intera macchina della misurazione e valutazione opera come un filtro. Ma per filtrare un liquido, bisogna che il liquido da filtrare ci sia. Voglio dire che in  molti settori scientifici la ricerca langue. Che alcuni si sono rapidamente organizzati in vista dei “punteggi” della misurazione. Che, nell’insieme, l’attenzione posta sul filtro è sproporzionata all’impegno diretto a “bonificare” settori dove la ricerca è carente e a evitare che gli esaminandi si preparino in funzione dei criteri di misurazione adottati, invece che secondo principi che debbano  saggiare una buona ricerca. Per quanto breve sia l’esperienza dell’Anvur, i ricercatori hanno già cominciato ad apprestare e a presentare le proprie ricerche in funzione delle misurazioni e presto saranno pronti anche a ricercare in funzione delle misurazioni (come lo studente che si prepara in vista delle domande del professore, e non in funzione di uno studio approfondito ed intelligente della materia). Ciò conferma che la misurazione nasce dalla valutazione. E che quindi sarebbe stato utile una maggiore discussione sui criteri valutativi che sfociano nell’adozione di misure. Perché non ci si preoccupa di insegnare a ricercare, visto che tanti professori hanno rinunciato a spiegare come si deve svolgere l’attività di ricerca? Perché tanta attenzione per la misurazione della ricerca e nessuna – per ora – per lo stato delle biblioteche universitarie, che sono ancora, in molti settori, i principali mezzi di ricerca (nonostante che i nuclei di valutazione debbano verificare lo stato delle biblioteche, la loro adeguatezza dal punto di vista logistico, i fondi che sono impegnati)?  Si consideri solo che in poche università si continuano a comprare libri e che le università istituite negli ultimi decenni hanno patrimoni librari così modesti da ridurle in mere “teaching universities”. Perché lasciarsi prendere dall’illusione di esaustività e di onnicomprensività della valutazione, quando chi ha studiato questa materia ha osservato, in tempi non sospetti, che “ogni valutazione della ricerca di base è una valida occasione di auto – apprendimento per gli scienziati. Ma deve sapersi arrestare per lasciare spazio alle innovazioni meno comprese dai “peer” e alla libera creatività del ricercatore” (A. Cerroni, Valutare la scienza: criteri generali, in R. Viale e A. Cerroni (a cura di), Valutare la scienza, Soveria Mannelli, Rubettino, 2003, p. 66 – 67).

Mancata distinzione tra misurazione e valutazione. La misurazione, come conteggio e confronto, non può sostituirsi alla valutazione. Essa “nasce nella valutazione e nella valutazione confluisce” (A. Visalberghi, Misurazione e valutazione nel processo educativo, Milano, Comunità, 1955, p. 18). L’atto decisivo dell’esame o di un concorso è un giudizio, in cui i risultati della misurazione entrano “come dati di fatto molto importanti, ma non esclusivi” (A. Visalberghi, op. cit., p. 17). Tutti gli studiosi della valutazione della ricerca insistono, dagli anni ’60 dello scorso secolo in poi, sulla conclusione che gli indicatori non possono sostituire mai il giudizio, servono a corroborare il giudizio della “peer review”, possono “aiutare a mantenerla onesta” (D. E. Chubin e E. J. Hacken, Incrementare la “peer review”. Il posto della valutazione della ricerca, e A. Rip, Prefazione, ambedue in R. Viale e A. Cerroni, op. cit., p. 16 e p. 94). L’intero processo messo in moto, invece, ha posto insieme misurazione e valutazione ed ha spostato al centro e rimesso a criteri meccanici (peraltro non chiari) molte decisioni e persino la scelta dei futuri valutatori. Confusione tra misurazione per fare paragoni e misurazione per calcolare proporzioni.  L’ardore classificatorio e misurativo ha fatto dimenticare che altro sono i “rough scores”, altro gli “standard scores”. I primi servono a ottenere una “scala ordinale”, i secondi una “scala d’intervallo” o di proporzione. I primi a dire che A è meglio di B; i secondi che A vale il doppio di B. 

Sproporzione tra mezzi e fine.  Mentre si riducono i posti disponibili e mentre molti idonei di precedenti selezioni attendono una nomina, sono partite le procedure per l’abilitazione. Queste sfoceranno necessariamente nella creazione di un numero piuttosto alto di nuovi liberi docenti, di cui solo pochi possono sperare di essere selezionati per ottenere un posto. Valeva la pena di applicare a pieno regime la macchina valutativa in questa fase o lo strumento misurazione della ricerca è sproporzionato al fine di individuare gli appartenenti a questo nuovo limbo, i “professori abilitati”? Inoltre, l’attività di recensione non è stata considerata, mentre le recensioni sono una forma di valutazione, specialmente dove vi è un “book review editor”, e dovrebbero premiarsi sia le riviste che le pubblicano, sia gli studiosi che vi si dedicano. L’organo di valutazione ha, quindi, mancato di valorizzare proprio le sedi e le persone già impegnate nell’attività di valutazione nelle diverse comunità scientifiche.

Conclusioni. Dalle sintetiche osservazioni svolte emerge che l’esperimento in corso presenta due difetti che oscurano la bontà dei suoi fini: l’ignoranza degli apporti della cultura pedagogistica e scientometrica italiana relativi a misurazione e valutazione dell’apprendimento e della ricerca; la disattenzione per i costi dell’operazione avviata, a fronte dei suoi benefici, e per le alternative che erano aperte.L’Anvur, burocratizzando misurazione e valutazione, si sta trasformando in una sorta di Minosse all’entrata dell’Inferno o di Corte dei conti con straordinari poteri regolamentari, ma ignorando le conseguenze della amministrativizzazione della misurazione e della valutazione: la scelta degli esaminatori, la selezione dei docenti, lo stesso progresso della ricerca saranno decisi non nelle università, ma nei tribunali. Ne è prova la sentenza del Tar Lazio, Sez. III, n. 08408/2012 dell’11 ottobre 2012, che ordina all’Anvur l’esibizione dei documenti preparatori della classificazione delle riviste e ne è un segno premonitore il Documento di lavoro CUN del 24 ottobre 2012 che elenca le questioni aperte circa i criteri di valutazione per le procedure di abilitazione. E questo è solo l’inizio: altri interventi dei giudici amministrativi seguono (si vedano le ordinanze dello stesso giudice del 9 novembre 2012 04028 e 0424) e inesorabilmente seguiranno. Per concludere, mi limito a fare una proposta: sottoporre l’Anvur e i processi di misurazione e valutazione ad un esame di proporzionalità, diretto ad accertare i benefici che essi possono produrre a fronte dei costi che impongono oggi e prefigurano per domani. Ho detto inizialmente che l’Anvur ha ucciso la valutazione con la sua disattenzione dei limiti della valutazione e del contesto nel quale essa andava ad inserirla. Non sono stato completo nel dir ciò. Bisogna anche aggiungere che l’Anvur ha ucciso se stessa, consegnando il compito di dire l’ultima parola sulla valutazione ai giudici amministrativi.

Sabino Cassese

www.roars.it