La valutazione della ricerca è diventata negli ultimi anni un aspetto importante della vita accademica italiana; croce (di molti) e delizia (di pochi), è stata oggetto di grande dibattito e soprattutto polemica. Qui vorrei evidenziare alcuni aspetti dell’odierna VQR che mi paiono essere ampiamente ottimizzabili, con l’auspicio di migliorare, non di abolire. Ho appena scritto una banalità, ma tant’è: il dibattito sulla valutazione si è polarizzato, come spesso accade in Italia, cristallizzandosi spesso in posizioni ideologiche, tra critici e sostenitori a oltranza della valutazione in quanto tale, e non in quanto mezzo. La discussione mi pare urgente, visto che, per quanto ho potuto vedere, alcuni di questi punti mostrano problematicità tali da rischiare di superare i benefici creati dalla valutazione stessa. Li riassumerò in modo schematico.
1) Contingentamento. Un modo ragionevolmente efficace di valutare una struttura è quello di farlo considerando la sua produzione complessiva, il che viene di solito effettuato prendendo un campione significativo delle pubblicazioni dei suoi afferenti, ovviamente in proporzione al numero degli stessi e scelto dalla struttura stessa. Era stato infatti questo il metodo adottato dal CIVR, che aveva condotto il primo esercizio di valutazione nazionale. Con l’ANVUR siamo passati invece ad una metodologia completamente diversa, che consiste nel chiedere ad ogni membro della struttura valutata, tipicamente un dipartimento universitario, un numero fisso di lavori per un arco temporale di riferimento. Nell’esercizio di valutazione corrente, il numero è di due nel quadriennio 2011-2014. Si tratta quindi di una regola piuttosto mirata a rivelare la produttività media degli afferenti alla struttura stessa e, come effetto collaterale fortemente voluto, ad enfatizzare la presenza dei cosiddetti inattivi. Questa regola mi pare presentare degli effetti collaterali pesantemente distorsivi: appiattisce verso la media, ma soprattutto riduce il potere contrattuale delle persone maggiormente produttive all’interno di dipartimento e demolisce gli incentivi alla produttività. Questo è un punto particolarmente pernicioso, dato che la ben nota ritrosia alla premialità interna, soprattutto in termini di risorse, è uno dei problemi classici dell’università italiana. Non solo: persone molto produttive vengono penalizzate dalla presenza di inattivi, e questo non appare efficiente. C’è di peggio: questa regola incentiva persone che sono lontane dal mondo della ricerca attiva a riavvicinarvisi forzatamente, con esiti spesso non troppo felici ed avendo come esito una produzione di pubblicazioni di cui non si sente sempre il bisogno. E’ necessario a questo punto chiarire un fatto: in ogni dipartimento universitario, anche nei migliori al mondo, esiste una percentuale di persone la cui attività di ricerca è molto rarefatta. Questo è un dato strutturale, e si lega al fatto che un dipartimento universitario si dedica non solo alla ricerca, ma anche alla didattica. Queste persone, suggestivamente etichettate come “fannulloni” da certa retorica corrente, sono in realtà spesso impiegate in compiti prevalentemente didattici e amministrativi, in casi anche assai pesanti. Il loro lavoro è spesso prezioso e serve anche a sgravare i ricercatori più attivi da compiti che non hanno a che fare direttamente con l’attività di ricerca.
Si tratta di fatto di un principio di efficienza e di buon senso, che in molte delle migliori università a livello mondiale viene addirittura formalizzato con l’istituzione di posizioni differenziate tra insegnamento e ricerca.
La cosa migliore sarebbe quindi tornare ad un meccanismo tipo CIVR, lasciando che ogni struttura scelga i propri lavori da presentare e in modo da massimizzare i risultati. Questo dovrebbe naturalmente essere accompagnato da, ed anzi stimolare, una politica premiale locale, che permetterebbe di allocare le risorse nelle aree maggiormente produttive. Si otterrebbe quindi un beneficio duplice: riconoscere e potenziare le aree e i ricercatori migliori da un lato; rendere più efficienti le persone, che verrebbero indirizzate anche verso compiti più congeniali.
Capisco, infine, che ci siano coloro che sono molto ansiosi di poter contare i “fannulloni”, onde avere magari nuove dimostrazioni dell’inefficienza del comparto pubblico e nuove utili scuse per promuovere tagli o fantasiose riforme (nel caso dell’università di solito mirate ad aumentare il potere del controllo politico sull’accademia). Ma il contare gli inattivi si può fare a parte. Non occorre che questo esercizio ideologico abbia ripercussioni dannose su cose serie.
2) Ambiguità. Nella VQR si sono di fatto inseriti elementi di valutazione personale. Questo lo si è realizzato, di nuovo, chiedendo a tutti lo stesso numero di pubblicazioni. A catena sono arrivate proposte balzane, come quella di usare i risultati della VQR per valutare il lavoro dei singoli. Va chiarito subito che i metodi bibliometrici (nei settori dove questi sono applicabili) ben si prestano a valutare strutture e a mediare su grossi numeri, ma risultano essere totalmente inadatti per valutare accuratamente il lavoro dei singoli, cosa che andrebbe fatta con altri metodi e non da strutture esterne. Tutto questo apre la porta a pericolosi effetti di “propagazione degli errori”, discussi nel prossimo punto.
3) Propagazione. Chi dovrebbe allora valutare le persone? In uno schema premiale di valutazioni a cascata, agenzie esterne dovrebbero valutare gli atenei, e questi dovrebbero valutare i singoli, recependo evidentemente i risultati della valutazione esterna, che fungerebbe da incentivo alla qualità. Una struttura che valuta male le persone diventa inefficiente, e quindi paga nella valutazione esterna. Non mi pare accada così adesso. Ma, stavolta, non è solo colpa dell’ANVUR. Per motivi spesso legati alla ricerca di consenso, ma anche più semplicemente a scarsa esperienza nell’arte di valutare, gli atenei oggi non appaiono ancora in grado di valutare efficientemente le persone. O meglio, non appaiono esserlo le loro governance. Quando lo fanno, tentano di accontentare il maggior numero di persone possibile o di scaricare le responsabilità su altri. Un primo esempio lo si è visto con le regole che i singoli atenei hanno adottato per distribuire i simbolici fondi di incentivazione. Per l’esiguità delle cifre in gioco possiamo allora considerare questo come un primo esperimento di valutazione interna. Cosa è successo? Nel peggiore dei casi si è proposto di usare direttamente i risultati della VQR (vedi Punto 2). Nel meno peggiore si sono emulati i metodi della VQR. Quindi emerge un nuovo aspetto: le criticità VQR si propagano, con l’aggravante di farlo a situazioni per le quali la VQR non è stata esplicitamente concepita. L’ambiguità discussa al Punto 2 favorisce tale propagazione. Una valutazione di atenei che si struttura a tratti come una valutazione di persone, si presta ad essere erroneamente utilizzata come tale e/o fornisce un modello tanto autorevole e pronto per l’uso quanto sbagliato.
4) Uniformizzazione. La VQR analizza tutti i settori senza rinormalizzazione alcuna. Mi pare una criticità sorprendente e contro il buon senso (bibliometrico e non). In certi settori sperimentali due pubblicazioni possono essere quasi nulla, in settori teorici possono persino essere tanto. Un caso estremo è quello della matematica, tra i settori bibliometrici forse il più teorico. Personalmente mi sono trovato a firmanre da solo lavori di settanta pagine: prende più tempo concepirli, prende più tempo scriverli, ma soprattutto prende tanto tempo agli altri ricercatori studiarli, capirli e quindi citarli. Per certi settori la bibliometria comincia ad essere significativa solo un certo numero di anni dopo la pubblicazione. Considerare per tutti i settori lo stesso numero di lavori e lo stesso arco temporale, mi pare decisamente un punto da rivedere.
5) Induzione. Mentre la VQR analizza la performance di ogni singolo di dipartimento, la premialità impatta sull’intero ateneo. I fondi vanno a quelle università che sono mediamente migliori, non ai dipartimenti migliori. Come corollario seguono imprecisione distributiva e spreco. Qualcuno ha parlato di un fine ideologico non dichiarato (o forse dichiarato en passant): quello di selezionare un numero scelto di università di “serie A”. Se anche questo fosse l’obiettivo della VQR, non appare quello attuale il modo migliore per realizzalo. Sappiamo che le eccellenze in Italia sono distribuite a macchia di leopardo. La cosa migliore sarebbe allora premiare più capillarmente le parti migliori con una parte dell’FFO destinata esclusivamente alla ricerca. Questo avrebbe un duplice effetto benefico: concentrare i finanziamenti in modo molto efficace e puntuale e costruire l’eccellenza tramite uno schema più competitivo. Questa idea non è tra l’altro mia, ma è stata proposta, in maniera più articolata e complessa, dal Gruppo 2003 (di cui però faccio parte).
Si scorge infine un altro pericolo nei metodi attuali. Essi vanno ad aggravare quella polarizzazione tra università del Centro-Nord e del Sud, che costituisce forse “il problema” dell’Università Italiana oggi. E’ questo un dato di fatto. Sarebbe da chiarire se questo è un effetto dovuto ad una volontà politica o meno. Questo per non può essere fatto in questa sede.
6) Credibilità. Una valutazione è credibile se premia realmente i soggetti valutati, persone o strutture che siano. Siamo invece in presenza di un effetto premiale che consiste nel contenimento di provvedimenti punitivi e restrittivi decisi a priori. Continui tagli all’FFO e ai fondi di ricerca e inspiegabili soprusi compiuti nei confronti dei docenti e dei ricercatori (tra cui il più incredibile, la soppressione di cinque anni di anzianità con conseguente danno economico), rendono difficile il dare credito ad una qualsiasi valutazione in questo momento. Si tratta di un discorso di serietà professionale che viene a mio parere prima di ogni disquisizione tecnica.
Conclusioni. Allo stato attuale appaiono esserci ampi margini di miglioramento tecnico per le modalità della VQR. Quanto sarà possibile ovviare a certi punti dipenderà anche dalle finalità dichiarate o meno della valutazione stessa. In particolare, occorrerà chiarire, e una volta per tutte, se certi assetti tecnici sono dovuti a un procedimento ancora in fase di assestamento o invece ad una volontà di disegnare, anche solo asintoticamente, un sistema universitario piuttosto che un altro.