La Legge di Bilancio per il 2017 prevede finanziamenti aggiuntivi di circa 270 milioni annui ai 180 migliori dipartimenti (su 814) in base ai risultati della VQR. Il contributo medio annuo sarà di circa 1,35 milioni per dipartimento, con fondi ulteriori destinati ai dipartimenti di scienze, medicina e ingegneria. L’obiettivo dichiarato di promuovere ricerche di alta qualità e progetti di sviluppo scientifico e tecnologico è condivisibile. Rimangono tuttavia numerose perplessità riguardo all’equità e all’efficacia dello strumento premiale proposto.
Il nuovo sistema è iniquo perché introduce un ‘gap’ tra i primi 180 dipartimenti e tutti gli altri, dove invece ci sono solo differenze di grado. Gianfranco Viesti, tra gli altri ha sostenuto che il nuovo meccanismo premiale crea di fatto una ‘serie A’ di dipartimenti che sottrarranno risorse finanziarie e nuovi ricercatori alla ‘serie B’, accelerando così il declino del sistema universitario italiano, soprattutto al Sud. Tra i correttivi proposti c’è l’ipotesi, formulata da Maria De Paola e Valeria Pupo e raccolta daTullio Jappelli, di aumentare il numero delle istituzioni premiate, finanziando il 10% ‘superiore’ dei dipartimenti per intero e il successivo 20-25% in parte. Misure progressive di questo genere saranno necessarie per moderare l’iniquità del nuovo sistema. Ma non bastano per raggiungere lo scopo di medio periodo dei finanziamenti ‘meritocratici’ della ricerca, ovvero piú ricerca di alta qualità. Come altri sistemi simili (es., il REF del Regno Unito), il sistema italiano non è solo iniquo: è anche potenzialmente inefficace, ovvero non garantisce che i finanziamenti aggiuntivi servano poi a produrre più ricerca di qualità maggiore.
Il problema, condiviso con altri sistemi di valutazione della ricerca finalizzati alla redistribuzione dei finanziamenti come il REF, è la decisione (più prudenziale che razionale) di premiare la produttività effettiva passata sulla base dell’assunto che essa sia un predittore affidabile della produttività futura. Questa scelta può avere esiti paradossali o decisamente opposti alle intenzioni ‘meritocratiche’ dichiarate, e in parte indipendenti dal fatto che nelle procedure di valutazione, come la VQR, si misuri la quantità della ricerca prodotta (es., il numero di pubblicazioni), la sua qualità o il suo impatto sulla comunità scientifica (es., il numero di citazioni degli articoli oggetto di valutazione). Tra questi esiti c’è anche l’incentivo, ampiamente documentato e discusso nel Regno Unito, che le istituzioni avrebbero a ‘gonfiare’, con metodi più o meno diretti, le misure rilevanti per la procedura: permettendo solo ai migliori ricercatori di ciascun dipartimento di partecipare alla valutazione (un metodo non più praticabile data la recente riforma del REF), riorganizzando i dipartimenti o ancora sfruttando doppie affiliazioni dei ricercatori con lo scopo di ottimizzare la prestazione misurata finale. Questi rischi esistono almeno in parte anche in Italia.
Un secondo, e ben più significativo, esito possibile è che premiare la produttività effettiva non porti necessariamente a un aumento della quantità e della qualità della ricerca futura. Un esempio è la Norvegia, dove parte del fondo di finanziamento ordinario delle università è redistribuita sulla base del numero di pubblicazioni di ciascun dipartimento, suddivise in due livelli di qualità. Se le risorse totali per la ricerca sono cresciute dal 2004 al 2012, la loro allocazione in base alla produttività non ha prodotto i risultati attesi: il numero di pubblicazioni è cresciuto, ma la qualità e l’impatto della ricerca pubblicata sono rimasti stabili e a livelli inferiori rispetto ai valori di riferimento internazionali.
Le esperienze dei sistemi premiali nel Regno Unito e in Norvegia suggeriscono quindi due lezioni. (1) Il caso della Norvegia insegna che premiare la produttività media può accompagnarsi a un aumento della quantità della ricerca prodotta. Ma non è detto che ciò porti a un aumento corrispondente della qualità e dell’impatto della ricerca. (2) Il caso del REF mostra che premiare la produttività può in effetti accompagnarsi a un aumento della quantità e qualità della ricerca. Però a questi benefici si aggiungono costi in termini di incentivi per le istituzioni a manipolare a proprio vantaggio strumenti e procedure di valutazione. Diventa allora difficile stabilire quale sia la prestazione misurata: l’output scientifico oppure la capacità dei dipartimenti di individuare la migliore selezione possibile dei propri prodotti di ricerca al fine di prevalere nella competizione nazionale.
Il problema è quindi il seguente: come dovremmo distribuire parte dei fondi di finanziamento ordinari o straordinari ai dipartimenti in modo (1) che vi sia un effettivo aumento della qualità della ricerca, non solo del numero di prodotti, e (2) che gli incentivi a ‘manipolare’ le procedure di valutazione siano eliminati o almeno ridotti? Non ho qui la pretesa di dare una soluzione a questo problema, ma di indicare quello che, a mio parere, è l’ingrediente chiave di ogni soluzione ragionevole: un criterio dinamico in grado di premiare il potenziale di crescita di un dipartimento, in parte slegato dalla sua produttività media passata. Per spiegare la logica di questa proposta, vi invito a considerare 2 scenari, in cui 2 dipartimenti A e B competono per dei fondi o per far parte dei ‘180 migliori’:
- A e B producono ricerca di qualità simile. A produce meno di B, ma la qualità della sua produzione scientifica migliora di anno in anno. La qualità della produzione di B invece diminuisce nel corso del tempo.
- A e B hanno valori medi simili in diverse misure, ma la prestazione di A è migliorata nel corso del periodo di valutazione, quella di B è peggiorata.
Il sistema italiano, come pure il REF, è concepito per premiare il dipartimento la cui prestazione media passata è più elevata. Ciò sembra ragionevole, ma l’esito è qui paradossale. Si rischia infatti di premiare il declino della qualità della ricerca di B in (1) e di mettere A e B sullo stesso gradino in graduatoria in (2). Ciò accade perché la distribuzione di risorse non tiene conto di come quantità e qualità della ricerca variano nel tempo. Si può quindi pensare a un sistema in grado di cogliere l’evoluzione della capacità dei singoli dipartimenti di fare ricerca, e di gratificare di conseguenza il dinamismo dimostrato di recente.
Questo ragionamento si può estendere a un terzo fattore, distinto da qualità e quantità dei prodotti della ricerca, e caro a coloro che erogano i finanziamenti: l’efficienza nell’uso delle risorse. Consideriamo un terzo scenario, con gli stessi attori A e B e gli stessi obiettivi:
- B fa marginalmente meglio di A in una qualsiasi misura di produttività, ma utilizza significativamente più risorse (strutture, personale etc.) di A.
Anche qui, la logica del nuovo sistema italiano, come pure del REF, vorrebbe che si premiasse il dipartimento più produttivo in termini assoluti, cioè B. Ma questo, paradossalmente, sarebbe un premio all’uso inefficiente delle risorse da parte di B. Un sistema alternativo potrebbe premiare A, e questo sarebbe giustificato in particolare dal fatto che le risorse aggiuntive assegnate ad A promettono di dare risultati addizionali maggiori che se fossero assegnate a B. Come suggeriscono i casi (1)-(3) sopra, un buon meccanismo premiale si dovrebbe basare su misure dinamiche di produttività (qualitativa e quantitativa) ed efficienza nell’uso delle risorse. Tener conto di come queste variabili cambiano nel tempo consentirebbe di predire meglio la produttività futura, e sarebbe quindi un criterio migliore per distribuire fondi di ricerca da utilizzare appunto in futuro.
Per tornare alle ‘due lezioni’ di cui sopra, un sistema alternativo di questo tipo potrebbe far crescere la qualità della ricerca (assumendo sia questo il fine), se i finanziamenti aggiuntivi fossero effettivamente indirizzati verso i dipartimenti che mostrano un aumento della qualità dei prodotti nel periodo di valutazione; oppure se i finanziamenti aggiuntivi fossero per lo meno ridotti ai dipartimenti dove la qualità della ricerca è in declino, anche se la quantità delle pubblicazioni cresce. Il nuovo sistema allevierebbe anche il problema della manipolazione delle procedure di valutazione. Costruire a tavolino dei segni di crescita di produttività, soprattutto qualitativa, sembra difficile oltre che svantaggioso per i dipartimenti. Supponiamo per assurdo che un dipartimento decida che i migliori lavori dei suoi ricercatori possano essere pubblicati solo verso la fine del ciclo di valutazione, per far apparire la propria produttività (qualitativa) in crescita. Ci sarebbero dei forti deterrenti a questa strategia, almeno nelle scienze, dove chi pubblica dei risultati per primo ottiene un maggior numero di citazioni. Questa sarebbe una strategia controproducente anche per i dipartimenti, dato che si avrebbe un netto declino dell’impatto misurato della ricerca, e di conseguenza una perdita di prestigio.
Per chiudere, si potrebbe dividere il fondo premiale annuo in due parti: un 50% assegnato con un criterio (corretto in senso progressivo) di produttività effettiva media, e il rimanente 50% distribuito, tra i dipartimenti esclusi dalla precedente assegnazione, con il criterio del potenziale di crescita dimostrato nel corso degli ultimi 4 anni. Si sosterrebbero così i dipartimenti la cui produttività nel periodo di valutazione è forse in media più bassa, ma mostra segni robusti di crescita. Se la variabile che cresce è la qualità dei prodotti della ricerca, si promuoverebbero strutture emergenti con programmi innovativi. Nella recente proposta di riforma del REF da parte del governo britannico, la raccomandazione #11 richiede di fare un uso ‘strategico e immaginativo’ del REF, puntando su ‘aree di potenziale di sviluppo futuro’. Il legislatore italiano ha quindi un illustre precedente da cui trarre ispirazione per migliorare il sistema premiale che sarà presto introdotto.