La teoria economica delle pubblicazioni in economia

Gilles Saint-Paul esamina, facendo uso di alcuni strumenti della teoria economica, le modalità con le quali vengono selezionate le pubblicazioni scientifiche dalle riviste internazionali di economia mettendone in luce alcuni aspetti piuttosto paradossali. Saint-Paul ricorda, in particolare, che i valutatori sono ricercatori in stretta competizione con coloro che essi devono giudicare e, dunque, saranno incentivati a soppesare i costi e i benefici personali derivanti dalla loro valutazione.

Quando ho intrapreso la mia carriera di economista, negli anni Novanta, credevo ingenuamente che le pubblicazioni fossero il mezzo attraverso il quale gli economisti comunicano le loro idee e i risultati delle loro ricerche. Non potevo certo immaginare che i paper pubblicati nelle riviste scientifiche avessero altro destino che quello di essere letti. Credevo inoltre, ancor più ingenuamente, che il nome della rivista che accoglie un paper accademico non fosse così importante – il paper sarebbe stato letto in ogni caso e avrebbe ottenuto la meritata attenzione a prescindere dal nome della rivista, a patto che quest’ultima fosse sufficientemente visibile. Infine, credevo che il processo editoriale assomigliasse, in qualche modo, al processo che regola il funzionamento di una casa editrice francese, e non durasse più di tre mesi. Dopo tutto, mi sembrava che non avesse alcun senso rendere una pubblicazione disponibile per i lettori con un ritardo di molti anni.

Naturalmente, avevo torto su tutti i fronti. Il processo editoriale nel campo delle scienze economiche lungi dall’essere un vero processo editoriale è, in realtà, un processo di verifica attraverso il quale l’autore viene collocato in una determinata posizione all’interno di una graduatoria gerarchica. Sottoporre un paper a una rivista scientifica non ha nulla a che vedere con la diffusione della ricerca e assomiglia, piuttosto, a un esame o alla partecipazione a una gara sportiva. La diffusione vera e propria della conoscenza si realizza molto più spesso in forma di comunicazione orale, attraverso seminari e conferenze; queste attività sono anch’esse importanti come momenti di validazione, perché permettono agli autori di segnalare alcune loro caratteristiche personali che potrebbero influenzare la loro posizione nella graduatoria gerarchica e che non possono essere trasmesse attraverso un paper.

Ora, quando sosteniamo un esame da studenti, a giudicarci è un professore, non un altro studente – che sarebbe un concorrente se questo esame fosse una gara. Nei tornei di tennis, gli arbitri non partecipano ai tornei. Forse qualcuno prenderebbe sul serio il vincitore degli open di tennis di Francia se prima della finale Federer fosse stato eliminato da una decisione arbitrale presa da Nadal?

Eppure, questo è il modo in cui è organizzata la nostra professione. Ogni paper sottoposto ad una rivista scientifica è “peer reviewed” e questo vuol dire che deve essere approvato da valutatori anonimi che partecipano allo stesso “concorso di bellezza” dell’autore della pubblicazione, e molto spesso anche nella stessa sottocategoria. Se crediamo all’analisi costi-benefici, dovremmo almeno ammettere che I responsabili della rivista e gli stessi valutatori si basino su questa analisi quando decidono se accettare o no un paper per la pubblicazione. Devo dire che se applico questa teoria alla mia esperienza in materia di giudizi positivi e rifiuti, ottengo con facilità un R2 dell’ 80% (cioè un’elevatissima significatività statistica).

Quali sono dunque i costi e i benefici di accettare un paper, quando sei mosso dall’obiettivo di massimizzare la tua posizione all’interno della graduatoria gerarchica? Il costo principale è che se il paper viene accettato, l’autore salirà in quella graduatoria e certamente questo non migliorerà la tua posizione, almeno se quest’ultima dipende dal numero di pubblicazioni. Sarai dunque molto più riluttante ad accettare un paper scritto da qualcuno che si colloca in una posizione vicina alla tua nella graduatoria, rispetto a quello di un autore che sta molto al di sopra o al di sotto di te. Se la posizione dell’autore è simile alla tua, il suo progresso probabilmente ti danneggerà: se è dietro di te, sarà più probabile che ti sorpassi, se è sopra di te, incontrerai maggiori difficoltà nel superarlo.

Nella misura in cui la distribuzione dei paper pubblicati in funzione degli autori segue una legge esponenziale, è molto difficile che qualcuno superi i leader di una disciplina, pur avendo un ranking molto elevato, perché il leader ha comunque molte più pubblicazioni. In altri termini, che un economista collocato nella 20a posizione di una graduatoria, superi il leader, è molto più difficile che l’economista in 250a posizione superi quello collocato nella 150a. Per questo motivo, è assai probabile che i paper scritti dai leader di una disciplina siano accettati, rafforzando così la legge delle potenze e la “dipendenza dal percorso” all’interno della distribuzione. Nei fatti, i leader non sono una vera minaccia. All’estremità opposta della distribuzione, il fatto che i pigri e i nuovi arrivati non costituiscano una vera minaccia, facilita la mobilità verso l’alto all’interno della graduatoria.

Vi è poi un costo-opportunità: a un paper con le caratteristiche indicate potresti preferirne, per la pubblicazione, un altro da cui ti aspetti maggiori benefici personali.

Sul fronte dei benefici, pubblicare un paper può migliorare le tue prospettive di carriera a patto che tu venga citato nella bibliografia; qui però può sorgere un conflitto di obiettivi perché non vorrai pubblicare un paper che soppianti un tuo lavoro. Il caso tipico è quello di un paper che dimostra che hai commesso qualche errore, o che propone un metodo più elegante per fare ciò che tu hai già fatto. Questo paper probabilmente citerà il tuo lavoro, ma ne prenderà anche il posto come nuovo lavoro di riferimento su un argomento rilevante e così, nel lungo periodo, finirai per perdere citazioni. Evidentemente preferirai un lavoro che contenga una piccola estensione del tuo lavoro o che applichi la metodologia che hai inventato a un problema diverso (paper di questo tipo citeranno il tuo lavoro come fondamentale sull’argomento per giustifcare l’uso della metodologia, e questo ti porterà più citazioni se la metodologia non è al riparo da dubbi).

L’altro vantaggio è un quid pro quo. L’esempio più importante è che si può essere fortunati al punto da trovarsi in un equilibrio cooperativo all’interno di un gioco con i valutatori. Tizio può accettare i paper di Caio e viceversa ed entrambi progrediranno nella graduatoria gerarchica a scapito degli altri e ciò accadrà anche se ogni singolo paper di Tizio accettato da Caio danneggerà Caio stesso. Questa è una tipica situazione di dilemma del prigioniero con ripetizione del gioco.. Benché i giudizi dei valutatori siano in teoria anonimi, è facilissimo per Tizio segnalare a Caio che è lui l’autore del rapporto favorevole e questo perché si incontrano continuamente alle conferenze. E le valutazioni scritte da Tizio generalmente citano il lavoro di Caio con accenti lusinghieri.

E’ più facile risolvere il dilemma del prigioniero nei settori scientifici di piccole dimensioni rispetto a quelli più grandi ed è così perché le stesse persone si incontrano più spesso in un altro gioco, quello di assegnazione dei valutatori. Da qui il diffondersi della voce secondo cui è relativamente facile pubblicare articoli che si occupano di scelta sociale, mentre pubblicare articoli di macroeconomia è una lotta al coltello.

Equilibri cooperativi di questo genere rendono difficile che il singolo ricercatore cambi il proprio campo di ricerca. In primo luogo, perché non ha alcuna esperienza di come giocare nel nuovo settore e perché deve convincere chi in quel settore gioca da tempo che si comporterà come si deve. In secondo luogo, se viene percepito come qualcuno che cambia settore facilmente, potrebbe non essere più lì quando arriverà il momento di ricompensare chi lo ha valutato positivamente, accettando, a sua volta, il suo lavoro. Muoversi, di tanto in tanto, da un campo di ricerca all’altro può sembrare un cosa positiva, ma in realtà è una causa di inefficienza.

Ci sono altre forme di quid pro quo. Alcuni economisti controllano molte risorse, e possono offrire ricompense materiali a chi li aiuta, ad esempio invitandoli a conferenza piacevoli che si tengono in località piacevoli. Il bello è che si tratta di una forma di corruzione che è del tutto indistinguibile dalla buona fede. Dopo tutto, non c’è motivo per cui una conferenza debba tenersi necessariamente in una città brutta, pericolosa e inquinata – la qualità della conferenza ne soffrirebbe – ed è perfettamente desiderabile invitare le persone più in vista all’interno di un campo di ricerca, che, guarda caso, sono le stesse che controllano l’accesso alle riviste scientifiche migliori Tutto ciò è perfettamente difendibile sul piano della meritocrazia. E’ altrettanto comprensibile che un economista che controlla l’accesso a una conferenza piacevole in una località piacevole, non inviti a tenere la relazione principale una persona che abbia rifiutato il suo lavoro, usando parole molto aspre, benché le lettere di rifiuto normalmente inizino e finiscano con “Il tuo paper mi piace…”…sicuramente ci sarà un candidato altrettanto importante da selezionare al suo posto.

 

* Questo testo è stato preparato per una conferenza organizzata dal Kiel Institut e dalla rivista online E-conomics sul tema “Il futuro delle pubblicazioni scientifiche in campo economico”. Inizialmente, mi ero proposto di scrivere un paper vero e proprio ma, arrivato a pagina 2, mi sono fermato. Se il tempo lo permetterà, scriverò un una nota aggiuntiva con alcuni suggerimenti su come migliorare il sistema. Il testo originale inglese è stato pubblicato il 6 giugno sul mio web site: https://gillessaintpaul.wordpress.com/.

Schede e storico autori