Se c’è un’industria che, nelle economie occidentali, sembra non soffrire di alcun tipo di crisi è quella dei ranking. Negli ultimi anni è ormai diffusa l’abitudine di fare graduatorie di ogni tipo, indipendentemente dalla misurabilità o meno dell’oggetto di attenzione in base a criteri oggettivi. Sportivi, ristoranti, miliardari, alberghi, debiti pubblici, città d’arte, università, spiagge, ospedali, canzoni: ogni appassionato di un determinato ambito troverà la sua classifica d’interesse, che lo porterà poi a lunghe discussioni con gli amici e sui social network. I ranking sono semplici, immediati e attraggono il lettore ed è questo, forse, il motivo per cui la stampa (non solo italiana) vi dedica lunghi articoli e frequenti richiami in prima pagina.
Ma quali sono i rischi che si corre quando la lettura delle graduatorie, anziché rappresentare un innocuo passatempo, può influenzare in modo decisivo le scelte degli individui e, probabilmente, le stesse decisioni dell’operatore pubblico? A prima vista, la risposta appare semplice: non bisognerebbe affidarsi a classifiche stilate sulla base di opinabili giudizi di singoli o gruppi di individui, per quanto autorevoli, ma bisognerebbe costruire graduatorie con metodi scientifici, in base a criteri condivisi e trasparenti.
Ranking ben fatti aiuterebbero a correggere un cruciale fallimento di mercato: in contesti di asimmetria o incompletezza informativa – in cui il reperimento di adeguate informazioni richiede un processo lungo, complicato e costoso o i beni sono valutabili solo dopo averli “consumati” – i ranking aiuterebbero gli individui a compiere scelte più consapevoli, incentivando così la concorrenza fra i produttori con ricadute in termini di efficienza ed equità (essendo spesso i più svantaggiati a disporre di minori informazioni). Al contrario, ranking mal costruiti, e ritenuti invece affidabili dai consumatori, potrebbero aggravare i fallimenti del mercato. Per valutare l’affidabilità delle graduatorie, bisogna allora riflettere sui criteri in base a cui queste sono state costruite.
Particolarmente adatta a tale riflessione risulta l’ennesima graduatoria prodotta in Italia e pubblicizzata con grande enfasi dalla stampa nostrana: la classifica dei licei italiani stilata periodicamente dalla Fondazione Giovanni Agnelli, consultabile nel portale online Eduscopio.
Come si legge nei documenti di accompagnamento dell’analisi della Fondazione Agnelli, l’obiettivo del progetto Eduscopio, basato su un ricco database di fonte amministrativa che collega carriere scolastiche, universitarie e esiti lavorativi, è valutare gli esiti successivi alla formazione secondaria – i risultati universitari e lavorativi dei diplomati (ma in questa sede ci occuperemo unicamente della valutazione basata sui primi) – per trarne indicazioni sulla qualità delle scuole da cui essi provengono.
In particolare, per i percorsi universitari dei diplomati il ranking di Eduscopio si basa su un indicatore dei risultati degli studenti nel loro primo anno di corso universitario, costruito a partire dal numero dei crediti e dalla media voti degli esami sostenuti (attribuendo uguale peso a tali due dimensioni). L’assunto implicito è, dunque, che i risultati del primo anno – che, a differenza dei voti scolastici, non sono decisi dai professori di scuola – dipendano dalla “qualità” dell’istruzione ricevuta alle superiori e che, pertanto, scuole i cui ex-alunni abbiano all’università risultati migliori siano anche scuole migliori, in cui genitori più informati dovrebbero iscrivere i propri figli e i cui metodi di apprendimento dovrebbero essere imitati dalle scuole che occupano posizioni più in basso in graduatoria.
Consapevoli della difficoltà di misurazione della “qualità” delle scuole, i ricercatori della Fondazione Agnelli offrono comparazioni solo di scuole dello stesso tipo (distinguendo per tipo di liceo) e localizzate in aree territoriali circoscritte (di circa 30 km2), per evitare che i confronti siano distorti dalle condizioni di sviluppo socio-economico dell’area. Dalle note metodologiche della ricerca, risulta inoltre che viene inserito un fattore di correzione per tener conto del diverso tipo di corso universitario frequentato.
Ma, nonostante la trasparenza del metodo di analisi seguito dalla Fondazione Agnelli, siamo sicuri che la graduatoria proposta misuri effettivamente la “qualità” delle scuole? In realtà, senza bisogno di perdersi in tecnicismi, il modo in cui è costruita la classifica appare caratterizzato da difetti macroscopici che ne inficiano l’utilità. A ben guardare, tralasciando eventuali criticità del modo in cui vengono misurati gli esiti universitari, quello che Eduscopio sembra misurare non è tanto la qualità della scuola nel formare migliori studenti (anche qui tralasciando le complicazioni della definizione di abilità degli studenti), quanto la distribuzione fra scuole degli studenti di diversa abilità.
Seguendo un’ottica di “funzione di produzione dell’istruzione”, il valore aggiunto fornito dalle scuole dovrebbe essere misurato valutando di quanto cambiano le performance (o altre proxy delle abilità dello studente) dal momento in cui vi si iscrive al momento in cui le si abbandona. Nella realtà, tale tipo di misurazione appare estremamente complessa. Misurare solo le performance senza guardare ai punti di partenza non informa sulla capacità della scuola di migliorare tali performance, dato che i risultati raggiunti dipendono dalle abilità dell’allievo, che erano tali anche prima che si iscrivesse a un determinato liceo.
Per tale motivo, salvo i rari casi in cui si riescono a definire proxy credibili di abilità all’ingresso e all’uscita dalla scuola, nelle analisi di economia dell’istruzione si studia in quale misura le performance degli studenti – ad esempio i risultati nei test PISA – risentano, oltre che delle caratteristiche della scuola frequentata, di un gran numero di altre variabili (ad esempio, il genere, la cittadinanza e le caratteristiche socio-economiche della famiglia di origine e dell’area di residenza dello studente e dei suoi compagni di classe, i cosiddetti peer). Tali studi segnalano chiaramente che il ruolo delle “risorse scolastiche” nello spiegare le differenti performance degli studenti è molto limitato (Hanushek, The failure of input-based schooling policies, Economic Journal, 2003) e che, al contrario, queste dipendano soprattutto dalle caratteristiche familiari e dei compagni di classe (Ammermueller e Pischke, Peer effects in European primary schools: evidence from the progress in international reading literacy study, Journal of Labor Economics, 2009). Inoltre, è ben noto che, al di là della libertà di iscriversi a scuole lontane dalla propria residenza garantita ormai nella maggior parte dei paesi, nei fatti gli studenti tendono ad auto-selezionarsi nelle scuole in base ai risultati scolastici precedenti e, anche a causa dei fenomeni di “segregazione residenziale” tipici di ogni grande città, alle loro caratteristiche socio-economiche. L’auto-selezione rafforza poi gli effetti sui risultati degli studenti, attraverso i cosiddetti “peer effects” (l’apprendimento risente infatti del tipo di compagni di classe e di scuola con cui si interagisce).
Inoltre, se anche misurassimo le abilità degli studenti all’entrata e all’uscita dalle secondarie superiori, sarebbe comunque complicato dedurre in quale misura l’eventuale valore aggiunto sia puro merito degli insegnanti delle superiori, dato che le caratteristiche summenzionate potrebbero influenzare in modo differenziato il processo di apprendimento degli studenti (Duncan e Murnane – Whither opportunity? Rising inequality, schools, and children’s life chances, Russel Sage Foundation, 2011 – mostrano ad esempio quanto grande, e crescente, sia il divario nelle risorse investite in attività extracurriculari dei figli da parte di genitori di diverso status socio-economico).
Più in generale, una lunga serie di fattori (di tipo sia monetario che non) spiega perché i risultati scolastici dei figli risentono fortemente delle caratteristiche familiari e perché, in particolare, i figli di genitori più istruiti risultino avvantaggiati. A parte l’influenza di un’eventuale trasmissione genetica dell’abilità e delle capacità cognitive (non dimostrata in maniera certa da nessuno studio), oltre al suddetto peer effect, un elenco non esaustivo dovrebbe racchiudere: la maggiore attenzione dei genitori con titoli di studio più elevati al percorso scolastico dei figli; l’esistenza di modelli di ruolo e di imitazione delle scelte dei genitori; la disponibilità economica delle famiglie; una maggior avversione al rischio dell’investimento in istruzione da parte di chi proviene da contesti più sfavorevoli; un minor incentivo all’investimento in capitale umano a causa di salari e rendimenti differenziati per background di provenienza.
Le origini familiari non influenzano i figli solo nella scelta di proseguire gli studi oltre l’obbligo o dopo il diploma secondario superiore, ma un miglior background è associato a un miglior esito negli studi lungo l’intero processo formativo. A conferma di ciò, si osservino le probabilità di raggiungere determinati risultati scolastici-universitari in Italia a seconda del titolo di studio del padre, anche tenendo conto del tipo di scuola frequentata, che risente a sua volta, fortemente, delle caratteristiche familiari (tabella 1, tratta, estendendola, da Gabriele e Raitano, Percorso formativo, differenziali salariali e background familiare: l’evidenza italiana, Scuola Democratica, 2014).
In altri termini, le differenti performance degli studenti di scuole diverse, anche se tali performance sono misurate all’università, risentono inevitabilmente di “effetti di composizione” che fanno sì che in nessun modo i confronti fra scuole siano un indicatore preciso di quali sono le scuole in cui si insegna meglio (si pensi anche all’effetto di composizione legato al fatto che la quota di studenti di ciascuna scuola che si iscrivono dipende dalle caratteristiche di questi). In base a tale consapevolezza, ad esempio, i risultati dei test PISA (e dello stesso INVALSI) non possono in alcun modo fornire la base per classificare quale scuola (o paese) è migliore o peggiore, ma sono utilissimi a capire il ruolo svolto dalle centinaia di fattori (individuali, familiari, locali, di scuola e di paese) che possono influenzarli.Fonte: elaborazioni su dati ISFOL-PLUS
Ma allora hanno senso titoli, come quello sparato a tutta pagina dal Corriere della Sera – “Ecco le scuole migliori della tua città” – il giorno dopo la presentazione della classifica Eduscopio 2016? Chiaramente no, alla luce di quanto qui argomentato. Il rischio è che scuole e docenti che svolgano il loro lavoro con dedizione e competenza in contesti meno avvantaggiati siano valutati negativamente da indicatori inadatti a misurare la qualità del processo formativo.
I ranking – se non validati con attenzione – non sono quindi strumenti necessariamente efficaci per correggere i fallimenti del mercato. Nella migliore delle ipotesi un ranking sbagliato può mandare un segnale distorto alle famiglie, favorendo l’accentuarsi di un conformismo nelle scelte e nelle valutazioni scolastiche che poco ha a che fare con l’effettiva qualità di queste. Nella peggiore delle ipotesi – laddove il legislatore ne tenesse conto, destinando più risorse alle prime scuole in graduatoria e penalizzando le ultime – le ricadute in termini di efficienza ed equità risulterebbero deleterie. Ma per fortuna, al momento, idee di questo tipo appaiono lungi dal divenire realtà.