Quella che Cathy O’Neil racconta in Weapons of Math Destruction (Penguin Books, 2016) è la storia di due viaggi.
Il primo viaggio, a ritroso nella sua esperienza personale, lo compie l’autrice. Il punto di partenza è la sua giovinezza. Dai primissimi anni, quando i parenti rimanevano strabiliati scoprendola capace di scomporre in fattori le targhe delle auto che le passavano sotto casa, fino al dottorato in algebra ed al posto da professoressa al Barnard College. Il punto di arrivo è la brutale disillusione nei confronti della matematica e della sua funzione sociale.
E’ il 2008 e O’Neil è da poco approdata a Shaw – uno dei principali Hedge Fund internazionali – dove è a capo del team che negozia titoli, tra cui le cartolarizzazioni dei famigerati mutui sub-prime:“…non potevo nemmeno lontanamente sospettare che il mio nuovo lavoro mi avrebbe fornito un terrificante corso accelerato su come la matematica possa essere insidiosa e [socialmente] distruttiva…” (O’Neil, 2016 p.33). Mossa dalla volontà di contribuire a correggere il sistema, O’Neil abbandona Shaw e si trasferisce alla RiskMetrics Group. Si tratta di una società il cui obiettivo è fornire consulenza alle banche perché queste ponderino opportunamente il rischio nei loro portafogli, così da evitare altre crisi a catena come quella del 2008. In meno di un anno, O’Neil si rende conto che la sua consulenza è considerata, dagli intermediari che le si rivolgono, alla stregua di un’attività di maquillage utile esclusivamente a convincere i clienti della correttezza delle loro attività. Nulla sembra cambiare nel comportamento predatorio dei trader: “…più passava il tempo e più acquisivo consapevolezza dell’irrilevanza del mio lavoro…” (O’Neil, 2016 p. 46). Nuova frustrazione, dunque, e nuovo lavoro. L’ultimo approdo è una società di analisi di Big Data finalizzata ai consigli pubblicitari online. Non passa molto tempo ed appare chiaro come la logica utilizzata per “prevedere” le mosse dei potenziali consumatori per poi bombardarli di alert ed offerte per l’acquisto di ogni tipo di beni non si distanzi particolarmente dalla voracità delle pratiche di un Hedge Fund finanziario.
La disillusione è ormai completa. A questo punto, il lavoro di O’Neil diventa capire fino in fondo in che modo la matematica sia oggi parte fondamentale dei meccanismi che minano l’equilibrio della società americana. Lo fa aprendo un blog – https://mathbabe.org/ – e cominciando a raccogliere il maggior numero possibile di testimonianze circa gli effetti sociali negativi derivanti dall’uso degli strumenti matematici. La matematica, la scienza ritenuta portatrice di purezza e neutralità, il linguaggio la cui intrinseca obiettività O’Neil considerava capace di contrastare arbitrii, rendite di posizione ed ingiustizie sociali si rivela essere, al contrario, l’architrave di diseguaglianze, segregazione razziale ed infragilimento della democrazia. Come è potuto accadere tutto questo? In una società dominata dal connubio tra finanza privata e corporations dei Big Data, il perpetuarsi di disuguaglianze ed esclusione sociale ha il suo contraltare tecnico nella pervasività degli algoritmi che operano ormai in tutti gli ambiti rilevanti della vita: finanza, scuola, università, assicurazioni sanitarie e previdenziali, ricerca di un lavoro, relazioni con l’amministrazione pubblica. Algoritmi la cui potenza predittiva è magnificata dalla disponibilità di flussi enormi e continui di dati relativi a qualsivoglia comportamento o caratteristica umana. O’Neil trova una definizione per questo connubio tra algoritmi e Big data: armi di distruzione (matematica) di massa (AMD).
Le AMD puniscono il debole in quanto debole mentre consolidano la posizione del più forte, ammantando questo processo di un’ obiettività – giustificata dalla presunta neutralità dell’algoritmo sottostante – che finisce per dare un connotato “naturale” alle disuguaglianze sociali. Ed il punto chiave è proprio la non-neutralità delle AMD. Come O’Neil sottolinea a più riprese, “…gli algoritmi che valutano, classificano e, in ultima analisi, determinano la condizione sociale dei soggetti che vi si rapportano incorporano fallacia, pregiudizi e interessi privati del programmatore ma, soprattutto, del committente…” (O’Neil, 2016, p.3). Di fatto, le AMD si presentano come dei dispositivi – nel senso Focaultiano del termine – che cristallizzano i rapporti di potere creando un ambiente in cui il “verdetto” emesso dalla banca, dal tribunale, dall’ufficio risorse umane o dalla commissione universitaria è insindacabile. A prescindere dalla bontà dei dati che alimentano l’algoritmo – e che hanno, quindi, informato il verdetto stesso – e dalla loro adeguatezza rispetto alla decisione specifica da prendere.
Le caratteristiche di un’AMD sono l’opacità – i.e. l’incapacità dei soggetti che entrano in contatto con l’algoritmo di comprenderne la logica e la struttura -; la tendenza a moltiplicare gli effetti su larga scala –si pensi agli algoritmi che valutando in modo inefficiente il rischio hanno consentito la proliferazione dei mutui subprime; ed a generare circoli viziosi –O’Neil fa l’esempio della classifica delle migliori università USA fornita dal giornale US News e considerata il riferimento chiave per valutare la qualità degli atenei: l’inclusione di fattori quali l’ammontare dei finanziamenti privati ricevuti o il numero di studenti laureati genera feedback negativi sull’equità dello strumento, da un lato, e sulla effettiva dotazione di competenze degli studenti, dall’altro. Le AMD, proposte come mirabili soluzioni per rendere la vita più efficiente, meritocratica ed a misura di consumatore divengono quindi ostacolo insormontabile per il realizzarsi di quella mobilità sociale implicita nella retorica del “Sogno Americano”.
Il secondo viaggio lo svolge il lettore, immedesimandosi nelle storie delle vittime delle AMD che O’Neil racconta nel suo libro. La prima, è la storia di 206 maestre elementari di Washington D.C., licenziate in seguito all’adozione, da parte dell’amministrazione comunale, di un algoritmo per la valutazione dell’efficienza degli insegnanti delle scuole pubbliche. La loro colpa? Aver dato voti sulla base dei risultati dei loro allievi senza gonfiarli come gli altri loro colleghi tendevano a fare. Il problema è che il rendimento degli studenti è uno dei fattori che alimenta l’algoritmo che valuta gli insegnanti. Così, la scuole elementari pubbliche di Washignton D.C. hanno perso alcuni dei loro insegnati migliori che, senza grandi difficoltà, sono emigrati nelle scuole private della zona più ricca della città. Nonostante i suoi palesi effetti collaterali, questa AMD – l’algoritmo di valutazione degli insegnanti di Washington D.C. – è ancora al suo posto.
La seconda storia è quella dei detenuti delle carceri del Texas, le cui richieste di libertà vigilata vengono concesse sulla base dello score di un algoritmo (l’algoritmo LSI-R) che stima la probabilità di essere recidivi. Dopo aver risposto al questionario, i detenuti vengono classificati come soggetti a basso, medio o alto rischio di recidività. In questo caso, il problema è che il rischio sale a seconda del numero di fermi di polizia di cui si è stati protagonisti a prescindere dall’esito di questi fermi. Il risultato è che tra i soggetti classificati ad alto rischio – e dunque destinati a rimanere in carcere più a lungo con tutte le ripercussioni che ciò comporta – la stragrande maggioranza è composta da neri e ispanici, ex disoccupati e abitanti in quartieri ad alto tasso di criminalità. Questo caso mostra con chiarezza la natura perversa della AMD: uno strumento apparentemente teso a “facilitare” il lavoro dei giudici consegna loro uno schermo tecnico per dei pre-giudizi che di fatto discriminano specifici segmenti sociali.
La terza storia ha a che fare con i servizi di reclutamento della forza lavoro. E’ ormai pressoché impossibile trovarne uno che non adotti algoritmi in cui alla valutazione del CV siano associati i risultati di specifici test attitudinali che misurano i cosiddetti “personal traits”. Ed anche qui fanno la loro comparsa gli effetti collaterali delle AMD. O’Neil ha scoperto che esiste una class action di persone che, avendo avuto nel loro passato problemi di depressione o simili, non sono più in grado di trovare un lavoro a causa del punteggio basso che puntualmente i test attitudinali tendono ad affibbiargli. Il viaggio continua alla scoperta delle tecniche utilizzate dalle società di promozione delle carte di credito per individuare i loro clienti, andando a pescare tra i profili più rischiosi – donne sole e con figli, giovani afroamericani o ispanici, etc. – per potere applicare i tassi di interesse più elevati. O attraverso gli algoritmi di ottimizzazione basati su dati geografici che guidano le pattuglie della polizia nelle strade dove è stimata la più alta probabilità di nuovi crimini. In entrambi i casi, le AMD si rivelano degli strumenti capaci di perpetuare segregazione razziale, povertà e disuguaglianze. In modo formidabile.
Il libro ha una prosa brillante è merita di essere letto. Cathy O’Neil apre uno squarcio su quanto l’uso combinato di strumenti matematici sofisticati e Big Data abbia dato vita a delle AMD che mettono a repentaglio l’economia e la società. “…Con la falsa promessa di efficienza ed equità le AMD distorcono il sistema universitario, favoriscono la crescita del debito, stimolano le carcerazioni, blandiscono i poveri con false promesse, mettono a repentaglio la democrazia…la risposta più logica dovrebbe essere quella di smontare le AMD una ad una…” (O’Neil, 2016 p.199).