testo integrale con note e bibliografia
1. Discriminazioni algoritmiche: gli obiettivi del contributo
Nell’ormai lontano 2015, gli specialisti di machine learning di Amazon si resero conto dell’esistenza di un problema: l’algoritmo che avevano progettato l’anno prima per automatizzare il processo di reclutamento del personale discriminava le donne .
Ciò era avvenuto perché l’algoritmo era stato addestrato a stilare la gra-duatoria dei migliori candidati per posizioni di ingegneri informatici os-servando i curricula ricevuti nei dieci anni precedenti. La maggior parte degli stessi proveniva da uomini: un riflesso della prevalenza maschile, nel settore tecnologico, a rivestire quel tipo di ruoli.
Amazon aveva dunque compreso, solo dopo l’inizio della sperimenta-zione, che l’algoritmo aveva “insegnato” a sé stesso a preferire i candi-dati uomini rispetto alle candidate donne. L’algoritmo, pur essendo sta-to addestrato a non utilizzare direttamente il sesso come criterio seletti-vo, era infatti riuscito a riconoscerlo da altre informazioni, comunque presenti nei loro curricula, utilizzando poi questi indici di genere come criteri utili a effettuare la selezione .
In alcune ipotesi, infatti, il criterio selettivo presentava una correlazione abbastanza chiara con il sesso del candidato: ad esempio, penalizzare le candidate facenti parte del club di scacchi “femminile”, ove questa ulti-ma parola era espressamente riportata nel curriculum, oppure sfavorire chi aveva frequentato una scuola riservata a sole donne, anche se questa caratteristica non emergeva espressamente nel testo del curriculum .
In altri casi, il criterio era invece apparentemente neutro rispetto al ge-nere del candidato: ad esempio, favorire chi utilizzava alcuni termini (come verbi in forma attiva) che, nel campione storico di curricula alla base del modello decisionale algoritmico, erano statisticamente usati più dagli uomini che dalle donne e, al contrario, penalizzare chi non li utiliz-zava .
La riproduzione di questo processo decisionale contribuiva dunque a rendere strutturale la discriminazione, che era comunque già latente nei dati processati dall’algoritmo, replicandola poi su più larga scala.
Peraltro, soprattutto con riguardo ai criteri selettivi apparentemente neutri, comprendere che gli stessi costituissero, in concreto, indici di genere poteva risultare molto difficile, se non quasi impossibile, soprat-tutto per i lavoratori che, a differenza di Amazon, erano potenzialmente ignari sia del fatto che la decisione era stata delegata a un algoritmo, sia del campione di dati utilizzato e delle logiche sottese al processo deci-sionale automatizzato.
Consapevole del rischio di discriminazione di genere, Amazon decideva quindi di interrompere la sperimentazione. Ciò anche perché, provando a ricalibrare il modello decisionale per renderlo neutrale rispetto al sesso dei candidati, gli stessi esperti di machine learning di Amazon non erano certi che l’algoritmo non sarebbe riuscito a escogitare nuovi sistemi per selezionare i candidati in modo discriminatorio. Pertanto, Amazon de-cideva di adottare una versione depotenziata dell’algoritmo di recluta-mento del personale, utilizzandolo esclusivamente per svolgere alcuni compiti rudimentali come l’eliminazione dei profili duplicati dal database, mentre il processo decisionale veniva riaffidato, nella sostanza, agli es-seri umani .
Il caso sopra riportato rappresenta dunque, assieme ad altri già oggetto d’esame in letteratura e finanche nelle aule giudiziarie , un esempio lampante del rischio di discriminazione insito nei processi decisionali automatizzati abilitati mediante strumenti di “algorithmic management” , cioè quei dispositivi, spesso dotati di intelligenza artificiale (IA), utili a dirigere, controllare e sanzionare i lavoratori , utilizzati dapprima in via prevalente nel lavoro tramite piattaforma , ma che oggi sono sempre di più impiegati anche in contesti lavorativi c.d. “convenzionali” .
Nel prosieguo del contributo, si ricorrerà, pars pro toto, all’esempio ripor-tato in sede introduttiva nonché a quello dell’algoritmo Frank del noto caso Deliveroo , per comprendere quali siano le regole rilevanti per re-primere, ed eventualmente prevenire, le discriminazioni perpetrate me-diante il ricorso a qualsivoglia tipologia di strumenti di algorithmic mana-gement, anche diversi da quelli utilizzati per la selezione del personale o all’accesso al lavoro .
Nel far ciò, si esamineranno prevalentemente le regole, di origine euro-unitaria, previste nei contesti normativi anti-discriminatorio e della pro-tezione dei dati personali, nonché alcune norme recentemente introdot-te dal legislatore nel contesto normativo giuslavoristico italiano. Non verrà invece analizzata nello specifico la possibile violazione di regole giuslavoristiche più datate, ma comunque efficaci nella regolazione del fenomeno, quali gli artt. 4 e 8 Stat. Lav. .
L’obiettivo ultimo dell’analisi sarà dunque quello di dimostrare come, grazie a un approccio multidisciplinare integrato, il ricorso a strumenti di algorithmic management possa, a certe condizioni, anche contribuire a migliorare la prevenzione e la repressione delle discriminazioni contro i lavoratori rispetto allo scenario tradizionale in cui le medesime decisioni erano assunte esclusivamente da esseri umani.
2. Inquadramento del problema: perché (e come) gli algoritmi possono abilitare processi decisionali discriminatori
Preliminarmente, è necessario comprendere cosa siano gli algoritmi e, successivamente, perché (e come) il loro utilizzo possa abilitare processi decisionali discriminatori.
2.1 Tipologie di algoritmi
In termini generali, un algoritmo può essere definito come una sequen-za di istruzioni codificate tramite software e dirette a un computer .
Ai fini di questo articolo, è utile distinguere almeno tra gli algoritmi c.d. “rule-based” e quelli c.d. di “machine learning” .
(1) Algoritmi rule-based
Il processo decisionale degli algoritmi rule-based (nel prosieguo, “RB”) ha le seguenti caratteristiche salienti: (a) è basato sulla logica; (b) è sta-tico, perché l’insieme delle istruzioni è fisso e può essere modificato so-lo in fase di programmazione; (c) il suo risultato è prevedibile ex ante, perché tutte le variabili e i risultati possibili sono programmati nell’algoritmo; e (d) può essere già compreso e spiegato ex ante .
Nel contesto lavoristico, un esempio di algoritmo RB, quantomeno per le decisioni relative all’assegnazione degli slots di prenotazione, sembra essere l’algoritmo Frank nel caso Deliveroo , che metteva in una rela-zione logico-causale negativa le passate cancellazioni tardive con le oc-casioni di lavoro future, secondo un processo decisionale statico che era dunque comprensibile e spiegabile ex ante .
(2) Algoritmi di machine learning
Il processo decisionale degli algoritmi di machine learning (nel prosieguo, “ML”) ha invece le seguenti caratteristiche salienti: (a) è basato su un metodo statistico/probabilistico; (b) è dinamico, perché l’insieme delle istruzioni è normalmente calibrato e ricalibrato nel tempo in modo au-tomatizzato successivamente alla fase di programmazione, cioè in quella di addestramento, e dipende dai dati processati dall’algoritmo; (c) il suo risultato non è prevedibile ex ante, perché deriva da correlazioni di natu-ra probabilistica tra variabili che non corrispondono sempre a relazioni di natura causale; e (d) sempre se tecnicamente possibile, può essere compreso e spiegato solo ex post .
Con riguardo al punto (d), occorre sottolineare che, negli algoritmi di ML più che in quelli RB, la possibilità di ottenere una eventuale spiega-zione ex post della decisione richiede il ricorso a metodi di reverse enginee-ring che hanno costi significativi e, soprattutto, crescenti all’aumentare della complessità dell’algoritmo . Il risultato ottenuto da queste analisi sarebbe peraltro comprensibile, nella maggior parte dei casi, solo da un soggetto esperto, con la conseguenza che sarebbe poi necessario un in-tervento successivo volto a facilitarne la comprensione da parte di un soggetto non esperto , quale potrebbe essere il lavoratore o anche un giudice nonché, in certi casi, lo stesso datore di lavoro .
Nel contesto lavoristico, un esempio di algoritmo di ML sembra essere quello, descritto in apertura, utilizzato da Amazon per la selezione del personale, in cui la logica del processo decisionale mutava nel tempo secondo relazioni di natura statistico/probabilistica e il risultato del processo decisionale era comprensibile e spiegabile solo ex post.
2.2. Fattori che abilitano le discriminazioni algoritmiche
Ciò premesso, occorre dunque comprendere perché e come gli algorit-mi possono discriminare.
Al pari degli esseri umani, anche se con modalità diverse, gli algoritmi possono essere infatti soggetti a c.d. “bias”, cioè incorrere in errori o di-storsioni di natura sistematica che, nelle ipotesi in cui essi riguardino un fattore tassativamente vietato dall’ordinamento, potrebbero poi rendere il processo decisionale discriminatorio dal punto di vista legale .
A fini analitici, è utile esaminare, con riguardo al funzionamento di un algoritmo, almeno tre fattori che determinano il rischio di discrimina-zione. Come si vedrà a breve, questi fattori, progressivamente dal primo al terzo, rendono le discriminazioni algoritmiche sempre meno sovrap-ponibili a quelle perpetrate dagli esseri umani.
(1) Fattore umano
Il primo fattore rilevante è quello umano. Infatti, sebbene gli algoritmi operino sempre di più in modo autonomo, il ruolo degli esseri umani resta comunque cruciale per il loro sviluppo e funzionamento.
Ciò è ovvio per gli algoritmi RB, poiché gli esseri umani sono diretta-mente responsabili nella programmazione del processo decisionale stati-co seguito dall’algoritmo. Sebbene meno ovvio, il fattore umano è signi-ficativo anche nel caso degli algoritmi di ML con riguardo sia alla fase di programmazione sia a quella di gestione del processo di apprendi-mento che, seppur dinamico, dipende comunque da dati scelti e da feed-backs forniti da persone in carne e ossa. In ambo i casi, il processo deci-sionale algoritmico potrebbe dunque risultare viziato dai pregiudizi, nonché dalle attitudini discriminatorie, eventualmente insiti nella sog-gettività dei programmatori .
Nel contesto lavoristico, un esempio di discriminazione causata dal fat-tore umano è quella del noto caso di Deliveroo, in cui l’algoritmo Frank era stato programmato per incentivare la partecipazione e premiare l’affidabilità dei riders, penalizzando, in termini di future occasioni di la-voro, chi si astenesse dal lavoro senza preavviso: circostanza che aveva prodotto l’effetto collaterale di renderlo indirettamente discriminatorio per ragioni sindacali poiché, «nel trattare allo stesso modo chi non par-tecipa alla sessione prenotata per futili motivi e chi non partecipa per-ché sta scioperando [...], in concreto discrimina quest’ultimo» .
(2) Selezione dei dati
Il secondo fattore rilevante è legato alla qualità dei dati utilizzati nel processo decisionale algoritmico che, se non quantitativamente o quali-tativamente adeguati, possono viziarlo: circostanza che può verificarsi con riguardo sia agli algoritmi RB che, soprattutto, a quelli di ML.
Oltre alla ipotesi di informazioni scorrette utilizzate come input che ge-nereranno, di conseguenza, output parimenti scorretti, uno dei problemi più significativi è quello legato alla selezione del campione di dati utiliz-zati per addestrare gli algoritmi di ML. Qualora il campione utilizzato non sia rappresentativo della popolazione generale e sottostimi, ad esempio, una particolare minoranza, è molto probabile che l’algoritmo insegni a sé stesso a sotto-rappresentare la minoranza in questione, con il rischio che la decisione finale risulti discriminatoria. Questo tipo di er-rore presenta, tra gli altri, il rischio che gli algoritmi replichino discrimi-nazioni umane già latenti nei dati processati, producendo modelli deci-sionali che rendano poi strutturale la discriminazione nel tempo .
Un esempio lampante di discriminazione causata da un problema di se-lezione del campione è quella del caso Amazon descritto in apertura , in cui l’algoritmo era stato addestrato sulla base di dati relativi a sele-zioni passate, gestite da esseri umani, in cui i candidati uomini avevano statisticamente avuto più successo delle donne. In ragione di ciò, l’algoritmo aveva poi imparato a penalizzare le donne rispetto agli uo-mini, utilizzando il genere dei candidati come criterio utile ai fini della selezione.
(3) Utilizzo di proxy
Il terzo fattore rilevante è specifico dei soli algoritmi di ML che assu-mono decisioni stabilendo correlazioni probabilistiche tra variabili che non corrispondono sempre a relazioni di natura causale. Qualora una di queste variabili corrisponda a un fattore vietato, la decisione assunta dall’algoritmo sarà di conseguenza discriminatoria.
Questo problema è esacerbato dal fatto che gli algoritmi di ML sono capaci di identificare caratteri c.d. “proxy”, cioè variabili spesso apparen-temente neutre che però, dal punto di vista statistico/probabilistico, so-no storicamente correlate ad un determinato fattore di discriminazione vietato . In altre parole, questi algoritmi potrebbero utilizzare come va-riabile rilevante nel processo decisionale un proxy diverso da un fattore di discriminazione che, essendo però statisticamente correlato a quest’ultimo, produca poi a «specchio» un analogo effetto discrimina-torio, al prezzo però di essere più difficilmente percepibile anche da chi programma ed eventualmente supervisiona il funzionamento dell’algoritmo in esame .
Il caso Amazon esaminato in apertura costituisce un esempio lampante anche di questo problema . L’effetto discriminatorio del processo deci-sionale era infatti conseguenza della capacità dell’algoritmo di identifica-re una serie di caratteri, più o meno esplicitamente correlati al genere dei candidati, e di utilizzarli poi come variabili rilevanti ai fini della deci-sione: far parte del club di scacchi femminile, aver frequentato una scuo-la riservata a sole donne, non aver utilizzato nel curriculum termini che, nel campione di riferimento, erano stati usati più dagli uomini che dalle donne.
3. Tipologie di discriminazione algoritmica: la qualificazione come discriminazione diretta o indiretta
Dopo aver presentato il problema dal punto di vista tecnico-informatico, è necessario inquadrarlo dal punto di vista giuridico, cer-cando di comprendere, innanzitutto, quando le discriminazioni algorit-miche possano essere sussunte nelle diverse fattispecie di discrimina-zione diretta e indiretta .
Come noto, si verifica una discriminazione diretta quando «una persona è trattata meno favorevolmente» di un’altra a causa di uno dei fattori vietati . La discriminazione diretta è dunque basata sulle ragioni che determinano il trattamento meno favorevole , fermo che essa opera in modo oggettivo e non è dunque determinante l’intenzione di discrimi-nare .
Si verifica invece una discriminazione indiretta «quando una disposizio-ne, un criterio o una prassi apparentemente neutri possono mettere per-sone» portatrici del fattore di rischio «in una posizione di particolare svantaggio rispetto ad altre persone» non portatrici del fattore di ri-schio . La discriminazione indiretta, a differenza di quella diretta, è dunque basata sugli effetti (e non sulle ragioni) che determinano il par-ticolare svantaggio .
In concreto, non è però sempre agevole distinguere tra discriminazione diretta e indiretta . Vi sono tuttavia casi qualificabili prima facie come discriminazioni indiretta in cui una misura apparentemente neutra può comunque costituire, ad una più attenta analisi, discriminazione diretta. Ciò accade quando essa sia «inestricabilmente connessa» a un fattore vietato (come accade, ad esempio, tra stato di gravidanza e sesso o fa-coltà di contrarre matrimonio e orientamento sessuale ) oppure, se-condo un principio giurisprudenziale chiaro in teoria ma ambiguo nelle sue ricadute pratiche, quando risulti che essa, pur nella sua apparente neutralità, sia stata in realtà adottata proprio «a causa» del o «per ragio-ni connesse» al fattore di discriminazione .
Sebbene non sempre agevole, distinguere tra discriminazione diretta e indiretta è però cruciale. Ciò perché da essa dipende la possibilità di ad-durre una giustificazione, ammessa esclusivamente nel caso di discrimi-nazioni indirette .
L’adozione di una misura apparentemente neutra può essere infatti og-gettivamente giustificata «da una finalità legittima», a patto che «i mezzi impiegati per il suo conseguimento siano appropriati e necessari» . Ciò può avvenire, in concreto, in due ipotesi: se «sussistono altri mezzi ap-propriati e meno restrittivi che consentano di raggiungere» gli scopi perseguiti o, comunque, se la misura «pregiudica in maniera spropor-zionata il legittimo interesse» dei lavoratori a non essere discriminati ri-spetto a quello, generalmente di natura economico-organizzativa, del datore di lavoro, addotto come giustificazione della misura apparente-mente neutra .
Ciò premesso, è dunque giunto il momento di comprendere quali siano i criteri per qualificare una discriminazione algoritmica come diretta o indiretta. Per svolgere questo esercizio, sarà utile riprendere nuovamen-te gli esempi relativi ai casi Deliveroo e Amazon, per meglio compren-dere come il processo di qualificazione debba essere condotto, rispetti-vamente, in caso di algoritmi RB e in ipotesi di algoritmi di ML.
Come già sottolineato, l’algoritmo di Deliveroo, per quanto emerso nel contenzioso, adottava un processo decisionale RB, cioè di natura logico-causale, il quale, mediante un sistema premiale/punitivo, considerava le passate cancellazione tardive per arrivare a stabilire lo spettro delle oc-casioni di lavoro future .
La Giudice del Tribunale di Bologna aveva ritenuto che tale sistema consistesse in «una discriminazione indiretta, dando applicazione ad una disposizione apparentemente neutra (la normativa contrattuale sulla cancellazione anticipata delle sessioni prenotate) che però mette una de-terminata categoria di lavoratori (quelli partecipanti ad iniziative sinda-cali di astensione dal lavoro) in una posizione di potenziale particolare svantaggio» .
Questa conclusione è condivisibile. Infatti, si sarebbe potuto parlare di una discriminazione diretta, con riguardo a un algoritmo RB, nel caso in cui il programmatore avesse utilizzato, tra le istruzioni oggetto del pro-cesso decisionale statico di natura logico-causale, un fattore di discrimi-nazione (es. essere sindacalizzato) o un criterio ad esso inestricabilmen-te connesso (es. partecipare ad una assemblea o ad un incontro sindaca-le, oppure ad uno sciopero) per penalizzare i lavoratori in termini di fu-ture occasioni di lavoro.
Né sembra, come è stato pure sostenuto in dottrina, che vi fossero ele-menti utili a concludere che il meccanismo premiale/punitivo dell’algoritmo Frank sarebbe stato adottato proprio «a causa» o «per ra-gioni connesse» alla limitazione del diritto di sciopero, ipotesi che avrebbe astrattamente potuto consentire la sua qualificazione come di-scriminazione diretta .
Sebbene mai davvero esplicitata dalla società resistente e per questo non analizzata nello specifico dalla Giudice, la ragione dell’adozione di un sistema che incentivasse la partecipazione e premiasse l’affidabilità dei lavoratori non rispondeva alla specifica esigenza di limitare il diritto di sciopero, bensì a quella, di natura economico-organizzativa, di poter avere a disposizione un numero sufficiente di riders in ciascuna fascia oraria per poter evadere, nel più breve tempo possibile, gli ordini della clientela. Il criterio in esame non era stato adottato a causa o per ragio-ni connesse alla limitazione del diritto di sciopero , ma trovava la sua genesi in uno specifico interesse organizzativo del datore di lavoro che lo rendeva dunque apparentemente neutro rispetto al fattore vietato perché era applicato, comportando le medesime conseguenze, a tutti i riders che si cancellavano tardivamente (e non solo a quelli che lo face-vano per scioperare).
Trattandosi quindi di discriminazione indiretta, questa finalità legittima sarebbe dunque potuta esser oggetto di vaglio giudiziale soltanto in re-lazione alla sua effettiva sussistenza e ai fini del giudizio di necessità e proporzionalità sui mezzi impiegati per raggiungerla.
La giustificazione incontrava, però, un ostacolo insormontabile nella circostanza che, nel caso di specie, esistevano in concreto «mezzi ap-propriati e meno restrittivi», non considerati da Deliveroo, per raggiun-gere la finalità legittima. Vi erano infatti due ipotesi (infortunio e mal-funzionamento del sistema) in cui Deliveroo poteva intervenire sul pro-cesso decisionale, eliminando l’effetto, negativo per il lavoratore in ter-mini di minori future occasioni di lavoro, derivante dalla cancellazione tardiva. Non contemplando interventi correttivi in altre ipotesi di can-cellazione tardiva dovuta a ragioni tutelate dall’ordinamento, Deliveroo aveva dunque sacrificato sproporzionalmente il legittimo interesse dei lavoratori a non esser discriminati a causa della partecipazione allo sciopero rispetto al proprio legittimo interesse economico-organizzativo a una gestione efficiente dei turni di lavoro .
Da ciò discende, in generale, che il datore di lavoro (o committente nel caso Deliveroo) che utilizza un algoritmo per una finalità legittima ha l’onere di abilitare interventi correttivi che limitino il rischio di discrimi-nazione indiretta, sterilizzandolo il più possibile, fino al punto in cui il processo decisionale algoritmico continui a soddisfare il proprio legitti-mo interesse economico-organizzativo .
Fermo quanto sopra con riguardo agli algoritmi RB, distinguere tra le due tipologie di discriminazione è apparentemente più semplice nel caso degli algoritmi di ML.
Il processo decisionale di questi algoritmi dipende infatti da correlazioni probabilistiche tra variabili che, di norma, non sono costitute da un fat-tore vietato ma soltanto da un proxy dello stesso. Non instaurando rela-zioni di tipo causale ma di tipo meramente statistico/probabilistico, il loro processo decisionale consisterà generalmente in una prassi appa-rentemente neutra avente effetti discriminatori abilitando, di norma, di-scriminazioni indirette .
Ci sono però almeno due ipotesi – oltre a quella, tanto ovvia quanto ra-ra, di un fattore di rischio utilizzato direttamente come criterio rilevante nel processo decisionale – in cui anche gli algoritmi di ML potrebbero dar luogo a una discriminazione diretta. Esse possono essere ben esem-plificate tornando nuovamente sul caso Amazon presentato in apertura.
La prima ipotesi di discriminazione diretta si può verificare quando il proxy utilizzato dall’algoritmo sia «inestricabilmente connesso» a un fat-tore vietato . Nel caso Amazon, è sostenibile che questo avvenisse quando l’algoritmo penalizzava le candidate perché facenti parte di un club di scacchi femminile o perché avevano frequentato una scuola ri-servata alle sole donne: variabili che costituivano proxies perfetti di ap-partenenza al genere femminile .
La seconda ipotesi di discriminazione diretta si potrebbe invece verifica-re, almeno in teoria, quando il proxy apparentemente neutro utilizzato dall’algoritmo, pur essendo solo correlato al fattore vietato da un punto di vista statistico/probabilistico, costituisca in concreto «causa» o «ra-gione» della discriminazione . Nel caso Amazon, è sostenibile che que-sto avvenisse quando l’algoritmo penalizzava le persone appartenenti al genere femminile per non avere utilizzato termini a cui, sul piano stati-stico, avevano fatto ricorso più gli uomini che le donne. L’algoritmo aveva infatti utilizzato questa caratteristica ai fini della selezione non perché fosse indice genuino di competenza nel settore informatico, ma solo perché costitutiva un proxy, seppur imperfetto sul piano statistico, di appartenenza al genere femminile .
Tuttavia, questa seconda ipotesi è sostanzialmente diversa dalla prece-dente. Ciò perché, per poterla qualificare come discriminazione diretta, sarebbe stato necessario accertare che il proxy in esame avesse avuto, in concreto, una influenza determinante sulle ragioni che ispiravano il pro-cesso decisionale algoritmico : una conclusione che, nel caso Amazon, si sarebbe potuta pacificamente raggiungere solo considerando questo proxy unitamente agli altri che però, a differenza del primo, erano ine-stricabilmente connessi al genere femminile.
Pertanto, se considerato in modo isolato, il criterio in esame sarebbe probabilmente stato qualificato come apparentemente neutro, perché correlato al fattore vietato da un punto di vista solo statisti-co/probabilistico. In altre parole, avrebbe probabilmente al più potuto costituire una discriminazione indiretta, offrendo quindi ad Amazon la possibilità di addurre una giustificazione.
Amazon avrebbe potuto allegare il proprio legittimo interesse economi-co-organizzativo ad efficientare, mediante un processo automatizzato più snello e accurato di quello portato avanti dagli umani, il processo di analisi dei curricula e quello di selezione dei candidati. Per far ciò, però, avrebbe dovuto dimostrare che questo processo automatizzato fosse, in concreto, un mezzo per raggiungere tali finalità legittime : circostanza che, per usare un eufemismo, era quantomeno dubbia nel caso di spe-cie, in cui l’algoritmo aveva insegnato a sé stesso a ritenere il genere una competenza rilevante per selezionare i migliori ingegneri informatici.
In ogni caso, anche se fosse riuscita a dimostrare la sussistenza di una finalità legittima, Amazon avrebbe comunque dovuto fare i conti con il giudizio di proporzionalità. La società sarebbe stata infatti onerata di dimostrare di aver mitigato al massimo il rischio di discriminazione di genere, ad esempio adottando, sia in fase di scelta dei dati che di pro-grammazione e/o supervisione del proprio algoritmo, una serie di misu-re utili a non pregiudicare sproporzionalmente il legittimo interesse dei lavoratori a non essere discriminati rispetto al proprio legittimo interes-se di efficientare il processo di selezione oppure di dimostrare, almeno, che il processo decisionale algoritmico producesse effetti discriminatori minori rispetto al suo alter ego umano .
Amazon aveva deciso, dopo un anno, di interrompere la sperimentazio-ne, optando per una versione depotenziata dell’algoritmo, utilizzandolo esclusivamente per svolgere alcuni compiti rudimentali come l’eliminazione dei profili duplicati dal database, mentre il processo deci-sionale veniva riaffidato, nella sostanza, ad esseri umani .
In ogni caso, anche la scelta di tornare al sistema precedente, senza im-plementare correttivi significativi, si sarebbe potuta rivelare problemati-ca in termini di giudizio di proporzionalità. È infatti sostenibile che, do-po aver appurato che, nei dieci anni precedenti, vi era probabilmente stata una latente discriminazione di genere nel processo di selezione, Amazon avrebbe dovuto percorrere una strada utile a migliorare, invece che a lasciare immutato, uno status quo potenzialmente discriminatorio .
4. Discriminazioni umane versus discriminazioni algoritmiche: i termini di un duplice paradosso
Dopo aver analizzato le caratteristiche salienti delle discriminazioni al-goritmiche, sia dal punto di vista tecnico-informatico che giuridico, è dunque possibile razionalizzare meglio i due problemi specifici generati, in materia di discriminazioni, dai processi decisionali algoritmici rispetto a quelli umani.
Il primo è che i processi decisionali algoritmici aumentano il rischio di violazione dei divieti di discriminazione nei confronti dei lavoratori, so-prattutto nel caso di algoritmi di ML. Ciò accade perché essi possono rendere strutturali discriminazioni già latenti nei dati processati e, atti-vando processi dinamici di autoapprendimento, potrebbero persino abi-litare correlazioni tra dati che generino nuove discriminazioni . Peral-tro, il ricorso a strumenti algoritmici produce, nella maggior parte dei casi, discriminazioni indirette. Ciò produce un effetto perverso poiché non solo la discriminazione è meno evidente ma lascia anche spazio alla possibilità, per il datore di lavoro, di giustificarla e, ove ciò sia giuridi-camente possibile, di legittimarla .
Il secondo problema è che, a causa della loro opacità , il ricorso ad al-goritmi può rendere più difficile, per i lavoratori discriminati, individua-re e dimostrare in giudizio la violazione dei propri diritti, inficiando così l’effettività della tutela giurisdizionale . Anche questo secondo proble-ma è più grave nel caso degli algoritmi di ML , che abilitano processi decisionali completamente spiegabili, sempre se tecnicamente possibile, solo ex post . Essendo questi algoritmi basati su processi statisti-co/probabilistici, i lavoratori difficilmente riuscirebbero ad avere anche il solo sentore che un processo decisionale algoritmico abbia avuto ef-fetti discriminatori: figurarsi delle ragioni che li abbiano determinati . In ogni caso, anche nella improbabile ipotesi che abbiano elementi utili a sostegno della ipotesi discriminatoria, gli stessi lavoratori incontrereb-bero difficoltà quasi insormontabili soprattutto nel dimostrare la sussi-stenza di una discriminazione diretta , con la conseguenza che, in caso di qualificazione della stessa come indiretta, essa possa poi essere giusti-ficata .
Tuttavia, se si guarda ai due problemi sopra individuati da una diversa prospettiva, essi potrebbero costituire opportunità piuttosto che rischi. Nel caso di discriminazioni algoritmiche, infatti, si assiste a un duplice paradosso.
Innanzitutto, il ricorso a strumenti algoritmici potrebbe essere funziona-le anche a ridurre, e non solo ad aumentare, il rischio discriminazione .
Una parte delle discriminazioni algoritmiche è comunque connessa, più o meno direttamente, al fattore umano . Al netto delle specificità enu-cleate sopra, il problema di base è, grosso modo, il medesimo. Non può peraltro tacersi che gli algoritmi, in molti casi, sono comunque funzio-nali a migliorare l’accuratezza del processo decisionale, perché riducono o eliminano alcuni “bias” e “rumori” che caratterizzano esclusivamente le decisioni degli esseri umani . Di conseguenza, il ricorso a strumenti di algorithmic management potrebbe essere strumentale, almeno per certi aspetti, a diminuire le diseguaglianze in ambito lavorativo.
In secondo luogo, automatizzare un processo decisionale potrebbe con-tribuire a individuare discriminazioni umane che, altrimenti, sarebbe sta-to difficile anche solo percepire.
Sebbene gli algoritmi siano stati efficacemente descritti alla stregua di scatole nere dal funzionamento opaco , è indubitabile che la mente umana sia, in generale, una scatola nera più impenetrabile di quella al-goritmica . Individuare la ragione sottesa a una discriminazione umana è arduo, fatta eccezione per il caso della pistola fumante, sul piano pro-batorio, della dichiarazione esplicita del datore di lavoro . Analogamen-te, acquisire cognizione di eventuali effetti discriminatori può essere comunque molto difficile, in assenza di informazioni che sono spesso nella esclusiva disponibilità dell’autore della discriminazione che po-trebbe, peraltro, esserne a sua volta inconsapevole perché vittima di pregiudizi impliciti . Sebbene ciò non sia scontato nel caso di quegli al-goritmi così complessi da essere imperscrutabili, l’automazione allevia ambo i problemi sopra individuati poiché, rendendo il processo decisio-nale tracciabile, semplifica l’identificazione sia delle ragioni sottese alle decisioni algoritmiche che dei loro effetti . Ciò, riprendendo la metafo-ra, al pari di quanto avviene dopo aver recuperato le scatole nere degli aerei : ma con il vantaggio che, in questo caso, ci sarebbe ancora tem-po per correggere errori non fatali.
La tracciabilità del processo decisionale algoritmico può dunque, alme-no astrattamente, facilitare sia la prevenzione che la repressione delle discriminazioni in ambito lavorativo.
Da un lato, essa permette di prevenire le discriminazioni. La tracciabili-tà permette infatti di avere preventivamente cognizione del rischio di-scriminazione, dando dunque la possibilità al datore di lavoro di correg-gere il processo decisionale algoritmico al fine di eliminare, o ridurre al minimo, il suddetto rischio , peraltro con un tasso di accuratezza, pre-cisione e rapidità non replicabile da mente umana . Si pensi, ad esem-pio, al caso Deliveroo, in cui una maggiore consapevolezza del rischio discriminazione, sia in termini reputazionali che di soccombenza in giu-dizio, avrebbe potuto incentivare le società a intervenire in anticipo per mitigarlo. Si pensi, ancora, al caso Amazon, in cui la società avrebbe po-tuto correggere una discriminazione di origine umana di cui essa stessa era probabilmente inconsapevole prima di automatizzare il processo di selezione del personale e che, senza il ricorso alla tecnologia, sarebbe continuata a passare sottotraccia.
Dall’altro, la tracciabilità del processo decisionale permette di far emer-gere discriminazioni perpetrate dagli umani che, in assenza di un auto-mazione, sarebbe stato molto difficile, se non impossibile, dapprima percepire e poi dimostrare in giudizio . Si pensi, ad esempio, al caso Amazon, ove l’automatizzazione del processo decisionale aveva svelato una discriminazione probabilmente già latente nei dati processati dall’algoritmo ma difficilmente percepibile alle sue vittime prima del ri-corso alla tecnologia. In tal caso, la tracciabilità del processo decisionale algoritmico avrebbe quindi facilitato non solo la sua identificazione e prova in giudizio, ma anche la sua qualificazione come discriminazione diretta, non lasciando spazio a giustificazioni.
Il ricorso a strumenti di algorithmic management potrebbe dunque miglio-rare sia la prevenzione che la repressione delle discriminazioni nell’ambiente di lavoro rispetto allo scenario in cui le decisioni erano as-sunte esclusivamente da esseri umani. Tuttavia, ciò sarà possibile solo in presenza di regole utili a far emergere il rischio discriminazione, met-tendo così i datori di lavoro in condizioni migliori per prevenirlo e ga-rantendo ai lavoratori maggiori possibilità di dimostrare la discrimina-zione in giudizio.
Nel nostro ordinamento, esse sono disseminate in contesti normativi distinti, quali soprattutto quello anti-discriminatorio e della protezione dei dati personali oltre, naturalmente, a quello giuslavoristico, inteso nella sua dimensione sia sostanziale che processuale. Pertanto, sarà ne-cessario adottare un approccio multidisciplinare integrato che, met-tendo in connessione regole di diversa collocazione ordinamentale, sia strumentale a garantire il raggiungimento del risultato qui auspicato.
5. Prevenzione delle discriminazioni algoritmiche: un approccio multidisciplinare integrato alla mitigazione del rischio discri-minazione
5.1 Valutazione di impatto
In ottica di prevenzione del rischio discriminazione, assume rilievo preminente lo strumento della valutazione di impatto sulla protezione dei dati (c.d. “DPIA”) previsto dall’art. 35 del Reg. 2016/679 (c.d. “GDPR”).
Il DPIA deve essere infatti effettuato ogni qual volta il trattamento dati mediante «l’uso di nuove tecnologie […] può presentare un rischio ele-vato per i diritti e le libertà delle persone fisiche» .
Non vi sono dubbi che l’obbligo di effettuare il DPIA sorga anche in capo al datore di lavoro nel caso in cui l’utilizzo di strumenti di algorith-mic management comporti il rischio di discriminazione dei lavoratori. Da un lato, è infatti opinione comune che l’art. 35 GDPR trovi applicazione quando i lavoratori sono soggetti a tali strumenti . Dall’altro, è lo stes-so cons. 75 GDPR a identificare il rischio di discriminazione come rile-vante «per i diritti e le libertà delle persone fisiche», così che è immedia-to concludere, sul piano interpretativo, che lo stesso debba considerarsi «elevato» ai fini della fattispecie in esame .
Il DPIA dovrà dunque contenere «una descrizione sistematica» delle funzionalità dell’algoritmo e delle «finalità del trattamento», nonché, so-prattutto, «una valutazione» del rischio discriminazione e delle «misure previste» per affrontarlo, anche in termini di «necessità e proporzionali-tà» del trattamento . In altre parole, il DPIA dovrà contenere una valu-tazione del rischio di discriminazione diretta che, essendo sempre vieta-ta , dovrà essere escluso, nonché quello di discriminazione indiretta che, come previsto sia dalla normativa anti-discriminatoria sopra analiz-zata che, indirettamente, dallo stesso art. 35 GDPR, potrà essere giu-stificata solo mediante un giudizio in termini di necessità e proporziona-lità. In relazione agli algoritmi RB, potrà essere sufficiente, in ragione della staticità del loro processo decisionale, anche una valutazione esclusivamente preventiva del rischio di discriminazione. Al contrario, la dinamicità che contraddistingue gli algoritmi di ML richiederà, oltre a quella preventiva, anche una valutazione ciclica del rischio di discrimi-nazione .
Rispetto alle norme che impongono obblighi generali, quello di procede-re a effettuare un DPIA ha il vantaggio di valutare lo specifico rischio di discriminazione derivante dall’utilizzo, da parte di un datore di lavoro, di un particolare strumento di algorithmic management, obbligandolo dun-que ad adottare correttivi ad hoc . Esso costituisce dunque una tecnica normativa, che peraltro sembra porsi sempre più al centro dell’approccio c.d. “risk-based” del legislatore euro-unitario , utile a prevenire il rischio specifico di discriminazioni sul posto di lavoro .
L’obbligo di DPIA, incentivando la diffusione di servizi di auditing e certificazione degli algoritmi contro il rischio di discriminazione (che già iniziano a diffondersi sul mercato) , è dunque funzionale e migliora-re il processo decisionale algoritmico prevenendo il rischio di discrimi-nazione.
Ciò perché esso pone in capo al datore di lavoro un onere di individuare il rischio di trattamenti discriminatori eventualmente insito nel ricorso a un particolare strumento di algorithmic management e, in caso di sua sussi-stenza, di introdurre dei correttivi utili a mitigarlo. Il mancato (o solo formale) adempimento a tale onere comporterà un maggior rischio di soccombenza in giudizio per il datore di lavoro poiché, come si vedrà nel paragrafo che segue, ciò dovrebbe costituire una facilitazione proba-toria per il lavoratore che intenda far accertare in giudizio una discrimi-nazione. Qualora adempia puntualmente, soprattutto nel caso in cui ri-corra a servizi di auditing o di certificazione offerti da soggetti esperti e indipendenti, il datore di lavoro si doterà invece di un’“assicurazione” contro il rischio di soccombenza, sempre a condizione, ovviamente, che l’audit o la certificazione in questione siano stati condotti o rilasciati in maniera rigorosa e adeguata : circostanza che non può comunque dar-si per scontata .
5.2 Ruolo del sindacato
Da ultimo, occorre aggiungere che un contributo importante alla pre-venzione delle discriminazioni algoritmiche può essere dato dal coinvol-gimento del sindacato, che sarebbe capace di dare rappresentanza alla prospettiva dei lavoratori nei processi di installazione e implementazio-ne degli strumenti di algorithmic management . Ciò sarebbe di primaria importanza, sia nella fase di individuazione del rischio di discriminazio-ne che, soprattutto, in quella di predisposizione dei correttivi, anche perché il sindacato è meno soggetto al rischio di valutazioni “compia-centi” rispetto ai soggetti privati che forniscono al datore di lavoro, die-tro corrispettivo, servizi di auditing e certificazione.
Da questa prospettiva, il GDPR non sembra offrire risposte soddisfa-centi, poiché il coinvolgimento del sindacato nella predisposizione del DPIA non è, allo stato, obbligatorio . Tuttavia, in ossequio all’approccio multidisciplinare integrato qui adottato, è ragionevole ipo-tizzare che il sindacato, facendo leva sulla propria forza negoziale, pro-verà a ottenere tale coinvolgimento sfruttando quelle procedure che, nel diritto italiano e nell’immediato futuro probabilmente anche in quello euro-unitario , impongono al datore di lavoro di informare e, in certi casi, anche consultare il sindacato prima di procedere alla installazione e all’utilizzo di strumenti di algorithmic management da cui potrebbe derivare un rischio di discriminazioni . In ogni caso, il sindacato sarebbe sem-pre comunque libero di sfruttare uno strumento più tradizionale, quale quello della contrattazione collettiva, che potrebbe fungere da equiva-lente funzionale del DPIA ai fini della individuazione del rischio di di-scriminazione e, soprattutto, della adozione di correttivi utili a mitigarlo: eventualità peraltro espressamente prefigurata, nello stesso contesto normativo della protezione dei dati, dall’art. 88 GDPR .
6. Repressione delle discriminazioni algoritmiche: un approccio multidisciplinare integrato alla tutela giurisdizionale contro le discriminazioni
Come già sostenuto altrove, il nostro ordinamento possiede già una se-rie di anticorpi regolativi contro l’opacità algoritmica: diritti di informa-zione, accesso e spiegazione; inversioni degli oneri della prova; poteri istruttori del giudice .
Queste tecniche normative, sempre più utilizzate dal legislatore italia-no e da quello europeo nella regolazione degli strumenti di algorith-mic management, sono funzionali, tra le altre cose, a migliorare la repres-sione, mediante tutela giurisdizionale, delle discriminazioni algoritmiche.
6.1 Diritti di informazione, accesso e spiegazione
Il primo anticorpo regolativo contro l’opacità algoritmica è costituito dai diritti di informazione, accesso e spiegazione.
Sebbene non sia previsto, allo stato attuale, un vero e proprio diritto a ottenere una spiegazione del processo decisionale algoritmico , i diritti di informazione preventiva e soprattutto di accesso previsti agli artt. 13, 14 e 15 GDPR , nonché quelli previsti dall’art. 1-bis del D.lgs. n. 152/1997 recentemente introdotto dal D.lgs. n. 104/2022 (c.d. “Decre-to Trasparenza”) , consentono al lavoratore vittima della discrimina-zione, prima di un eventuale giudizio, di ottenere informazioni sul fun-zionamento di un algoritmo utili ad avere una prima cognizione della di-scriminazione algoritmica eventualmente subita .
Le previsioni del GDPR che obbligano il datore di lavoro a tenere un registro delle attività di trattamento nonché, soprattutto, a effettuare un DPIA potrebbero poi contribuire a garantire l’effettività del diritto di accesso . Ciò perché, nonostante allo stato non vi sia un collega-mento esplicito tra queste disposizioni normative e quelle in materia di trasparenza , esse assicurano la pre-esistenza, rispetto all’esercizio del diritto d’accesso, di informazioni relative non solo alla effettiva presenza un processo decisionale algoritmico ma anche, nel caso del DPIA, di «una descrizione sistematica» delle funzionalità dell’algoritmo e delle «finalità del trattamento», nonché, soprattutto, «una valutazione» del ri-schio discriminazione e delle «misure previste» per affrontarlo, anche in termini di «necessità e proporzionalità» del trattamento.
I diritti di informazione e accesso, che hanno già dimostrato la loro strumentalità a sollevare, seppur parzialmente, il velo di opacità dietro cui si nascondevano algoritmi utilizzati da piattaforme di servizio taxi , hanno una utilità diversa a seconda della tipologia di algoritmo oggetto d’esame . Nel caso di algoritmi RB, saranno infatti utili sia i diritti a ottenere informazione preveniva, che operano cioè al momento in cui i dati sono ottenuti e quindi prima che il processo decisionale algoritmico sia operativo nei confronti dei lavoratori, che quelli di accesso, che ope-rano invece a valle del trattamento dati: ciò perché il processo decisio-nale di questi algoritmi è comprensibile ex ante . Nel caso di algoritmi di ML comprensibili solo ex post, il diritto d’accesso assume un’utilità maggiore di quello all’informazione preventiva . In ogni caso, in as-senza di un vero e proprio diritto a ottenere una spiegazione , le in-formazioni ottenute tramite esercizio del diritto d’accesso ad algoritmi di ML potrebbero avere una utilità comunque più limitata, rispetto al caso di quelli RB, per individuare e dimostrare l’esistenza di una discri-minazione .
6.2 Parziale inversione dell’onere della prova
Il secondo anticorpo regolativo contro l’opacità algoritmica è costituito dalle regole che invertono la normale distribuzione degli oneri della prova, addossandoli, in tutto o in parte, in capo al datore di lavoro.
Come noto, nel contesto normativo anti-discriminatorio di origine euro-unitaria, si prevede che all’attore spetti allegare e dimostrare «fatti dai quali si può presumere che vi sia stata una discriminazione diretta o in-diretta». Ove questa prova sia fornita, spetta poi «alla parte convenuta provare che non vi è stata violazione del principio di parità di tratta-mento» .
Dottrina e giurisprudenza sono tuttora divise sulla qualificazione del meccanismo in esame come mero alleggerimento o come vera e propria inversione dell’onere della prova . Tuttavia, la tesi più convincente, come già sostenuto altrove , sembra quella che lo declina come una «parziale inversione dell’onere, che determina uno spostamento del ri-schio di mancata prova sul convenuto al raggiungimento da parte del lavoratore di una prova semipiena della sussistenza della fattispecie di-scriminatoria dedotta in giudizio» . Nel caso in cui il lavoratore riesca a offrire tale prova semipiena, spetterà poi al datore di lavoro offrire la prova piena, nelle discriminazioni dirette, della insussistenza del tratta-mento sfavorevole e, in quelle indirette, della insussistenza del particola-re svantaggio e/o della sussistenza di una giustificazione , anche, ov-viamente, nella ipotesi di discriminazioni algoritmiche .
Sebbene questa inversione parziale semplifichi l’accertamento in giudi-zio di una discriminazione, fornire la prova semipiena della stessa sa-rebbe comunque quasi impossibile per il singolo lavoratore a causa del problema dell’opacità algoritmica , che può essere verosimilmente solo alleviato, ma mai annullato, dall’esercizio, preventivo e stragiudiziale, dei diritti di informazione e accesso sopra analizzati .
Tuttavia, una rilettura in chiave evolutiva di due statuizioni della Corte di Giustizia potrebbe facilitare la concreta inversione dell’onere proba-torio in capo al datore di lavoro in caso di discriminazioni algoritmi-che .
Il riferimento è, innanzitutto, alla statuizione della Corte secondo cui «il diniego di fornire qualunque accesso alle informazioni da parte di un convenuto possa costituire uno degli elementi da prendere in considera-zione nell’ambito dell’accertamento dei fatti che consentono di presu-mere la sussistenza di una discriminazione diretta o indiretta» . Questa precisazione, di carattere generale, ha inevitabilmente un rilievo più pre-gnante nel contesto normativo odierno, in cui l’ordinamento, a differen-za di quanto avveniva nel caso oggetto di decisione della Corte di Giu-stizia, garantisce al lavoratore specifici diritti di informazione e accesso quando le decisioni siano assunte mediante algoritmi. Pertanto, è soste-nibile che, in caso di esercizio preventivo e stragiudiziale dei diritti di accesso previsti dal GDPR e dal Decreto Trasparenza, l’onere del lavo-ratore di offrire prova semipiena della discriminazione sia ulteriormente alleggerito quando il datore di lavoro non abbia fornito le informa-zioni dovute oppure abbia fornito informazioni insufficienti o non fun-zionali allo scopo .
Un risultato analogo sarebbe poi giustificato considerando che la stessa Corte, in una pronuncia ancora più risalente, ha ritenuto in generale ri-levante, ai fini dell’offerta della prova semipiena della discriminazione, che il datore di lavoro applicasse un sistema decisionale «caratterizzato da una totale mancanza di trasparenza» . In ragione di ciò, lo standard probatorio richiesto ai fini dell’offerta della prova semipiena sarà inver-samente proporzionale al tasso di opacità dell’algoritmo in esame. Per-tanto, nel caso di algoritmi di ML (soprattutto se tecnicamente imper-scrutabili), è sostenibile che possano essere sufficienti mere piste proba-torie di una discriminazione per far scattare l’inversione dell’onere pro-batorio in capo al datore di lavoro.
Del resto, è proprio con riguardo agli algoritmi più complessi che la tecnica normativa dell’inversione dell’onere della prova si dimostra maggiormente efficace, poiché addossa in capo al datore di lavoro il ri-schio di inspiegabilità delle decisioni assunte mediante algoritmi, così incentivandolo a utilizzare esclusivamente quelli che siano abbastanza comprensibili da permettergli di mitigare, in concreto e consapevolmen-te, il pericolo di discriminazioni .
6.3 Poteri istruttori del giudice
Le difficoltà sopra riscontrate potrebbero essere definitivamente supera-te facendo ricorso a quelle tecniche normative che, contemperando il principio dispositivo in materia istruttoria, permettono al giudice di far emergere nel processo la verità materiale che si cela dietro l’algoritmo, mediante esercizio dei poteri istruttori a lui attribuiti dall’ordinamento.
Sebbene nella disciplina del processo anti-discriminatorio manchi una disposizione analoga all’art. 421, co. 2, c.p.c. , è infatti sostenibile che vi siano almeno due ipotesi in cui il giudice, in presenza di una pista probatoria che non assurga ancora al rango di «prova semipiena» della discriminazione, possa efficacemente esercitare i propri poteri istruttori al fine di comprendere se, nel caso oggetto d’esame, sia o no possibile far scattare il meccanismo di inversione dell’onere della prova in capo al datore di lavoro.
La prima è quella in cui il giudice, a norma dell’art. 210 c.p.c. e dunque su istanza di parte, ordini al datore di lavoro l’esibizione di un docu-mento, sicuramente rilevante e in molti casi indispensabile ai fini della decisione della causa, quale il DPIA . A valle dell’esibizione, potrebbe-ro verificarsi tre scenari.
Il primo si verifica quando il datore di lavoro abbia identificato nel DPIA il rischio discriminazione oggetto delle piste probatorie emerse in precedenza, applicando poi misure correttive volte a mitigarlo. In tal ca-so, il giudice dovrebbe, sulla base degli elementi istruttori acquisiti, va-lutare nel merito se, anche alla luce rischio segnalato, via sia una prova semipiena di discriminazione diretta in ogni caso vietata oppure, qualora vi sia una prova semipiena di discriminazione indiretta, se le «misure previste» dal datore di lavoro nella DPIA al fine di mitigarne gli effetti fossero adeguate e proporzionali a sterilizzarlo. In ogni caso, la preven-tiva valutazione specifica del rischio di discriminazione nel DPIA da parte del datore di lavoro, soprattutto se fatta da soggetti esperti e indi-pendenti, dovrebbe verosimilmente essere letta alla stregua di una pre-sunzione, comunque sempre e solo relativa, di non discriminatorietà dell’algoritmo in esame .
Il secondo scenario si verifica quando il datore di lavoro, a differenza di quanto emerso in giudizio dalle piste probatorie, si trovi davanti un DPIA che non aveva identificato alcun rischio di discriminazione. In tal caso, il giudice potrebbe tenere in considerazione questa circostanza, assieme alle altre acquisite al processo, al fine della inversione dell’onere probatorio in capo al datore di lavoro , fermo restando che, se la valu-tazione di non discriminatorietà sia stata effettuata da soggetti esperti e indipendenti, sarebbe più difficile vincere la presunzione di non discri-minatorietà contenuta nel DPIA .
Il terzo scenario si verifica quando il datore di lavoro non abbia predi-sposto, pur avendone il dovere, un DPIA. In tal caso, è sostenibile che questo elemento debba essere tenuto in considerazione dal giudice ai fi-ni della inversione dell’onere probatorio in capo al datore di lavoro, al pari di quanto accade in caso di mancato riscontro all’esercizio del dirit-to d’accesso da parte del lavoratore .
La seconda ipotesi di esercizio dei poteri istruttori è quella in cui il giu-dice disponga, su istanza di parte o anche d’ufficio, una consulenza tec-nica.
Innanzitutto, nella sua versione c.d. “deducente”, la consulenza tecnica sarebbe sicuramente utile al giudice per meglio valutare nel merito quanto precisato nel DPIA sul rischio di discriminazione.
Soprattutto, essa, nella sua versione c.d. “percipiente”, sembra essere il solo mezzo davvero funzionale ad avere prova piena e diretta del con-creto funzionamento dell’algoritmo, al fine di valutare se vi sia effetti-vamente stata una discriminazione . Ciò sarebbe certamente fattibile, e non comporterebbe nemmeno costi ingenti, nel caso di algoritmi RB. Lo stesso non può però dirsi degli algoritmi di ML, con riguardo ai qua-li potrebbero rendersi necessarie costose pratiche di reverse engineering o di spiegazione controfattuale che, nel caso degli algoritmi più complessi, potrebbero persino rivelarsi infruttuose ai fini della prova piena della di-scriminazione .
6.4 Ruolo del sindacato
Da ultimo, occorre sottolineare che il coinvolgimento del sindacato sa-rebbe funzionale a migliorare la repressione delle discriminazioni algo-ritmiche perché idoneo a superare difficoltà insite, in generale, nel con-tenzioso individuale anti-discriminatorio nonché quelle, nello specifi-co, relative al contenzioso in relazione a strumenti di algorithmic manage-ment, legate principalmente alla loro intrinseca opacità.
Il sindacato si trova infatti in una posizione migliore di quella dei lavo-ratori considerati individualmente sia nella fase pre-contenziosa di pre-parazione alla controversia che in quella di gestione del contenzioso, soprattutto quando è legittimato ad agire in prima persona, come acca-de nel contesto normativo anti-discriminatorio e come prefigurato, a li-vello europeo, in quello dedicato alla protezione dei dati . Da questa prospettiva, non sembra dunque un caso che le uniche due decisioni in cui sia stata accertata una discriminazione algoritmica a danno dei lavo-ratori siano arrivate proprio al termine di procedimenti promossi diret-tamente dal sindacato .
7. Conclusioni: gli strumenti di algorithmic management come mezzo per ridurre le diseguaglianze in ambito lavorativo?
Nei primi anni di discussione sul tema, la dottrina si è soprattutto con-centrata su come il ricorso a strumenti di algorithmic management amplifi-chi il rischio di discriminazione nei confronti dei lavoratori. Tuttavia, per quanto ciò possa apparire paradossale, un maggior utilizzo di questi strumenti potrebbe, per certi aspetti, anche essere strumentale a ridurre il rischio di discriminazioni nell’ambiente di lavoro rispetto a quando le decisioni erano assunte esclusivamente da esseri umani . Ciò, però, sa-rà possibile solo nel caso in cui vi siano regole adeguate e funzionali allo scopo che, come si è cercato di dimostrare in questo articolo, sono in parte già previste sia a livello europeo che nazionale .
Le potenzialità di queste regole possono però essere colte a pieno sono mediante un approccio multidisciplinare integrato sia alla prevenzione che alla repressione delle discriminazioni algoritmiche, a cui dottrina e giurisprudenza del lavoro, abituate alle specificità di un settore sempre meno autonomo e autosufficiente, sembrano ancora in parte impermea-bili.
Per garantire una maggiore efficacia di questo approccio, sarebbe dun-que necessario, sia sul piano interpretativo/applicativo che legislati-vo , un rafforzamento delle garanzie. In fase di prevenzione, ciò sa-rebbe utile a dare maggiore consapevolezza, soprattutto ai datori di la-voro, del rischio discriminazione, permettendogli di porvi rimedio per tempo . In fase di repressione, ciò sarebbe utile a facilitare ulterior-mente l’emersione di discriminazioni che, altrimenti, sarebbero rimaste inesorabilmente nascoste dietro un velo di opacità algoritmica .
Un approccio multidisciplinare integrato al problema renderebbe dun-que i datori di lavoro maggiormente consapevoli dei rischi legali e repu-tazionali insiti nel ricorso a pratiche discriminatorie nei confronti dei la-voratori, così incentivandoli a utilizzare solo quegli algoritmi per cui sia possibile mitigare ex ante il rischio discriminazione.
Concludendo, il maggior ricorso a strumenti di algorithmic management non eliminerà certo alle radici il problema delle diseguaglianze in ambito lavorativo e, più in generale, nella società. Tuttavia, fermi i rischi speci-fici in tema di discriminazione creati dall’uso di dispositivi algoritmici, potrebbe mitigare alcuni dei suoi effetti negativi. Ciò, però, solo a patto che, come argomentato in questo articolo, la legge e i suoi interpreti continuino a fare scelte a ciò strumentali.
