Da un twitter diventato virale nel 2019, abbiamo appreso che Goldman Sachs, una delle banche d’investimento più importanti al mondo, ha escluso un potenziale cliente dall’accesso ad una prestigiosa ed esclusiva carta Apple sulla base di una profilazione errata e discriminatoria. Il fatto è diventato noto perché l’autore del twitter, uno sviluppatore di software danese, è il marito della persona a cui è stata rifiutata la carta, che invece l’ha ottenuta anche se guadagnava meno di lei. In sostanza, la donna era ritenuta non idonea a quel determinato prodotto per motivi opachi e non trasparenti.
Discriminazione in base al sesso
Se non ci fosse stato quel Twitter non si sarebbe saputo nulla di tutto ciò, cioè della sistematica e silenziosa discriminazione di genere. La vicenda è un chiaro esempio della nota metafora del cosiddetto “soffitto di vetro”: la possibilità che una donna possa salire al potere o avere pari opportunità di carriera è spesso impedita da una sorta di soffitto trasparente, che costituisce una barriera invisibile ma potente e limitante. Per ragioni imperscrutabili, non spiegate chiaramente e senza possibilità di entrare nel merito, gli algoritmi rischiano di attuare politiche discriminatorie, che avrebbero dovuto appartenere al passato e non alle tecnologie del futuro. La rappresentazione, interpretazione e codificazione degli esseri umani attraverso i set di dati di formazione e le modalità con cui i sistemi tecnologici raccolgono, etichettano e utilizzano questi materiali sono aspetti critici nella riproduzione di stereotipi, pregiudizi, forme di discriminazione basate sul genere o sulla razza. Il pregiudizio trova sempre una via d’uscita nel sistema, o meglio, in un certo senso, i pregiudizi fanno parte del sistema. A questo proposito, è noto che, fino al 2015, Amazon reclutava i suoi futuri dipendenti attraverso un sistema che si “addestrava” sui curricula, generalmente di uomini, ricevuti nel corso dei dieci anni precedenti. I modelli avevano quindi imparato a raccomandare gli uomini, autoperpetuandosi e amplificando le disuguaglianze di genere dietro una facciata di presunta neutralità tecnica. Tanto per fare un esempio, il curriculum di un potenziale dipendente Amazon veniva rifiutato se conteneva la parola “donna” perché il sistema aveva imparato a gestire i dati in questo modo (Dastin 2018).
Razzismo dell’IA
L’intelligenza artificiale produce e riflette relazioni sociali, una particolare visione del mondo e, inevitabilmente, rapporti economici e di potere, dato l’importante capitale in termini finanziari necessario per investirvi. Basti dire che i sistemi di riconoscimento facciale, che contribuiscono fortemente all’etichettatura della realtà e degli esseri umani, nascono dai primi sforzi sperimentali di Cia e l’FBI negli anni ’60, passando per database basati su immagini di prigionieri, per arrivare ai giorni nostri, dove i principali sistemi di questo tipo sono alimentati da volti e scatti che vengono liberamente distribuiti sui social media (Crawford 2021: 105-135 ). Chiaramente, la crescente complessità tecnologica e il suo significativo impatto sociale hanno messo in luce anche le caratteristiche più controverse dell’IA, a cominciare dai pregiudizi inseriti automaticamente nei set di dati utilizzati per nutrire intelligenza artificiale. Si consideri il fatto che c’è stato un lungo dibattito sul riconoscimento facciale, dove si è visto che era più difficile distinguere le persone di colore, proprio perché i dataset di training si basavano principalmente su materiale fotografico bianco, raccolto e categorizzato principalmente da bianchi.
Le differenze razziali, culturali e di genere sono elementi che non si limitano a giustapporsi o sommarsi tra loro, ma interagiscono tra loro producendo nuove e ineguagliabili forme di segregazione e assoggettamento, che si stratificano su luoghi comuni e distinzioni vecchie e logore. A questo proposito ha avuto ampia diffusione sui media la storia di una donna afroamericana che non riusciva ad ottenere un mutuo per comprare una casa e non si capiva il motivo, visto che aveva un buon lavoro in un’università americana; fino a quando non divenne chiaro che ciò dipendeva dal quartiere afroamericano in cui viveva e dal suo essere afroamericano (Glantz, Martinez, 2018). In pratica, l’intelligenza artificiale ha esacerbato le asimmetrie già esistenti nei confronti dei singoli gruppi umani, a partire dalla loro presunta solvibilità. Limitando le possibilità di un futuro migliore, il razzismo esistente e conclamato, sebbene mai dichiarato apertamente, viene perpetuato e “naturalizzato”.
Secondo lo scienziato dell’intelligenza artificiale Timnit Gebru e la studiosa di linguistica computazionale Emily Bender, un gigante come Google riafferma e afferma costantemente le disuguaglianze. Ad esempio, il suo programma di riconoscimento facciale è meno accurato nell’identificare le donne e le persone di colore (Hao 2020). Gli algoritmi, costruiti con tecnologie innovative, possono convalidare forme di razzismo istituzionale. Anche in uno studio dell’Università del Maryland, è stato riscontrato in alcuni software di riconoscimento facciale che le emozioni negative venivano attribuite più ai neri che ai bianchi (Crawford, 2021: 197).
Il contesto socio-culturale dell’IA
Lo sviluppo esponenziale dell’Intelligenza Artificiale ci ha in qualche modo obbligato a riflettere su alcuni aspetti, come quelli da parlare esseri umani dell apprendimento automatico. Infatti gli stereotipi, le forme di discriminazione e il razzismo vengono automaticamente appresi e incorporati nei set di dati, ma questi sono chiaramente presenti e già presenti su Internet e di fatto ogni giorno oltre all’intelligenza artificiale. Ed è per questo che occorre risalire controcorrente, appunto. Di cosa si nutre l’IA? Chi costruisce l’intelligenza artificiale? Perché è chiaro che non si tratta semplicemente di correggere gli errori dopo che sono comparsi, come nel caso dei CV di Amazon o della carta Apple di Goldman Sachs. Le immagini inserite nei dataset basati sulla visione artificiale per il riconoscimento degli oggetti, nella categorizzazione dei sessi, si trovano ad organizzare ed etichettare, ad esempio, fotografie in cui gli uomini hanno spesso scattato all’aperto partecipando ad alcune attività sportive e con oggetti legati allo sport e le donne principalmente in cucina con alcuni utensili da cucina (Wang, A., Liu, A., Zhang, R., Kleiman, A., Kim, L., Zhao, D., Shirai, I. Narayanan, A. Russakovsky , O., 2021: 9). Questi dati sono rilevanti di per sé e devono essere analizzati in qualche modo perché i pregiudizi sono già incorporati nel sistema.
Fei-Fei Li, un esperto di visione artificiale che ci sta lavorando denigrarecome ridurre le distorsioni che i set di dati tendono a incorporare, afferma che i risultati della situazione attuale sono “set di dati non sufficientemente vari, compresi quelli di ImageNet [a cui la stessa Li ha lavorato, n.d.a.], aggravato da algoritmi scarsamente testati e decisioni discutibili. Quando Internet presenta un’immagine della vita quotidiana prevalentemente bianca, occidentale e spesso maschile, ci ritroviamo con una tecnologia che fatica a dare un senso a tutti gli altri” (Li, 2024: 253). I dataset riflettono anche una concezione del mondo fortemente radicata in chi ci lavora.
È interessante sapere che, secondo l’art Custode, nel team di Sam Altman il 75% dei dipendenti di OpenAI sono uomini (Kassova, 2023). E la domanda che inevitabilmente sorge è: quali sono le conseguenze di un’intelligenza artificiale sviluppata senza la piena partecipazione delle donne, delle minoranze e dei paesi non occidentali? Perché allo stato attuale, è chiaro che la loro mancanza di rappresentanza nel settore tecnologico significa che gli algoritmi funzionano male su coloro che non sono bianchi e maschi.
L’intelligenza artificiale e il marchio del capitalismo
Le altre domande altrettanto cruciali sono: per chi è fatta l’intelligenza artificiale? Chi possiede i set di dati e che uso ne fa? E qui ovviamente entrano in gioco anche la democrazia sulla trasparenza e l’etica della non discriminazione. Uno degli elementi chiave dei dati è che vengono presi senza contesto e senza consenso. Nick Couldry e Ulises Mejias (2022) tracciano un interessante parallelo tra il periodo coloniale e la società attuale. Se nel periodo del colonialismo, il potere operava in modo estrattivo, cioè i colonizzatori derubavano i paesi colonizzati di preziose materie prime e forza lavoro (attraverso la schiavitù), le controparti contemporanee estraggono dati a scopo di lucro senza chiedere il consenso legale dei proprietari, come è il caso di Midjourney che, come recentemente emerso in una class action promossa da alcuni artisti americani, ha utilizzato le opere di 16.000 artisti senza chiedere permesso ed evitando i diritti d’autore. I grandi giganti della tecnologia sono costantemente e ferocemente alla ricerca di enormi quantità di dati per alimentare e addestrare i sistemi di intelligenza artificiale (Metz, C., Kang, C., Frenkel, S., Thompson, SA, Grant, N., 2024). Internet è stata creata da chi lavora nel settore dell’intelligenza artificiale come una sorta di risorsa naturale, da cui si possono estrarre dati a piacimento. Il colonialismo dei dati è un ordine sociale emergente basato su un nuovo tentativo di appropriarsi delle risorse mondiali a beneficio di poche élite, come nel passato con il colonialismo “classico”. C’è una profonda continuità nelle modalità di acquisizione, negli atteggiamenti mentali, nelle forme di esclusione e di ritenzione del potere. È sorprendente come questo a volte venga incorporato in qualche biografia iconica: Elon Musk, ad esempio, ha un padre che possedeva una miniera di smeraldi in Zambia. Nella famiglia la forma di colonizzazione si è evoluta solo con i tempi e le tecnologie, ma il marchio è lo stesso.
L’intelligenza artificiale, come una volta il colonialismo, produce valore in modo ineguale e sproporzionato, influenzando negativamente molte persone, indipendentemente dal fatto che le definiamo in termini di razza, classe o genere, o dall’intersezione di tutte queste categorie.
E renderlo più inclusivo non sarà una battaglia facile.
RIFERIMENTI BIBLIOGRAFICI
Crawford, K. (2021), Né intelligente né artificiale: il lato oscuro dell’IAIl Mulino, Bologna.
Couldry, N., Mejias, AU (2022), prezzo della connessione: come i dati colonizzano le nostre vite e se ne appropriano per fare soldi, Il Mulino, Bologna.
Dastin, J. (2018), “Amazon elimina lo strumento segreto di reclutamento basato sull’intelligenza artificiale che mostrava pregiudizi nei confronti delle donne”, in Reuters, 11 ottobre.
Glantz, A., Martinez di Reveal, E. (2018), “Keeping Out: How Banks Are Blocking People of Color from Home Ownership”, APnews, 15 febbraio.
Hao, K. (2020), “Abbiamo letto il documento che ha costretto Timnit Gebru a lasciare Google. Ecco cosa dice”, in Revisione della tecnologia del MIT4 dicembre.
Kassova, L. (2023) “Dove sono tutte le ‘Madri di Dio’ dell’intelligenza artificiale? Le voci delle donne non vengono ascoltate”, Il guardiano, 25 novembre.
Li, FF, (2024), Tutti i mondi che vedo, Luiss University Press, Roma.
Metz, C., Kang, C., Frenkel, S., Thompson, SA, Grant, N. (2024), “Come i giganti della tecnologia stanno tagliando gli angoli per raccogliere dati per l’intelligenza artificiale”, Il New York Times, 6 aprile.
Telford, T. (2019), “L’algoritmo della Apple Card suscita accuse di pregiudizio di genere contro Goldman Sachs”Washington Post, 11 novembre.
Wang, A., Liu, A., Zhang, R., Kleiman, A., Kim, L., Zhao, D., Shirai, I. Narayanan, A. Russakovsky, O., (2021, “Uno strumento per Abuso e mitigazione dei pregiudizi in un set di dati visivi”, arXiv: 2004.07999v4 [cs.CV] 23 luglio 2021.