Audit degli algoritmi – PRIVACY GDPR

Audit degli algoritmi: la normativa UE lo prevede, ma non è ancora chiaro come farlo. Ecco perché

Condividi questo articolo

In forza del recente Digital Services Act (“DSA”), ora le grandi piattaforme online devono obbligatoriamente sottoporsi ad audit indipendenti per verificare i rischi “sistemici” dei loro algoritmi e dei dati inerenti. Ma non è ancora chiaro come farlo per conformarsi alla normativa. Facciamo il punto

Pubblicato il 21 Ago 2023

Andrea Michinelli

Avvocato, FIP (IAPP), LA ISO/IEC 27001:2013

L’attuale “febbre dell’intelligenza artificiale”, da parte di società e operatori, comporta un sotteso fermento per il connesso tema degli algoritmi (e dei dati inerenti). In forza del recente Digital Services Act (“DSA”), cioè il Regolamento europeo 2265 del 2022, ora le grandi piattaforme devono obbligatoriamente sottoporsi ad audit indipendenti, tra l’altro, per verificare i rischi “sistemici” dei loro algoritmi.

Le idee su come farlo sono però ancora poco chiare e non mancano le criticità, tanto più dopo la recente pubblicazione da parte della Commissione Europea – avvenuta in maggio e chiusa in giugno – della proposta di regolazione supplementare al DSA su come svolgere gli audit e i relativi feedback pubblici degli stakeholder.

Indice degli argomenti

Le previsioni del Digital Services Act

Partiamo dal testo normativo: anzitutto si parla di obblighi che ricadono solo sui soggetti più grandi, cioè le piattaforme online e i motori di ricerca molto grandi (cioè un servizio di memorizzazione di informazioni che, su richiesta di un destinatario del servizio, memorizza e diffonde informazioni al pubblico, anche come motori di ricerca, con fattori dimensionali come per es. un numero medio mensile di utenti attivi di almeno 45 milioni).

WHITEPAPER

Ottimizzare i processi per risparmiare risorse: tutto quello che puoi fare con RPA

Robotica

Machine Learning

Inizio modulo

Leggi l'informativa sulla privacy

Acconsento alla comunicazione dei dati a terzi appartenenti ai seguenti settori merceologici: servizi (tra cui ICT/digitali), manifatturiero, commercio, pubblica amministrazione. I dati verranno trattati per finalità di marketing tramite modalità automatizzate e tradizionali di contatto (il tutto come specificato nell’informativa)

Fine modulo

In capo a loro, l’art. 35 sull’attenuazione dei rischi sistemici prescrive quanto segue:

“I fornitori di piattaforme online di dimensioni molto grandi e di motori di ricerca online di dimensioni molto grandi adottano misure di attenuazione ragionevoli, proporzionate ed efficaci, adattate ai rischi sistemici specifici individuati a norma dell’articolo 34, prestando particolare attenzione agli effetti di tali misure sui diritti fondamentali. Tali misure possono comprendere, ove opportuno: […] d) la sperimentazione e l’adeguamento dei loro sistemi algoritmici, compresi i loro sistemi di raccomandazione”.

Dunque, gli algoritmi rientrano nello spettro d’esame della valutazione imposta dal DSA.

Nell’articolato del DSA manca una definizione di rischi “sistemici”, ne troviamo solo un’esemplificazione nei considerando 80-83 DSA: la diffusione di contenuti illegali, gli effetti sui diritti fondamentali, gli effetti negativi su democrazia, elezioni, salute pubblica eccetera.

A ciò si collega l’art. 37 DSA sulle revisioni (audit) indipendenti ove recita:

“1. I fornitori di piattaforme online di dimensioni molto grandi e di motori di ricerca online di dimensioni molto grandi si sottopongono, a proprie spese e almeno una volta all’anno, a revisioni indipendenti volti a valutare la conformità: a) agli obblighi stabiliti al capo III […].

4. I fornitori di piattaforme online di dimensioni molto grandi e di motori di ricerca online di dimensioni molto grandi provvedono affinché le organizzazioni che effettuano le revisioni redigano una relazione per ciascuna revisione. Tale relazione è motivata per iscritto e contiene almeno gli elementi seguenti: […] d) una descrizione degli elementi specifici sottoposti a revisione e della metodologia applicata; e) una descrizione e una sintesi delle principali constatazioni derivanti dalla revisione; […] g) un giudizio di revisione sul rispetto, da parte del fornitore della piattaforma online di dimensioni molto grandi o del motore di ricerca online di dimensioni molto grandi oggetto della revisione, degli obblighi e degli impegni di cui al paragrafo 1, giudizio che può essere segnatamente «positivo», «positivo con osservazioni» o «negativo»; h) se il giudizio di revisione non è «positivo», raccomandazioni operative su misure specifiche per conseguire la conformità e sui tempi raccomandati per conseguirla”.

Le indicazioni della Commissione sugli audit del DSA

In accompagnamento a queste disposizioni è arrivata la citata proposta della Commissione, composta di due documenti distinti: il primo (“Rules on the performance of audits for very large online platforms and very large online search engines”) stabilisce i principi fondamentali che i revisori dovrebbero applicare nella selezione delle metodologie e delle procedure di audit, fornendo ulteriori specifiche per l’audit della conformità agli obblighi di gestione del rischio e di risposta alle crisi. Il secondo è un modello per la relazione di audit e le relazioni di attuazione degli audit che saranno resi pubblici e presentati alla Commissione e al coordinatore dei servizi digitali nel paese di stabilimento delle piattaforme.

Nelle intenzioni, la relazione di audit dovrebbe presentare un parere chiaro e indipendente per quanto riguarda la conformità delle piattaforme al DSA. Le prime relazioni di audit dovranno essere presentate al più tardi un anno dopo l’inizio dell’applicazione degli obblighi imposti dal DSA.

La lettura di questi documenti della Commissione, però, si rivela non certo esaustiva: come detto, si tratta perlopiù di procedure, di meta-regolazione. Per es. il documento sui principi prevede:

le fasi procedurali per garantire che l’organizzazione di audit selezionata soddisfi le condizioni stabilite nell’art. 37 DSA;
le fasi procedurali per la cooperazione e l’assistenza del fornitore auditato nella conduzione degli audit, incluso l’accesso alle informazioni pertinenti per ottenere prove di audit;
la definizione e la selezione delle metodologie di audit.

Nel modello di relazione troviamo indicazioni sui vari punti del DSA da verificare, sui possibili risultati (positivi, con commenti, negativi), sulle evidenze raccolte eccetera.

Pertanto, non viene indicato e nemmeno suggerito nulla circa le metodologie stesse di audit da scegliere, su possibili benchmark e metriche, sugli indici da adottare, specie per i casi più complessi come quelli algoritmici.

Pare debbano essere sempre e solo gli auditor a doversi assumere la responsabilità di scegliere e adottare degli standard, i connessi parametri e utilizzarli nello screening dei propri auditati. Pare dunque un guscio vuoto da riempire di contenuto.

E qui arriviamo alle maggiori critiche che si possono trovare nei feedback raccolti.

Criticità e feedback

Uno degli aspetti più critici è proprio quello della verifica algoritmica sui rischi per i diritti fondamentali e quelli sociali, tuttora inedita a livello normativo: norme come il GDPR in precedenza hanno sì previsto una serie di requisiti in determinati casi di utilizzo di algoritmi (pensiamo alle decisioni automatizzate dell’art. 22 GDPR) ma non hanno mai prescritto un audit specifico sul punto, né tantomeno sono stati forniti dei criteri o linee guida ad hoc.

La lettura dei feedback presenti sulla pagina web della proposta della Commissione conferma l’horror vacui che non riesce a colmare il proposto pacchetto di documenti.

Mancano degli indici, delle metodologie di misurazione acclarati e standardizzati in merito. Ciò peraltro comporterà inevitabilmente una grande variabilità negli esiti dei giudizi di audit e dunque disparità di trattamento e incertezza. Sono le grandi società di revisione (come PwC) a sostenere questa potenziale criticità.

Inoltre, la complessità e difficoltà di valutare gli algoritmi comporta la ristrettezza nel novero di aziende o enti in grado di effettuare un certo tipo di valutazioni, possedendo ben poche, al momento, il personale e il know how necessari.

Altri, come Wikimedia, fanno presente come le piattaforme siano molto differenti tra di loro e nelle stesse attività rese, per cui vi sarà ancora maggiore difficoltà nel rinvenire e definire standard il più possibile univoci e adatti a tutte le casistiche.

Sono tante e tali le incertezze che molti stakeholder (inclusi gli auditor) arrivano a richiedere quasi un anno “di grazia”, di flessibilità (di valutazione) da parte delle autorità e della Commissione, per capire come gestire man mano l’intero iter e vedere dai primi risultati come poter correggere il tiro.

Molto importanti sono anche le considerazioni di osservatori di associazioni ed enti no profit come Algorithm Watch che ripropongono argomenti già noti in generale avverso gli audit cosiddetti “indipendenti” (di seconda parte), come il fatto che si tratterà di auditor contrattualizzati e pagati dallo stesso auditato, con un incentivo a essere quantomeno indulgenti, non proprio una posizione scevra da conflitti di interessi. La già citata mancanza di standard riconosciuti potrebbe rendere fin troppo agevole la resa di giudizi oltremodo benevoli e positivi.

Audit algoritmico: non basta la parola

Definire uno standard per gli audit proprio per gli algoritmi non è affatto facile, a prescindere dal DSA, per diverse ragioni: dalla complessità degli algoritmi (rendendo difficile comprendere appieno il loro funzionamento e le implicazioni delle decisioni che prendono) alla mancanza di trasparenza (sia per la tecnologia “black box” in sé che per eventuali tutele quali segreti commerciali), dalla rapidità del progresso tecnologico gli algoritmi possono evolversi rapidamente, rendendo difficile mantenere aggiornati gli standard di audit in modo da riflettere le ultime tecnologie e pratiche) alla contestualizzazione (l’uso in diversi contesti e applicazioni rende difficile sviluppare uno standard che sia adeguato e applicabile in tutti i casi).

Perché sia importante auditare gli algoritmi lo sostengono in molti, basti citare un articolo dell’Harvard Business Review che già dal 2018 sottolineava come i dati e gli algoritmi non siano affatto oggettivi, comportano conseguenze e rischi rilevanti tali da arrivare a codificare i pregiudizi della società, accelerare la diffusione di disinformazione, amplificare le echo chambers dell’opinione pubblica, e persino danneggiare il benessere mentale, specie dei più vulnerabili.

Le stesse paure e ansie, come visto, sono sottese all’esigenza stessa del DSA di imporre i citati audit.

Ciò basta a giustificare la previsione di audit obbligatori su questi aspetti, per verificare se e come possano aversi certi effetti e costringere le piattaforme a intervenire. Spingendo soprattutto – come sta accadendo al dibattito sull’AI e la relativa proposta di AI Act europeo – sul tema della spiegabilità, sulla necessità che sia possibile ricavare causalmente l’iter input-output del sistema e solo così arrivare a poterlo vagliare davvero. Altrettanto sarà necessaria una prospettiva olistica, interdisciplinare dell’audit.

Molte delle discussioni attuali sulle criticità nel fare audit sui sistemi di AI sono sovrapponibili a quelle sugli algoritmi. Per citare esempi autorevoli, basti pensare alla pubblicazione di ISACA sull’audit di intelligenza artificiale (“Auditing artificial intelligence”) del 2018, riportata dalla Commissione Europea e che già prevedeva diverse criticità dell’audit e possibili contromisure (in primis la necessità di utilizzare framework esistenti, tant’è che ISACA rimandava al proprio standard COBIT 2019 da adattare al caso). Riportiamo di seguito la utile tabella presente in tale documento:

Un recente studio del Parlamento Europeo, si incentra, invece, sull’analisi dei dati utilizzati dai sistemi algoritmici (intitolandosi “Auditing the quality of datasets used in algorithmic decision-making systems”).

Vi si trovano molte indicazioni interessanti soprattutto sulla valutazione dei bias che possono rinvenirsi nei dataset, con indicazioni altresì di tool e tecniche utili per cercare di ottenere processi algoritmici improntati alla fairness, all’equità e non discriminazione.

Se ne riporta una tabella di esempio:

In generale, dai feedback pare esserci un certo scetticismo della società civile sul fatto che le grandi società di revisione siano in grado di valutare i rischi sistemici come quelli che i social media potrebbero comportare per i processi democratici, cioè rischi che impattano sui diritti fondamentali.

E ci sono già attori differenti che cercano di colmare questa lacuna: uno di essi è Algorithm Audit, un’organizzazione non governativa il cui scopo è valutare eticamente i criteri per gli audit algoritmici, indicandone i pro e i contro in circostanze specifiche.

La sua metodologia è auto-definita “algoprudenza”, una crasi tra algoritmo e giurisprudenza. Non mancano sul sito web le pubblicazioni di report già svolti su alcuni algoritmi auditati.

Lo stesso fondatore dell’organizzazione prevede in ogni caso tempistiche di diversi anni per arrivare a metodologie sufficientemente condivise e utili per il DSA, dipendenti oltretutto dal modo in cui la Commissione Europea e il suo nuovo Centro per la trasparenza algoritmica (c.d. “ECAT”), inaugurato a Siviglia nell’aprile scorso, si impegnino con gli auditor per concordare le best practice.

E proprio l’ECAT di Siviglia forse rappresenta l’anello finora mancante, visto che nelle intenzioni “fornirà alla Commissione competenze tecniche e scientifiche interne per garantire che i sistemi algoritmici utilizzati dalle piattaforme online e dai motori di ricerca di dimensioni molto grandi rispettino i requisiti in materia di gestione e attenuazione dei rischi e di trasparenza previsti dal regolamento sui servizi digitali. Si tratta in particolare di effettuare analisi tecniche e valutazioni degli algoritmi. Una squadra interdisciplinare composta da esperti di dati, intelligenza artificiale, scienze sociali e diritto combineranno le rispettive competenze per valutare il funzionamento degli algoritmi e proporre le migliori pratiche per attenuarne l’impatto. Questo sarà fondamentale per garantire un’analisi approfondita delle relazioni di trasparenza e dell’autovalutazione dei rischi presentate dalle imprese designate e per effettuare ispezioni dei loro sistemi ogniqualvolta la Commissione lo richieda”.

Quindi, il suo sviluppo sarà fondamentale per rendere realtà le previsioni del DSA circa gli audit e la pubblica sorveglianza algoritmica.

Infine, a tutto questo possiamo collegare il recente template che la Commissione Europea ha sfornato e appena posto in pubblica discussione per quanto riguarda il coevo Digital Market Act (Regolamento 2022/1925). E che riguarda proprio le tecniche di audit, in questo caso dirette le tecniche di profilazione applicate agli utenti.

All’art. 2 del template vengono indicate diverse informazioni che devono essere raccolte dagli auditor sulle tecniche di profilazione, con alcuni importanti distinzioni come, ad esempio, quella tradati osservati e forniti dagli utenti, sulle fonti di dati stessi, sul fatto di incrociarli, di inferirli, eccetera. Informazioni utili anche per un audit sugli algoritmi e relati dati, che però richiedono davvero una miglior sistematizzazione a livello di standard.

Ci si aspetta più coraggio da parte della Commissione Europea, la quale – magari tramite l’operato del citato ECAT e cooperazione con gli stakeholder – dovrebbe fornire a tutti qualche riferimento sugli standard applicabili, elencandone perlomeno dei minimi, specifici elementi che l’audit dovrà passare al vaglio per ottemperare alla sua importante (forse troppo ambiziosa?) funzione.

Vedremo che cosa accadrà al termine della revisione della Commissione alla luce dei feedback pubblici: l’impressione è che non possano essere questi documenti procedurali, pur se rivisti, quelli che scioglieranno i nodi sostanziali.