Skip to content
Vai al testo

Governance dell'IA e Rischio Digitale

L'adattamento richiede il rilevamento: il problema di governance nell'accessibilità personalizzata sul posto di lavoro

Banner di Novara Consulting Group per la categoria AI Governance & Digital Risk: il nome della categoria in un riquadro verde su una foresta di pini immersa nella nebbia.
Scarica PDF

Cosa presuppone la proposta

L'argomentazione a favore dell'accessibilità adattiva è semplice e attraente. Invece di costruire un'unica interfaccia e chiedere a ogni dipendente di conformarsi ad essa, si distribuiscono sistemi che si adattano a ciascuna persona, in modo continuo e senza che venga richiesto. L'accessibilità diventa personale, immediata e invisibile. La formulazione che di solito la accompagna è che l'accessibilità dovrebbe adattarsi alle persone anziché richiedere alle persone di adattarsi ad essa.

La formulazione è corretta come principio ed è fuorviante come specifica, perché nasconde ciò che l'adattamento richiede. Un sistema non può adattarsi a una persona che non ha classificato. Per ingrandire il testo per un dipendente e non per un altro, per semplificare una dashboard, per modificare i tempi, per cambiare la modalità di input, il sistema deve prima stabilire che quella particolare persona ne ha bisogno. La personalizzazione è classificazione, e sul posto di lavoro la classificazione in questione è la disabilità.

La personalizzazione è classificazione, e sul posto di lavoro la classificazione in questione è la disabilità.

Questo è il problema di governance, e non è un dettaglio di implementazione. Un datore di lavoro che distribuisce un sistema in grado di dedurre quali dei suoi dipendenti sono disabili ha costruito qualcosa di piuttosto diverso da una funzione di accessibilità. Ha costruito un meccanismo che genera informazioni sulla disabilità riguardanti la propria forza lavoro, in modo continuo, senza richiesta, senza divulgazione e senza il processo che la legge prevede esattamente per questo scopo.

La classificazione è ciò che il diritto del lavoro limita maggiormente

L'Americans with Disabilities Act (ADA) vieta ai datori di lavoro di richiedere esami medici o di porre domande su se un dipendente sia una persona con disabilità, o sulla natura o gravità di tale disabilità, a meno che la richiesta non sia correlata al lavoro e coerente con la necessità aziendale. La restrizione è deliberatamente ampia, e la Equal Employment Opportunity Commission (EEOC) l'ha da tempo interpretata come comprensiva delle richieste suscettibili di ottenere informazioni su una disabilità, e non solo delle domande dirette.

Se un motore di inferenza compia una richiesta ai sensi della norma è una questione aperta, e dovrebbe essere definita tale piuttosto che risolta in un senso o nell'altro. Un sistema che monitora il livello di zoom, il tempo di permanenza, i tassi di errore, il metodo di input, la frequenza delle correzioni o i modelli di navigazione, e ne deduce che un utente ha probabilmente una menomazione visiva, motoria o cognitiva, non ha posto alcuna domanda. Ha ottenuto la risposta senza la domanda, il che è o al di fuori del linguaggio della norma o esattamente il danno che la norma intende prevenire, e nessun tribunale ha ancora avuto occasione di stabilire quale delle due cose sia vera.

Ciò che non è in discussione è cosa finisce per detenere il datore di lavoro. Comunque venga caratterizzata l'inferenza, il risultato è un documento, associato a un dipendente identificato per nome, che indica una probabile disabilità. L'ADA richiede che le informazioni mediche ottenute sui dipendenti siano conservate su moduli separati, in archivi separati, e trattate come documentazione medica riservata. Un sistema di accessibilità adattiva che genera inferenze correlate alla disabilità all'interno di una pipeline di analisi di prodotto generica, conservata su infrastruttura del fornitore, visibile a chiunque amministri la piattaforma, difficilmente soddisfa questo standard, e nella maggior parte delle implementazioni nessuno ha considerato la questione perché il sistema è stato acquistato come funzione dell'esperienza utente piuttosto che come fonte di informazioni mediche sui dipendenti.

Si noti anche cosa perde il dipendente. Il processo di accomodamento esiste per dare alla persona il controllo: se divulgare, cosa divulgare, a chi, e cosa richiedere. Un sistema adattivo decide tutte e quattro queste cose per conto del dipendente e non le comunica mai. L'individuo è servito meglio da un modulo semplice e da un decisore identificato che da un sistema che determina silenziosamente di cosa ha bisogno.

Le pertinenti linee guida dell'EEOC su queste questioni, l'assistenza tecnica del maggio 2022 sull'ADA e l'uso di software, algoritmi e intelligenza artificiale per valutare candidati e dipendenti, hanno indicato la richiesta illecita correlata alla disabilità come uno dei tre meccanismi principali di danno algoritmico ai sensi dell'ADA, insieme al mancato accomodamento e allo screen-out. Quel documento è stato rimosso dal sito web dell'agenzia nel gennaio 2025. La sua rimozione ha cambiato la disponibilità della spiegazione, non il contenuto della norma.

Al mercato è appena stato detto cosa succede

Tre mesi prima della stesura di questo testo, la Federal Trade Commission ha annunciato una denuncia e una proposta di ordinanza che richiede ad accessiBe di pagare un milione di dollari per risolvere le accuse secondo cui l'azienda avrebbe travisato le capacità del proprio strumento di accessibilità web basato sull'IA. L'azienda aveva commercializzato un plug-in sostenendo che potesse rendere qualsiasi sito web conforme alle Web Content Accessibility Guidelines (WCAG), in parte immediatamente e completamente tramite un processo automatizzato entro quarantotto ore, con nuove scansioni continue per mantenere la conformità al variare dei contenuti. La FTC ha affermato che il prodotto non faceva questo, fallendo su componenti di base inclusi menu, intestazioni, tabelle, immagini e registrazioni, e che l'azienda aveva formattato recensioni a pagamento in modo che apparissero come recensioni indipendenti. La proposta di ordinanza vieta all'azienda di affermare che i suoi prodotti automatizzati possano rendere un sito web conforme alle WCAG, o mantenerlo tale nel tempo, in assenza di prove a sostegno dell'affermazione.

L'overlay di accessibilità è il precedente più vicino disponibile per l'accessibilità adattiva, e la lezione non è che l'automazione non possa aiutare. È che un adattamento automatizzato sovrapposto a un sistema sottostante inaccessibile produce l'apparenza dell'accesso anziché l'accesso stesso, e che le organizzazioni che lo adottano acquisiscono quell'apparenza come propria difesa. Gli overlay sono stati venduti esattamente con il registro che oggi usa il messaggio promozionale dell'accessibilità adattiva: non limitarti a conformarti, innova; la tecnologia si adatta in tempo reale; l'accessibilità diventa automatica. Centinaia di organizzazioni che utilizzano overlay sono state citate in giudizio in cause relative all'accessibilità web, e l'overlay non le ha aiutate. Le ha identificate.

Un'organizzazione che adotta un sistema di personalizzazione sulla base dell'affermazione di un fornitore secondo cui esso si adatta a ogni utente sta facendo lo stesso acquisto, in un contesto in cui le persone interessate sono dipendenti anziché visitatori di un sito web, e in cui la norma applicabile prevede un diritto di azione individuale.

L'adattamento viene offerto come sostituto dell'accomodamento, e questo è oggetto di contenzioso ora

Il pericolo pratico non è che i sistemi adattivi falliscano. È che la loro esistenza venga considerata come adempimento dell'obbligo di accomodamento.

Nel marzo 2025, l'American Civil Liberties Union, l'ACLU del Colorado, Public Justice ed Eisenberg and Baum hanno presentato una denuncia alla Colorado Civil Rights Division e all'EEOC per conto di una dipendente sorda e indigena. Secondo i documenti pubblici, ella aveva richiesto sottotitoli generati da una persona come accomodamento ragionevole per un colloquio video automatizzato, e la richiesta era stata respinta sulla base del fatto che i sottotitoli automatici della piattaforma sarebbero stati sufficienti. Alcune parti del colloquio sarebbero rimaste prive di sottotitoli in ogni caso. Entrambe le aziende negano le accuse, e la questione sarà determinata dall'indagine piuttosto che dal commento.

Qualunque ne sia l'esito, la fattispecie individua esattamente il rischio. La posizione del datore di lavoro era che la funzione adattiva automatizzata rendesse superfluo l'accomodamento richiesto. Questa è esattamente la proposta che il marketing dell'accessibilità adattiva presenta come suo beneficio centrale. Un'organizzazione che adotta la tecnologia e ne interiorizza il marketing ha adottato una difesa attualmente in fase di verifica, e dovrebbe capire che è essa stessa la difesa in discussione, non un modo per evitare la controversia.

La tecnologia assistiva non è un programma di accessibilità

Un'ultima distinzione, perché la proposta tende a confonderla. Applicazioni come Seeing AI e Google Lookout sono tecnologie assistive: strumenti che una persona cieca o ipovedente sceglie, configura, controlla e può abbandonare. Appartengono all'utente. La loro governance è dell'utente stesso, e il loro valore è reale.

Un'interfaccia adattiva distribuita dal datore di lavoro è un oggetto di tipo diverso. Appartiene all'istituzione, viene applicata alla persona anziché essere azionata da lei, funziona indipendentemente dal fatto che lei lo voglia o meno, e genera dati che il datore di lavoro detiene. Argomentare dal successo della prima categoria per sostenere la sicurezza della seconda è l'errore analitico centrale in questo campo, e si ripete perché entrambe vengono descritte come IA per l'accessibilità.

C'è anche un problema più silenzioso nel citare le app assistive per consumatori come prova della posizione di un'organizzazione in materia di accessibilità. Se un dipendente cieco si muove nel luogo di lavoro usando un'applicazione che ha trovato, installato e imparato a usare nel proprio tempo libero, l'organizzazione non ha fornito accessibilità. Ha beneficiato del fatto che lui l'abbia fatto, e contare questo come fornitura istituzionale oscura un obbligo non adempiuto. La domanda rilevante non è quali strumenti i dipendenti abbiano trovato. È se i documenti, i sistemi e l'ambiente fisico dell'organizzazione stessa siano accessibili senza di essi.

Cosa richiede effettivamente il principio

L'accessibilità dovrebbe adattarsi alle persone anziché il contrario. Il principio è valido. Ciò che ne consegue non è l'inferenza ma l'autodeterminazione: la persona specifica di cosa ha bisogno, e il sistema fa ciò che è stato specificato. Questa è la differenza tra un controllo di preferenza e un motore di rilevamento, ed è l'intera questione di governance.

Sei cose conseguono per qualsiasi organizzazione che consideri questi sistemi.

  1. Chiedere per iscritto al fornitore se il sistema deduce le caratteristiche dell'utente o applica preferenze dichiarate dall'utente. Se deduce, chiedere cosa deduce, da quali segnali, dove viene conservata l'inferenza, chi può vederla e per quanto tempo viene conservata. Conservare la risposta.
  2. Preferire la preferenza dichiarata al rilevamento ovunque sia possibile ottenere lo stesso risultato. Un pannello di impostazioni controllato dal dipendente offre lo stesso adattamento senza nessuno dei problemi legati all'inferenza, e lascia il dipendente al comando della propria divulgazione.
  3. Trattare qualsiasi inferenza correlata alla disabilità generata dal sistema come informazione medica riservata ai fini della gestione, in un archivio separato con accesso limitato, e confermare che l'architettura del fornitore lo consenta prima della distribuzione, non dopo.
  4. Dichiarare esplicitamente, nella politica e nel processo di accomodamento stesso, che le funzioni adattive automatizzate non limitano né sostituiscono una richiesta di accomodamento ragionevole, e formare di conseguenza chiunque gestisca le richieste.
  5. Rifiutare le affermazioni di conformità. Qualsiasi dichiarazione secondo cui un prodotto raggiunge o mantiene automaticamente la conformità a uno standard di accessibilità dovrebbe essere trattata come un'affermazione promozionale non supportata, a meno che non sia accompagnata da prove, il che è ormai anche la posizione della FTC.
  6. Correggere il sistema sottostante. La correzione adattiva applicata a un documento, a una dashboard o a un flusso di lavoro inaccessibile produce una modifica temporanea della superficie. Risolvere la fonte è più lento, meno impressionante in una dimostrazione, e l'unica cosa che funziona in modo duraturo.

Conclusione

L'accessibilità personalizzata viene presentata come un modo per superare l'attrito del processo di accomodamento: niente moduli, niente divulgazione, niente ritardi, nessuna conversazione imbarazzante. L'attrito che propone di eliminare è in gran parte il processo attraverso il quale una persona disabile esercita il controllo sulle informazioni che la riguardano e dichiara di cosa ha effettivamente bisogno. Eliminarlo non elimina la classificazione. Sposta la classificazione da una conversazione a cui il dipendente partecipa a un sistema che non può vedere.

La tecnologia non è il problema, e gran parte di essa si rivelerà genuinamente utile. L'affermazione è il problema, e l'affermazione attualmente avanzata, secondo cui l'accessibilità può essere automatica, adattiva e completa senza che nessuno debba decidere nulla, è la stessa affermazione che ha già prodotto un'azione esecutiva federale e un'ondata di contenziosi nel mercato adiacente. Non era vera per i siti web. Non è più vera per i luoghi di lavoro, dove le persone a cui ci si adatta sono dipendenti con un diritto di azione privato e una norma che li protegge dal 1990.

Riferimenti

  • American Civil Liberties Union, ACLU of Colorado, Public Justice, e Eisenberg & Baum LLP. Reclamo presentato alla Colorado Civil Rights Division e alla U.S. Equal Employment Opportunity Commission, 19 marzo 2025.
  • Americans with Disabilities Act del 1990, 42 U.S.C. § 12112(d), sugli esami medici, le richieste correlate alla disabilità e la riservatezza delle informazioni mediche.
  • Federal Trade Commission, In the Matter of accessiBe, Inc., File No. 2223156; denuncia e proposta di ordinanza annunciate il 3 gennaio 2025; ordinanza definitiva aprile 2025.
  • U.S. Equal Employment Opportunity Commission, The Americans with Disabilities Act and the Use of Software, Algorithms, and Artificial Intelligence to Assess Job Applicants and Employees, EEOC-NVTA-2022-2, 12 maggio 2022; rimosso dal sito web dell'agenzia il 27 gennaio 2025.
  • Web Content Accessibility Guidelines, World Wide Web Consortium.
Cita questo
Grizzle, H. M. (2025, April 24). Adaptation Requires Detection: The Governance Problem in Personalized Workplace Accessibility. Novara Consulting Group. https://www.novaracg.com/2025/04/24/adaptation-requires-detection-the-governance-problem-in-personalized-workplace-accessibility/

Iscriviti a Novara Consulting Group

Nuovi articoli, direttamente nella tua casella di posta.

Consult