Sintesi esecutiva
Le istituzioni che acquisiscono sistemi di intelligenza artificiale per l'accesso alla comunicazione sono sempre più convinte di aver gestito il rischio, e questa convinzione è sempre più immeritata. La fiducia si basa su artefatti: checklist completate, documentazione del fornitore, dimostrazioni scriptate, clausole di garanzia negoziate, dichiarazioni di accessibilità depositate. Ogni artefatto è autentico. Nessuno di essi, singolarmente o nel loro insieme, è progettato per rispondere alla domanda a cui l'istituzione ha realmente bisogno di una risposta, ovvero se il sistema funzionerà in modo sicuro, affidabile e appropriato nel contesto di implementazione per cui viene acquisito.
Questo numero definisce tale condizione teatro dell'approvvigionamento e sostiene che essa è strutturale piuttosto che malevola. I professionisti dell'approvvigionamento vengono premiati per la completezza procedurale. I fornitori vengono premiati per la capacità dimostrativa persuasiva. Entrambe le parti possono adempiere pienamente ai propri obblighi mentre la domanda centrale sulle prestazioni rimane inesaminata. Il rimedio non è più documentazione. È uno spostamento dello standard di governance dalla garanzia procedurale, che chiede se i passaggi richiesti sono stati seguiti, alla garanzia probatoria, che chiede se le prove raccolte fossero in grado di scoprire la verità.
La posizione di Novara Consulting Group è che questa distinzione diventerà la competenza decisiva della governance dell'IA nel settore pubblico, e che le istituzioni dovrebbero iniziare a costruire ora la capacità probatoria necessaria, prima dell'implementazione piuttosto che dopo il fallimento.
Il Problema Politico
La governance non si misura in base all'attività. Si misura in base alla capacità delle attività svolte di scoprire la verità. La maggior parte dell'attuale approvvigionamento di IA per l'accessibilità fallisce questo test non perché il processo sia negligente, ma perché il processo è stato progettato per una classe diversa di prodotto.
Gli strumenti tradizionali di approvvigionamento presuppongono che le capacità di un prodotto siano stabili, osservabili e in gran parte dichiarate dal produttore. Sotto tale presupposto, raccogliere artefatti è un ragionevole indicatore per verificare le prestazioni. I sistemi di intelligenza artificiale che mediano l'accesso linguistico violano ogni parte di tale presupposto. Le prestazioni variano in base al segnante, al registro, alla variazione regionale, all'illuminazione, alla geometria della telecamera, alla latenza, all'argomento trattato e alla presenza o assenza delle caratteristiche grammaticali non manuali da cui questa pubblicazione prende il nome. Un sistema che si comporta adeguatamente in una dimostrazione controllata può deteriorarsi sostanzialmente in un'accoglienza clinica, un'udienza disciplinare o una comunicazione d'emergenza. Nulla in un pacchetto di artefatti standard è costruito per rivelare tale deterioramento.
Tre confusioni alimentano il problema. La documentazione viene trattata come convalida, sebbene la documentazione registri ciò che un fornitore afferma piuttosto che ciò che un sistema effettivamente fa. La certificazione viene trattata come prestazione, sebbene la certificazione attesti tipicamente la conformità del processo piuttosto che la qualità del risultato. La conformità viene trattata come efficacia, sebbene la conformità misuri l'allineamento a uno standard tecnico piuttosto che se un utente sordo o ipoudente abbia ottenuto un accesso comunicativo funzionale. Un processo di approvvigionamento che non riesce a distinguere tra questi tre concetti genera un rischio istituzionale direttamente proporzionale al numero di moduli completati, perché ogni modulo completato aumenta la fiducia senza aumentare la conoscenza.
Analisi Istituzionale
La struttura degli incentivi spiega la persistenza del fenomeno in modo più convincente di qualsiasi ipotesi di malafede. Gli uffici di approvvigionamento operano sotto regimi di audit che esaminano se i passaggi richiesti sono avvenuti, non se tali passaggi fossero epistemicamente adeguati. Un fascicolo contenente un rapporto di conformità di accessibilità del fornitore, un verbale di dimostrazione e clausole contrattuali negoziate supera l'audit. Un fascicolo che documenta che l'istituzione ha testato in modo indipendente il sistema con utenti sordi rappresentativi in condizioni rappresentative, e lo ha trovato carente, crea rischi di tempistica ed esposizione politica. Il sistema premia il primo fascicolo.
I fornitori affrontano un incentivo simmetrico. I mercati per l'IA per l'accessibilità premiano la qualità della dimostrazione, la coerenza narrativa e la velocità di contrattazione. Ai fornitori viene raramente chiesto di divulgare le condizioni di fallimento, e divulgarle unilateralmente impone un costo competitivo. Le prove pubbliche non supportano ancora l'affermazione secondo cui gli attuali sistemi commerciali di IA per la lingua dei segni siano stati valutati rispetto a condizioni di test indipendenti e rappresentative dell'implementazione, con risultati pubblicati. In assenza di tali prove, le affermazioni di marketing e la documentazione autoprodotta diventano il registro istituzionale per impostazione predefinita.
La popolazione interessata assorbe il rischio residuo. Gli utenti sordi e ipoudenti tipicamente non sono parti dell'approvvigionamento, sono raramente rappresentati nei test di accettazione e incontrano il sistema solo dopo che la fiducia istituzionale è stata stabilita e il contratto è stato eseguito. A quel punto l'onere della prova si è invertito. All'utente viene richiesto di dimostrare che il sistema ha fallito, contro un registro istituzionale che afferma che la dovuta diligenza è stata eseguita e che il sistema è stato trovato conforme. Questa inversione è il danno operativo del teatro dell'approvvigionamento, ed è prodotta interamente da attori legittimi che seguono procedure legittime.
La decisione di non guardare è essa stessa una decisione di governance.
Compreso negli strumenti della tradizione di governo, l'approvvigionamento non è una formalità amministrativa ma uno strumento di azione pubblica, e la scelta dello strumento determina chi è autorizzato a parlare, cosa conta come prova e dove si colloca la responsabilità. Letto insieme alla letteratura sulle storie causali, il racconto prevalente del fallimento dell'IA per l'accessibilità è una storia di incidente, in cui una tecnologia imprevedibile talvolta sottoperforma e nessun attore ne porta la responsabilità. L'impostazione probatoria qui proposta supporta un racconto diverso, quantomeno di negligenza: i fallimenti sono prevedibili, le condizioni in cui si verificano sono scopribili in anticipo, e la decisione di non guardare è essa stessa una decisione di governance.
Implicazioni per la Governance
Spostarsi dalla garanzia procedurale a quella probatoria richiede alle istituzioni di porre una serie diversa di domande, e di trattare le risposte come criteri di accettazione piuttosto che come informazioni di contesto. Quali prove supportano l'affermazione fatta, e tali prove sono prove di prestazione o prove di processo? Chi ha generato le prove, sotto quale relazione commerciale con il risultato, e con quale trasparenza metodologica? Il risultato può essere riprodotto in modo indipendente da una parte senza interesse nel successo dell'approvvigionamento? In quali condizioni specifiche il sistema fallisce, con quale frequenza, e con quale distribuzione di gravità tra le popolazioni di utenti? E quando tali fallimenti si verificano nell'implementazione, quale parte ne porta la responsabilità, attraverso quale meccanismo, con quale tempistica, e con quale rimedio disponibile per l'individuo interessato?
Queste domande fanno più che alzare l'asticella probatoria. Ricollocano la responsabilità. Un fascicolo di approvvigionamento che vi risponde stabilisce cosa sapeva l'istituzione, quando lo sapeva, e cosa ha accettato. Un fascicolo di approvvigionamento che non vi risponde stabilisce solo che l'istituzione ha completato un processo. Sotto le crescenti aspettative di governance, inclusi i quadri basati sul rischio che richiedono alle organizzazioni di caratterizzare il contesto d'uso e documentare il rischio residuo, il secondo fascicolo sta diventando sempre più difficile da difendere.
La competenza in questione è la capacità istituzionale di distinguere la fiducia dalla prova. Tale capacità non risiede nelle checklist. Risiede negli strumenti di valutazione, nella capacità di specificare condizioni di test rappresentative, e nella volontà di trattare l'affermazione di un fornitore come un'ipotesi piuttosto che come un dato di fatto.
Posizione politica di NCG
Novara Consulting Group ritiene che l'acquisizione di IA per l'accessibilità debba essere governata dalla garanzia probatoria, e che le seguenti posizioni derivino da tale principio.
La documentazione fornita dal fornitore deve essere trattata come un'affermazione che richiede verifica, mai come una verifica di per sé. La sua funzione nel registro di approvvigionamento è stabilire ciò che il fornitore ha dichiarato, questione di responsabilità e non di prova
La valutazione indipendente dovrebbe essere condotta in condizioni rappresentative del contesto effettivo di implementazione, comprese le popolazioni di utenti, i registri linguistici, l'argomento trattato e le condizioni ambientali che il sistema incontrerà in servizio. Una valutazione condotta in qualsiasi altra condizione risponde a una domanda che l'istituzione non ha posto.
Le condizioni di fallimento dovrebbero essere divulgate affermativamente e affrontate contrattualmente prima dell'aggiudicazione. Un sistema le cui modalità di fallimento non sono documentate non è stato valutato, indipendentemente da quanta documentazione lo accompagni.
Le parti interessate sorde e ipoudenti dovrebbero partecipare ai criteri di accettazione e alla progettazione della valutazione, non solo al feedback post implementazione. La partecipazione dopo che la fiducia istituzionale si è formata è consultazione solo di nome.
La responsabilità per il fallimento dovrebbe essere assegnata esplicitamente al momento dell'acquisizione, con rimedio ed escalation definiti disponibili per l'individuo interessato piuttosto che solo per l'istituzione contraente.
Considerazioni sull'Implementazione
Le istituzioni che adottano una posizione probatoria dovrebbero anticipare tre attriti pratici. Il primo è la tempistica. La valutazione indipendente estende i cicli di acquisizione, e tale estensione deve essere difesa in anticipo presso la dirigenza piuttosto che essere assorbita silenziosamente dall'ufficio approvvigionamenti. La difesa più duratura è comparativa: il costo della valutazione pre-implementazione rispetto al costo della rimediazione, della risoluzione contrattuale, o del contenzioso derivante da fallimenti scoperti in servizio.
Il secondo è la capacità. La maggior parte delle istituzioni non possiede attualmente le competenze interne per progettare condizioni di valutazione rappresentative per l'IA per la lingua dei segni, e l'assenza di tale competenza viene spesso interpretata erroneamente come un motivo per affidarsi alla documentazione del fornitore. È più correttamente interpretata come una specifica per la capacità di valutazione esterna.
Il terzo è la risposta del mercato. I fornitori abituati all'approvvigionamento basato su artefatti potrebbero resistere ai requisiti di valutazione, e alcuni rifiuteranno di partecipare. Le istituzioni dovrebbero riconoscere che la riluttanza di un fornitore a essere valutato in condizioni rappresentative dell'implementazione è essa stessa una prova, ed è tra i segnali più informativi disponibili durante l'acquisizione.
L'implementazione non deve essere totale per essere significativa. Le istituzioni possono iniziare aggiungendo domande probatorie agli strumenti di sollecitazione esistenti, richiedendo la divulgazione delle condizioni di fallimento come criterio di responsività, o condizionando l'aggiudicazione al superamento di una valutazione indipendente. Ogni passo sposta il registro istituzionale dalla fiducia verso la prova.
Posizione conclusiva
Il futuro della governance dell'IA non sarà determinato da quale organizzazione raccoglie il maggior numero di documenti di conformità. Sarà determinato da quali organizzazioni costruiscono sistemi di approvvigionamento capaci di distinguere la fiducia dalla prova.
Riferimenti
- Salamon, L. M. (a cura di). (2002). The Tools of Government: A Guide to the New Governance. Oxford University Press.
- Stone, D. (2012). Policy Paradox: The Art of Political Decision Making (3ª ed.). W. W. Norton.
- National Institute of Standards and Technology. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1.
- International Organization for Standardization. (2023). ISO/IEC 42001:2023, Information technology – Artificial intelligence – Management system.
- Information Technology Industry Council. Voluntary Product Accessibility Template (VPAT). Strumento di rendicontazione sulla conformità in materia di accessibilità, menzionato ai sensi della Section 508 del Rehabilitation Act.
- Regolamento (UE) 2024/1689 del Parlamento Europeo e del Consiglio che stabilisce regole armonizzate sull'intelligenza artificiale.
- Novara Consulting Group. The Fifth Parameter, numero 002, “The Procurement Trap.”
- Novara Consulting Group. The Fifth Parameter, numero 011 / Policy n. 2, “The Accountability Gap.”
Nota dell'Autrice
Heather M. Grizzle-Odland è la fondatrice e CEO di Novara Consulting Group LLC, dove si occupa di governance dell'accessibilità nell'IA, approvvigionamento di tecnologie di IA per la lingua dei segni, responsabilità istituzionale e supervisione tecnologica nel settore pubblico. È l'ideatrice del Sign Language Access Trust Framework™ e autrice di The Fifth Parameter, una pubblicazione che esamina le questioni di governance che le istituzioni spesso trascurano nella valutazione delle tecnologie emergenti.
Il suo lavoro si concentra su prove concrete, responsabilità, governance guidata dai Deaf e sul divario tra conformità tecnica e accessibilità nel mondo reale.