Résumé exécutif
Les institutions qui acquièrent des systèmes d'intelligence artificielle pour l'accès à la communication sont de plus en plus convaincues d'avoir maîtrisé le risque, et cette conviction est de plus en plus injustifiée. Cette confiance repose sur des artefacts : listes de contrôle complétées, documentation fournisseur, démonstrations scénarisées, clauses de garantie négociées, déclarations d'accessibilité déposées. Chaque artefact est authentique. Aucun d'entre eux, individuellement ou collectivement, n'est conçu pour répondre à la question que l'institution a réellement besoin de résoudre, à savoir si le système fonctionnera de manière sûre, fiable et appropriée dans le contexte de déploiement pour lequel il est acquis.
Ce numéro désigne cette situation sous le terme de théâtre des achats et soutient qu'elle est structurelle plutôt que malveillante. Les professionnels des achats sont récompensés pour l'exhaustivité procédurale. Les fournisseurs sont récompensés pour la persuasion de leurs démonstrations. Les deux parties peuvent s'acquitter pleinement de leurs obligations tandis que la question centrale de performance reste inexaminée. Le remède n'est pas davantage de documentation. C'est un basculement de la norme de référence, de l'assurance procédurale, qui demande si les étapes requises ont été suivies, vers l'assurance probante, qui demande si les preuves recueillies étaient capables de découvrir la vérité.
La position de Novara Consulting Group est que cette distinction deviendra la compétence déterminante de la gouvernance de l'IA dans le secteur public, et que les institutions devraient commencer dès maintenant à bâtir la capacité probante nécessaire, avant le déploiement plutôt qu'après un échec.
Le Problème de Politique
La gouvernance ne se mesure pas à l'activité. Elle se mesure à la capacité des activités menées à découvrir la vérité. La plupart des achats actuels d'IA d'accessibilité échouent à ce test non pas parce que le processus est négligent, mais parce que ce processus a été conçu pour une autre catégorie de produit.
Les instruments d'achat traditionnels supposent que les capacités d'un produit sont stables, observables et largement divulguées par le fabricant. Sous cette hypothèse, la collecte d'artefacts constitue un indicateur raisonnable pour vérifier la performance. Les systèmes d'intelligence artificielle assurant la médiation de l'accès linguistique violent chaque élément de cette hypothèse. La performance varie selon le signeur, le registre, les variations régionales, l'éclairage, la géométrie de la caméra, la latence, le sujet traité, et la présence ou l'absence des traits grammaticaux non manuels dont cette publication tire son nom. Un système qui fonctionne de manière adéquate lors d'une démonstration contrôlée peut se dégrader considérablement lors d'un accueil clinique, d'une audience disciplinaire ou d'une communication d'urgence. Rien dans un ensemble d'artefacts standard n'est construit pour révéler cette dégradation.
Trois confusions entretiennent ce problème. La documentation est traitée comme une validation, alors qu'elle n'enregistre que ce qu'affirme un fournisseur, et non ce que fait réellement un système. La certification est traitée comme de la performance, alors qu'elle atteste généralement de la conformité d'un processus plutôt que de la qualité d'un résultat. La conformité est traitée comme de l'efficacité, alors qu'elle mesure l'alignement sur une norme technique plutôt que le fait qu'un utilisateur sourd ou malentendant ait obtenu un accès communicatif fonctionnel. Un processus d'achat incapable de distinguer ces trois concepts génère un risque institutionnel directement proportionnel au nombre de formulaires remplis, car chaque formulaire complété accroît la confiance sans accroître la connaissance.
Analyse institutionnelle
La structure des incitations explique la persistance de ce schéma de façon plus convaincante que tout récit de mauvaise foi. Les services des achats fonctionnent sous des régimes d'audit qui examinent si les étapes requises ont eu lieu, et non si ces étapes étaient épistémiquement adéquates. Un dossier contenant un rapport de conformité d'accessibilité du fournisseur, un enregistrement de démonstration et des clauses contractuelles négociées survit à l'audit. Un dossier démontrant que l'institution a testé de manière indépendante le système auprès d'utilisateurs sourds représentatifs dans des conditions représentatives, et l'a jugé insuffisant, crée un risque de calendrier et une exposition politique. Le système récompense le premier dossier.
Les fournisseurs font face à une incitation symétrique. Les marchés de l'IA d'accessibilité récompensent la qualité de la démonstration, la cohérence narrative et la rapidité de conclusion des contrats. Les fournisseurs sont rarement tenus de divulguer les conditions d'échec, et le fait de les divulguer unilatéralement impose un coût concurrentiel. Les preuves publiques ne corroborent pas encore l'affirmation selon laquelle les systèmes commerciaux actuels d'IA en langue des signes ont été évalués dans des conditions de test indépendantes et représentatives du déploiement, avec publication des résultats. En l'absence de telles preuves, les allégations marketing et la documentation auto-générée deviennent par défaut le dossier institutionnel.
La population concernée absorbe le risque résiduel. Les personnes Sourdes et malentendantes ne sont généralement pas parties prenantes aux achats, sont rarement représentées dans les tests d'acceptation, et ne rencontrent le système qu'après que la confiance institutionnelle a été établie et le contrat exécuté. À ce stade, la charge de la preuve s'est inversée. L'utilisateur doit démontrer que le système a échoué, face à un dossier institutionnel affirmant que la diligence raisonnable a été exercée et que le système a été jugé conforme. Cette inversion constitue le préjudice opérant du théâtre des achats, et elle est produite entièrement par des acteurs légitimes suivant des procédures légitimes.
Le choix de ne pas regarder est en soi une décision de gouvernance.
Compris à travers les outils de la tradition gouvernementale, l'achat public n'est pas une formalité administrative mais un instrument d'action publique, et le choix de cet instrument détermine qui est habilité à s'exprimer, ce qui compte comme preuve, et où se situe en définitive la responsabilité. Lu conjointement avec la littérature sur les récits causaux, le récit dominant de l'échec de l'IA d'accessibilité est un récit d'accident, dans lequel une technologie imprévisible sous-performe occasionnellement et aucun acteur ne porte de responsabilité. Le cadrage probant avancé ici soutient un autre récit, celui, à tout le moins, de l'inadvertance : les échecs sont prévisibles, les conditions dans lesquelles ils surviennent sont découvrables à l'avance, et la décision de ne pas les chercher est elle-même une décision de gouvernance.
Implications en matière de gouvernance
Passer de l'assurance procédurale à l'assurance probante exige des institutions qu'elles posent un ensemble différent de questions, et qu'elles traitent les réponses comme des critères d'acceptation plutôt que comme des informations de contexte. Quelles preuves étayent l'affirmation formulée, et s'agit-il de preuves de performance ou de preuves de processus ? Qui a généré ces preuves, dans quelle relation commerciale avec le résultat, et avec quelle transparence méthodologique ? Le résultat peut-il être reproduit de manière indépendante par une partie n'ayant aucun intérêt à ce que l'achat réussisse ? Dans quelles conditions précises le système échoue-t-il, à quel taux, et avec quelle distribution de sévérité selon les populations d'utilisateurs ? Et lorsque ces échecs surviennent en déploiement, quelle partie en porte la responsabilité, par quel mécanisme, selon quel calendrier, et avec quel recours disponible pour la personne concernée ?
Ces questions font plus qu'élever le niveau de preuve exigé. Elles déplacent la responsabilité. Un dossier d'achat qui y répond établit ce que l'institution savait, quand elle le savait, et ce qu'elle a accepté. Un dossier d'achat qui n'y répond pas établit seulement que l'institution a mené à terme un processus. Face aux attentes émergentes en matière de gouvernance, y compris les cadres fondés sur le risque qui exigent des organisations qu'elles caractérisent le contexte d'usage et documentent le risque résiduel, le second type de dossier devient de plus en plus difficile à défendre.
La compétence en jeu est la capacité institutionnelle à distinguer la confiance de la preuve. Cette capacité ne réside pas dans des listes de contrôle. Elle réside dans des instruments d'évaluation, dans l'aptitude à spécifier des conditions de test représentatives, et dans la volonté de traiter une affirmation de fournisseur comme une hypothèse plutôt que comme une conclusion établie.
Position politique de NCG
Novara Consulting Group soutient que l'acquisition d'IA d'accessibilité devrait être régie par l'assurance probante, et que les positions suivantes découlent de ce principe.
La documentation produite par le fournisseur doit être considérée comme une affirmation nécessitant une vérification, et non comme une vérification en soi. Sa fonction dans le dossier d'approvisionnement est d'établir ce que le fournisseur a affirmé, ce qui relève de la responsabilité et non de la preuve.
L'évaluation indépendante devrait être menée dans des conditions représentatives du contexte réel de déploiement, y compris les populations d'utilisateurs, les registres linguistiques, le sujet traité et les conditions environnementales que le système rencontrera en service. Une évaluation menée dans toute autre condition répond à une question que l'institution n'a pas posée.
Les conditions d'échec devraient être divulguées de manière proactive et traitées contractuellement avant l'attribution du marché. Un système dont les modes d'échec ne sont pas documentés n'a pas été évalué, quelle que soit la quantité de documentation qui l'accompagne.
Les parties prenantes Sourdes et malentendantes devraient participer à l'élaboration des critères d'acceptation et à la conception de l'évaluation, et non uniquement aux retours post-déploiement. Une participation intervenant après que la confiance institutionnelle s'est formée n'est une consultation que de nom.
La responsabilité en cas d'échec devrait être attribuée explicitement au moment de l'acquisition, avec un recours et une procédure d'escalade définis et accessibles à la personne concernée, et non uniquement à l'institution contractante.
Considérations relatives à la mise en œuvre
Les institutions adoptant une posture probante devraient anticiper trois frictions pratiques. La première concerne le calendrier. L'évaluation indépendante allonge les cycles d'acquisition, et cet allongement doit être défendu auprès de la direction à l'avance plutôt qu'absorbé silencieusement par le service des achats. La défense la plus solide est comparative : le coût de l'évaluation préalable au déploiement face au coût de la remédiation, de la résiliation du contrat, ou du contentieux découlant d'échecs découverts en service.
La deuxième concerne la capacité. La plupart des institutions ne possèdent pas actuellement l'expertise interne nécessaire pour concevoir des conditions d'évaluation représentatives pour l'IA en langue des signes, et l'absence de cette expertise est fréquemment interprétée à tort comme une raison de s'appuyer sur la documentation du fournisseur. Elle devrait plutôt être lue comme une spécification en faveur d'une capacité d'évaluation externe.
La troisième concerne la réponse du marché. Les fournisseurs habitués à des achats fondés sur les artefacts pourraient résister aux exigences d'évaluation, et certains refuseront d'y participer. Les institutions devraient reconnaître que le refus d'un fournisseur de se soumettre à une évaluation dans des conditions représentatives du déploiement constitue en soi une preuve, et figure parmi les signaux les plus informatifs disponibles au cours de l'acquisition.
La mise en œuvre n'a pas besoin d'être totale pour être significative. Les institutions peuvent commencer par ajouter des questions probantes à leurs instruments de sollicitation existants, en exigeant la divulgation des conditions d'échec comme critère de conformité, ou en conditionnant l'attribution du marché à la réussite d'une évaluation indépendante. Chaque étape rapproche le dossier institutionnel de la confiance vers la preuve.
Position finale
L'avenir de la gouvernance de l'IA ne sera pas déterminé par l'organisation qui aura rassemblé le plus grand nombre de documents de conformité. Il sera déterminé par les organisations qui construisent des systèmes d'achat capables de distinguer la confiance de la preuve.
Références
- Salamon, L. M. (dir.). (2002). The Tools of Government: A Guide to the New Governance. Oxford University Press.
- Stone, D. (2012). Policy Paradox: The Art of Political Decision Making (3e éd.). W. W. Norton.
- National Institute of Standards and Technology. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1.
- Organisation internationale de normalisation. (2023). ISO/IEC 42001:2023, Technologies de l'information – Intelligence artificielle – Système de management.
- Information Technology Industry Council. Voluntary Product Accessibility Template (VPAT). Instrument de rapport de conformité en matière d'accessibilité référencé en vertu de la Section 508 du Rehabilitation Act.
- Règlement (UE) 2024/1689 du Parlement européen et du Conseil établissant des règles harmonisées en matière d'intelligence artificielle.
- Novara Consulting Group. The Fifth Parameter, numéro 002, « The Procurement Trap ».
- Novara Consulting Group. The Fifth Parameter, numéro 011 / Politique n° 2, « The Accountability Gap ».
Note de l'autrice
Heather M. Grizzle-Odland est la fondatrice et PDG de Novara Consulting Group LLC, où elle se consacre à la gouvernance de l'accessibilité de l'IA, à l'approvisionnement en IA pour la langue des signes, à la responsabilité institutionnelle et à la supervision des technologies du secteur public. Elle est la conceptrice du Sign Language Access Trust Framework™ et l'autrice de The Fifth Parameter, une publication qui examine les questions de gouvernance que les institutions négligent souvent lors de l'évaluation des technologies émergentes.
Son travail s'articule autour de la preuve, de la responsabilisation, de la gouvernance menée par les Sourds, et de l'écart entre la conformité technique et l'accessibilité réelle.