Le dossier des marchés publics est le système de gouvernance

Par Heather Grizzle, Novara Consulting Group

Résumé exécutif

La gouvernance de l'intelligence artificielle s'exprime de plus en plus à travers des politiques, des comités, des principes, des inventaires et des classifications de risque. Ces structures comptent. Mais lorsqu'une institution publique acquiert et déploie effectivement un système d'IA, la gouvernance doit finir par devenir quelque chose de beaucoup moins abstrait. Elle doit devenir un dossier.

Quelqu'un doit décrire ce que le système est autorisé à faire. Quelqu'un doit décider quelles preuves suffisent à étayer les affirmations du fournisseur. Quelqu'un doit identifier les personnes susceptibles d'être lésées en cas de défaillance du système. Quelqu'un doit déterminer quelles défaillances nécessitent une intervention humaine, quels changements exigent une réévaluation, et quelles conditions imposent la suspension du système. Si ces décisions ne sont pas documentées avant le déploiement, une politique de gouvernance de l'IA ne remédie pas à cette omission. Le dossier des marchés publics est l'endroit où les principes institutionnels deviennent des engagements opérationnels.

La gouvernance doit finir par atteindre la transaction

Un dispositif de repli n'est une garantie que si la personne qui en a besoin peut réellement l'utiliser.

Heather Grizzle

Les organisations mettent en place des structures de gouvernance de l'IA de plus en plus sophistiquées. Elles établissent des principes d'IA responsable, créent des comités d'examen, tiennent des inventaires et classent les systèmes selon leur niveau de risque. Elles adoptent des politiques exigeant l'équité, la transparence, la reddition de comptes, la protection de la vie privée, l'accessibilité et la supervision humaine. Puis les marchés publics commencent. Un fournisseur répond à un appel d'offres. Des démonstrations de produits sont programmées. La documentation sur l'accessibilité est recueillie. Les questionnaires de sécurité sont complétés. Les conditions juridiques sont négociées. Les responsables métier décrivent les gains d'efficacité attendus. La technologie franchit les filtres établis par l'institution et entre en service.

L'existence de ces filtres peut créer une confiance institutionnelle considérable, mais la confiance n'équivaut pas à une décision défendable. La question essentielle de gouvernance n'est pas simplement de savoir si le système a franchi le processus requis. Elle est de savoir si le dossier qui en résulte contient les preuves nécessaires pour justifier le déploiement spécifique qui a été approuvé.

Cette distinction devient particulièrement importante lorsque l'IA sert d'intermédiaire pour l'accès des personnes handicapées. Un système peut résumer des informations, communiquer avec des patients, évaluer des candidats, traduire des langues, générer du matériel pédagogique, hiérarchiser des dossiers, assister des employés, authentifier des utilisateurs, répondre à des questions ou, de plus en plus, agir au nom d'une institution. Dans chaque cas, l'accessibilité n'est pas simplement une caractéristique de l'interface. Elle fait partie de l'architecture décisionnelle. Une personne handicapée peut rencontrer un système différemment de la population pour laquelle il a été principalement conçu, testé ou validé, et une défaillance d'accessibilité peut modifier l'information que cette personne reçoit, les choix qui s'offrent à elle, sa capacité à réagir, ou l'interprétation que l'institution fait de son comportement. Le dossier des marchés publics doit donc établir plus que le simple fait que l'accessibilité a été prise en compte. Il doit établir ce qui a été examiné, ce qui a été testé, ce qui reste inconnu, et ce que l'institution a décidé de faire face à cette incertitude.

Le dossier des marchés publics comme instrument de reddition de comptes

Les dossiers des marchés publics sont souvent perçus avant tout comme des registres administratifs. Pour l'IA, ils devraient de plus en plus être compris comme des instruments de gouvernance. Un dossier mature de marché public en matière d'IA devrait permettre à un examinateur indépendant de reconstituer le raisonnement de l'institution sans devoir s'appuyer sur la mémoire institutionnelle des personnes ayant participé à l'achat. Cela signifie que le dossier doit répondre à plusieurs questions :

1. À quoi exactement le système a-t-il été acheté pour servir ?
2. Que lui était-il explicitement interdit de faire ?
3. Quelles populations étaient censées le rencontrer ?
4. Quelles preuves étayaient les affirmations sur lesquelles s'est appuyée l'approbation, et qui a produit ces preuves ?
5. Quelles limites étaient connues, et lesquelles restaient inconnues ?
6. Que se passait-il lorsque le système était incertain ou se trompait ?
7. Qui conservait l'autorité de le contourner ?
8. Comment une personne concernée pouvait-elle contester son résultat ?
9. Qu'est-ce qui amènerait l'institution à reconsidérer le déploiement ?
10. Qui avait l'autorité de l'arrêter ?

Ce ne sont pas des questions propres à l'enquête sur incident après une défaillance. Ce sont des questions de marchés publics.

1. Usage prévu et usage interdit

La première exigence est trompeusement simple : définir ce que l'institution achète. Les systèmes d'IA sont fréquemment achetés à travers des descriptions de capacités générales. Un système peut être décrit comme un assistant, un traducteur, un outil d'accessibilité, un système d'aide à la décision, un agent conversationnel, un agent, un outil de présélection ou une plateforme de productivité. Ces étiquettes constituent des spécifications de gouvernance inadéquates. Le dossier des marchés publics doit identifier la fonction institutionnelle réelle.

Un outil de communication utilisé pour aider quelqu'un à naviguer sur un site web présente un risque différent de la même technologie utilisée lors d'une admission médicale. Un système de transcription automatisée utilisé pour produire des comptes rendus de réunion présente un risque différent de celui utilisé pour créer le procès-verbal officiel d'une procédure disciplinaire. Un système de reconnaissance de la langue des signes utilisé expérimentalement par un individu n'équivaut pas à celui qu'une institution présente comme un substitut à un autre moyen d'accès à la communication. La même technologie peut donc passer d'une catégorie de risque à une autre sans aucun changement de son modèle sous-jacent, parce que le contexte de déploiement a changé.

2. Analyse des populations concernées

Les marchés publics technologiques traditionnels demandent qui utilisera le système. La gouvernance de l'IA doit également demander qui sera affecté par lui, et ces populations ne sont pas nécessairement les mêmes. Un employé peut exploiter un système d'IA tandis qu'un patient, un élève, un candidat, un résident, un client ou un bénéficiaire de prestations en subit les conséquences. Les personnes handicapées peuvent être particulièrement difficiles à identifier par une analyse conventionnelle des utilisateurs, car le handicap modifie souvent le parcours à travers un système plutôt que la catégorie nominale d'utilisateur.

Le dossier des marchés publics devrait donc identifier les interactions d'accessibilité prévisibles. Le système traite-t-il la parole ? Génère-t-il ou interprète-t-il du langage ? Dépend-il de la vision, de l'ouïe, de la dextérité, de la cognition, du minutage, de caractéristiques biométriques ou d'un mode de communication particulier ? Déduit-il l'intention ou la compétence à partir d'un comportement que le handicap peut affecter ? Un résultat inaccessible modifie-t-il la capacité d'une personne à participer à une décision ultérieure ? Ces questions transforment l'accessibilité, d'un artefact de conformité, en une enquête sur le risque systémique.

3. Le registre des affirmations du fournisseur

Chaque affirmation significative du fournisseur sur laquelle on s'est appuyé lors des marchés publics devrait avoir un statut probatoire. Toutes les affirmations n'exigent pas des tests indépendants, mais les institutions devraient distinguer au moins trois catégories. Une capacité est revendiquée lorsque le fournisseur affirme qu'elle existe. Elle est démontrée lorsque des preuves montrent qu'elle a été observée dans des conditions précisées. Elle est établie pour le déploiement lorsque des preuves étayent raisonnablement le fait de s'y fier dans le contexte visé par l'institution. Ces catégories ne sont pas interchangeables.

Une démonstration peut établir qu'un système est capable de produire un résultat. Elle n'établit pas nécessairement avec quelle fiabilité il produit ce résultat selon les populations, les environnements ou les cas d'usage significatifs. De même, la documentation peut établir ce que le fournisseur représente au sujet de son système. Elle ne peut pas établir de manière indépendante que cette représentation est exacte. Le dossier des marchés publics doit préserver cette distinction. Sans quoi, les affirmations deviennent progressivement des constatations simplement parce qu'elles ont été répétées dans suffisamment de documents.

Établie pour le déploiement

Un statut d'affirmation du fournisseur signifiant que des preuves étayent raisonnablement le fait de s'appuyer sur la capacité dans le contexte réel et prévu de l'institution, et non simplement que la capacité a été observée dans des conditions de démonstration.

4. Assurance indépendante

Les éléments de preuve fournis par le fournisseur ont un rôle légitime dans les marchés publics. Les fournisseurs connaissent leurs systèmes mieux que les acheteurs et il convient d'attendre d'eux qu'ils communiquent les tests, l'architecture, les limites, les conditions de défaillance connues et les preuves de performance pertinentes. Mais la relation commerciale compte. La partie qui recherche le contrat ne devrait pas être la seule partie déterminant si les preuves sont suffisantes pour l'attribuer.

L'assurance indépendante ne signifie pas recréer le programme d'ingénierie du fournisseur. Elle signifie tester les affirmations importantes pour la décision d'achat dans des conditions capables de les réfuter. Pour l'IA liée à l'accessibilité, cela peut nécessiter une évaluation impliquant des personnes concernées par le handicap en question et, lorsque l'accès linguistique est en jeu, des membres qualifiés de la communauté linguistique concernée. L'objectif n'est pas une participation de façade. C'est une autorité en matière de preuve. Les personnes capables de repérer une défaillance conséquente doivent disposer d'un mécanisme leur permettant de faire influer cette défaillance sur la décision d'achat. Sans cela, la participation existe sans gouvernance.

5. Défaillance et architecture de repli

Chaque marché public d'IA devrait contenir une réponse écrite à une seule question : que se passe-t-il lorsque le système ne fonctionne pas ? « Un humain dans la boucle » n'est pas une réponse suffisante. Le dossier doit identifier la personne concernée, le déclencheur, l'autorité compétente, le délai de réponse et la voie alternative disponible pour la personne affectée.

Pour les utilisateurs handicapés, le dispositif de repli lui-même doit également être accessible. Un système de communication par IA qui échoue et oriente une personne Deaf vers un appel téléphonique n'a pas produit de solution de repli. Un processus numérique automatisé qui devient inaccessible et exige d'un utilisateur aveugle qu'il complète la même interface inaccessible n'a transféré la personne vers un contrôle humain d'aucune manière significative.

Un dispositif de repli n'est une garantie que si la personne qui en a besoin peut réellement l'utiliser.

Heather Grizzle

6. Limites de performance et inconnues connues

Les documents de marché ont tendance à consigner ce que les produits peuvent faire. Les dossiers de gouvernance doivent également indiquer où s'arrête la confiance. La performance de l'IA est conditionnelle. Elle peut varier selon la langue, le dialecte, l'accent, le style de signes, l'éclairage, la position de la caméra, le handicap, l'appareil, l'environnement, la terminologie du domaine, la durée de l'interaction, les caractéristiques démographiques, ou d'innombrables autres variables. Les institutions devraient exiger des fournisseurs qu'ils communiquent les limites de performance connues et devraient documenter séparément les domaines qui n'ont pas été évalués.

Cette distinction compte. « Non évalué » n'est pas la même conclusion que « défaillant », mais ce n'est pas non plus la même conclusion que « sûr ». L'incertitude n'est pas un défaut de procédure d'achat si elle est reconnue et gouvernée. L'incertitude non documentée, elle, l'est.

7. Journalisation, traçabilité et reconstitution

Lorsqu'une interaction médiée par l'IA cause un préjudice, l'institution doit être en mesure de reconstituer ce qui s'est passé, ce qui nécessite des décisions relatives à la journalisation avant le déploiement. Quelle version du système était en fonctionnement ? Quelles entrées ont été reçues ? Quelle sortie a été générée ? La sortie a-t-elle été modifiée ? Un humain l'a-t-il examinée ? Quelles informations cet examinateur a-t-il vues ? Quelle action a suivi ? L'institution peut-elle reconstituer l'événement sans conserver des données qui n'auraient jamais dû être conservées ?

La traçabilité et la protection de la vie privée peuvent créer des exigences légitimement concurrentes. Ce conflit devrait être résolu par la conception du système et la gouvernance, plutôt que découvert lors d'un litige, d'une plainte relative à l'accessibilité ou d'une enquête interne. Le dossier d'achat devrait documenter la résolution retenue.

8. Plainte, contestabilité et recours

Une personne affectée par l'IA a besoin de plus qu'un mécanisme de signalement d'un problème technique. Elle peut avoir besoin de contester ce que l'institution a fait en raison du système, ce qui est une fonction différente. Si un système d'IA traduit incorrectement une communication, caractérise mal un comportement, produit des informations inaccessibles, génère une inférence fausse, ou contribue à une décision institutionnelle défavorable, la personne affectée a besoin d'une voie pour contester la décision qui en résulte.

L'institution devrait savoir avant le déploiement qui reçoit la contestation, qui l'instruit, quelles preuves sont conservées, si la sortie de l'IA contestée reste opérante pendant l'examen, quelles réparations sont disponibles, et dans quel délai l'institution doit répondre.

9. Changement de modèle et revalidation

Les marchés publics d'IA créent un problème que les contrats logiciels traditionnels n'ont pas été conçus pour bien gérer : le produit qui a été évalué peut ne pas rester le produit qui est déployé. Les modèles sont mis à jour. Les garde-fous changent. Les données d'entraînement changent. Les interfaces changent. Les dépendances tierces changent. Les fournisseurs remplacent les modèles sous-jacents. La performance peut s'améliorer dans un domaine et se dégrader dans un autre sans que l'institution acheteuse n'initie elle-même le moindre changement.

Le dossier d'achat a donc besoin d'une règle de contrôle des changements. La question pertinente n'est pas de savoir si le fournisseur est autorisé à mettre à jour son produit. C'est de savoir quels changements invalident les preuves sur lesquelles l'institution s'est appuyée. Les contrats devraient identifier les changements substantiels nécessitant une notification, une réévaluation, de nouveaux essais de réception, ou une approbation avant la poursuite de l'utilisation dans des contextes spécifiés. Sans cela, une institution peut réaliser une assurance rigoureuse au moment de l'acquisition et se retrouver malgré tout, six mois plus tard, à gouverner un système sensiblement différent en s'appuyant sur des preuves produites pour le système précédent.

10. Autorité de suspension et de sortie

Une gouvernance sans autorité d'arrêt n'est que consultative. Une personne au sein de l'institution doit avoir l'autorité de restreindre, suspendre ou mettre fin à un déploiement d'IA lorsque les preuves ne soutiennent plus son utilisation, et les conditions déclenchantes ne devraient pas avoir à être inventées en pleine crise.

Le dossier d'achat devrait identifier à la fois les déclencheurs et l'autorité décisionnelle.

Il devrait également traiter de la sortie. Qui possède ou reçoit les données institutionnelles lorsque la relation prend fin ? Quels dossiers doivent être conservés ? Que faut-il supprimer ? Comment l'institution rétablit-elle la voie de service précédente ? Qu'advient-il des personnes devenues dépendantes du processus médié par l'IA ? La planification de la sortie n'est pas simplement une gestion des fournisseurs. C'est une planification de la continuité d'accès.

De la politique d'IA à la preuve institutionnelle

Le défi émergent pour la gouvernance de l'IA n'est pas un manque de principes. C'est la traduction. L'équité doit devenir un critère d'évaluation. La transparence doit devenir une exigence de divulgation. Le contrôle humain doit devenir une autorité désignée. L'accessibilité doit devenir une condition de déploiement. La responsabilité doit devenir un bureau nommé et un recours documenté. La surveillance doit devenir un déclencheur d'action. Et l'IA responsable doit finir par devenir quelque chose qu'un agent des marchés publics peut verser à un dossier.

Ceci est particulièrement important dans les institutions publiques, car les marchés publics sont l'endroit où les engagements institutionnels abstraits rencontrent l'argent, les contrats, les fournisseurs, les obligations légales, et des personnes qui ne peuvent tout simplement pas choisir un autre gouvernement, une autre école, un autre hôpital, un autre tribunal ou un autre service public lorsque la technologie ne fonctionne pas pour elles. Le dossier d'achat remplit donc une fonction bien plus large que la simple tenue de registres. Il établit la théorie du risque acceptable de l'institution.

Position politique de NCG

Novara Consulting Group considère que les systèmes d'IA affectant les personnes handicapées ne devraient pas être approuvés uniquement parce qu'ils ont satisfait au processus général de gouvernance de l'IA d'une organisation. Le dossier d'achat devrait contenir des preuves suffisantes pour reconstituer et défendre la décision de déploiement spécifique.

La norme n'est pas une connaissance parfaite. Aucun processus d'achat ne peut éliminer l'incertitude. La norme relève de l'incertitude maîtrisée : savoir ce qui a été établi, ce qui ne l'a pas été, quelles preuves ont justifié de procéder malgré tout, et qui assume la responsabilité de la décision.

Position finale

Après une défaillance de l'IA, les institutions demandent souvent si le fournisseur aurait dû les avertir. Parfois, la réponse sera oui. Mais la redevabilité publique exige une autre question : quelles preuves l'institution a-t-elle exigées avant d'accepter de poursuivre ? Cette question ne peut être sous-traitée. Le fournisseur peut fournir des preuves. Un évaluateur peut les examiner. Un comité peut donner des conseils. Les parties prenantes en situation de handicap peuvent identifier des défaillances que d'autres ne peuvent pas voir. Les avocats peuvent négocier la répartition du risque contractuel. C'est toujours l'institution qui prend la décision, et son dossier d'achat devrait prouver qu'elle savait quelle décision elle prenait.

Un système d'IA n'est pas gouverné du simple fait qu'une organisation dispose d'une politique en matière d'IA. Il est gouverné lorsque l'institution peut démontrer pourquoi ce système, pour cet usage, affectant ces personnes, dans ces conditions, a été autorisé à fonctionner.

Heather Grizzle

C'est dans le dossier d'achat que commence cette redevabilité.