Skip to content
Aller au texte

Gouvernance de l'IA et risque numérique

Exempt des formalités administratives, responsable de la décision : la gouvernance de l'intelligence artificielle pour les petites organisations et les associations à but non lucratif

Bannière Novara Consulting Group pour la catégorie Gouvernance de l'IA et risque numérique : le nom de la catégorie dans un encadré vert sur fond de forêt de pins embrumée.

L'asymétrie

Le discours conventionnel sur la régulation de l'intelligence artificielle et les petites organisations veut que les contraintes de conformité pèsent le plus lourdement sur ceux qui sont le moins en mesure de les supporter, et que les seuils et exemptions existent pour corriger ce déséquilibre. Ce discours n'est juste qu'à moitié, et c'est précisément la moitié erronée qui compte.

Les petits employeurs et les organisations à but non lucratif sont, de fait, exemptés d'une bonne partie de l'appareil réglementaire émergent. Ils sont exemptés presque entièrement de la mauvaise partie. Les exemptions concernent les régimes de divulgation, d'évaluation et de documentation, c'est-à-dire les éléments du dispositif qui auraient contraint une organisation à examiner de près les outils automatisés qu'elle utilise déjà. Elles ne concernent pas les lois sous-jacentes sur la discrimination à l'emploi, qui s'appliquent dès quinze employés et prévoient un droit d'action privé, des théories de responsabilité individualisées, et aucune exigence que le plaignant prouve que l'employeur était un acteur averti.

Une organisation dispensée du processus qui aurait permis de détecter le problème, et pleinement exposée aux conséquences de ne pas l'avoir détecté.

L'effet net est celui d'une organisation dispensée du processus qui aurait permis de détecter le problème, et pleinement exposée aux conséquences de ne pas l'avoir détecté. La position de Novara Consulting Group est que cette asymétrie, plutôt que le coût, constitue le risque de gouvernance déterminant pour les organisations de moins de deux cents employés environ, et que le conseil habituel donné aux petits employeurs, à savoir attendre qu'un seuil soit franchi, est à peu près la pire stratégie possible.

Ce dont les petites organisations sont réellement exemptées

La structure par seuils est réelle et mérite d'être cartographiée, avec cette réserve que la plupart de ces instruments sont récents, que plusieurs ne sont pas encore en vigueur, et que l'un d'eux est encore en phase d'élaboration réglementaire ; l'applicabilité doit donc être vérifiée au regard du texte en vigueur plutôt qu'à partir de résumés, celui-ci y compris.

Le Senate Bill 24-205 du Colorado, signé en mai 2024 et dont l'entrée en vigueur est prévue le 1er février 2026, impose des obligations aux développeurs et déployeurs de systèmes à haut risque utilisés dans des décisions importantes, notamment en matière d'emploi, et prévoit une exemption conditionnelle pour les déployeurs comptant moins de cinquante employés à temps plein. Le California Consumer Privacy Act s'applique aux entreprises répondant à ses critères de couverture, principalement un chiffre d'affaires annuel brut supérieur à vingt-cinq millions de dollars ou le traitement de volumes importants de données de consommateurs, et sa définition d'une entreprise couverte repose sur l'exercice d'une activité à but lucratif, ce qui exclut la plupart des organisations à but non lucratif. La California Privacy Protection Agency a fait avancer des projets de réglementation sur les technologies de prise de décision automatisée vers une procédure réglementaire formelle, et ces règles comporteraient les mêmes seuils de couverture si elles étaient adoptées telles que rédigées. Au niveau fédéral, les Uniform Guidelines on Employee Selection Procedures prévoient une tenue de registres simplifiée pour les utilisateurs comptant moins de cent employés.

Pris ensemble, ces textes signifient qu'une organisation de trente personnes utilisant un système de suivi des candidatures standard n'est, dans la plupart des juridictions, soumise à aucune obligation de réaliser une évaluation d'impact, de publier un audit de biais, de fournir un avis préalable à l'utilisation, ou de tenir les registres d'impact détaillés par composant qu'un employeur plus important doit conserver. Elle ne fera l'objet d'aucune inspection. Personne ne posera de questions.

Ce dont elles ne sont pas exemptées

Le Titre VII du Civil Rights Act et l'Americans with Disabilities Act s'appliquent aux employeurs comptant quinze employés ou plus. L'Age Discrimination in Employment Act s'applique à partir de vingt employés. Ces lois ne prévoient aucun moyen de défense fondé sur le niveau de sophistication, aucun refuge pour les petits employeurs utilisant des outils automatisés, et aucune disposition réduisant les obligations d'un employeur au motif qu'il a acheté plutôt que développé le système ayant produit la décision.

L'achat ne transfère pas davantage la responsabilité. L'employeur demeure la partie qui prend la décision d'emploi, et la jurisprudence en développement suggère que le fournisseur peut s'ajouter comme défendeur plutôt que de s'y substituer. En juillet 2024, le tribunal fédéral du district nord de Californie a permis que des plaintes contre un fournisseur de logiciel de présélection se poursuivent, sur la théorie selon laquelle le fournisseur agissait comme mandataire des employeurs utilisant ses outils, ce qui ébranle l'hypothèse selon laquelle la responsabilité pourrait être proprement attribuée à celui qui a écrit le code. Que l'outil soit arrivé tout prêt, et que personne dans l'organisation ne l'ait compris, n'est pas un moyen de défense. C'est un aveu.

Les théories relatives au handicap méritent une attention particulière, car ce sont celles auxquelles une petite organisation est le plus susceptible d'être confrontée et le moins équipée pour se défendre. Une plainte pour défaut d'aménagement raisonnable naît lorsqu'un candidat demande une modification d'une évaluation et ne l'obtient pas. Une plainte pour exclusion par filtrage naît lorsqu'un critère de sélection tend à exclure une personne en situation de handicap et que l'employeur ne peut démontrer que ce critère est lié à l'emploi et conforme à une nécessité professionnelle. Aucune des deux ne nécessite de statistiques comparatives sur un bassin de candidats. Aucune ne nécessite un expert pour reconstituer un modèle. Les deux se prouvent à partir d'un dossier individuel composé d'une demande, d'une réponse et d'un résultat, dossier que l'employeur crée et détient lui-même. La plainte déposée en mars 2025 auprès de la Colorado Civil Rights Division et de l'EEOC (Equal Employment Opportunity Commission) au nom d'un employé Deaf et autochtone, concernant un entretien vidéo automatisé et une demande de sous-titrage refusée, suit exactement ce schéma. Les deux entreprises contestent les allégations, et la nature de la plainte est instructive quelle que soit l'issue.

Ces plaintes sont peu coûteuses à introduire, et leur coût de défense ne diminue pas proportionnellement à la taille du défendeur. Le décret par consentement conclu en 2023 par l'EEOC avec iTutorGroup, réglant des allégations selon lesquelles un logiciel avait été configuré pour rejeter les candidats au-delà d'un certain âge, s'est soldé par un montant de 365 000 dollars. Ce chiffre est supportable pour un grand employeur. Il est existentiel pour la plupart des organisations à but non lucratif.

Pourquoi la petite organisation est structurellement plus exposée

La taille ne se contente pas de ne pas protéger. Elle aggrave activement la situation, pour quatre raisons qui se cumulent.

La première est la configuration. Une petite organisation utilise les paramètres par défaut du fournisseur. Elle n'a pas choisi les critères de présélection, n'a pas fixé les seuils, et bien souvent ne sait même pas quelles fonctionnalités de son système de suivi des candidatures notent les candidats, car plusieurs ont été activées lors de la mise en œuvre et jamais réexaminées depuis. Lorsque vient la question de savoir qui a configuré les critères et sur quelle base, la réponse honnête est que personne dans l'organisation ne l'a fait.

La deuxième est le rapport de force. Les protections qui protègent réellement un employeur sont de nature contractuelle : conservation des scores, identification des versions, reproduction d'une décision passée, accès aux preuves de validation, coopération en cas d'enquête. Ces éléments se négocient au moment de l'acquisition, et une organisation à but non lucratif de trente personnes signant un formulaire de commande standard n'a aucune capacité réaliste de les négocier. Le moyen de défense le plus efficace est précisément celui que les petites organisations sont le moins en mesure d'obtenir.

La troisième est le dossier. Les obligations fédérales de tenue de registres prévues au 29 C.F.R. Part 1602 exigent la conservation des dossiers de candidature et, une fois une plainte déposée, la conservation de tout élément pertinent jusqu'à son règlement définitif. Reconstituer pourquoi un candidat particulier a été rejeté dix-huit mois plus tôt exige que le score, les données d'entrée et la configuration du système en vigueur à l'époque aient été conservés. Les petites organisations dépendent des pratiques de données du fournisseur, qui en général supprime les scores après le classement, et elles ne le découvrent qu'au moment où elles ont besoin de ces données.

La quatrième est l'absence de quiconque dont ce serait le rôle. Les grands employeurs disposent d'un conseiller juridique, d'une fonction conformité et d'un responsable de la protection des données qui, à tout le moins, poseront la question. Une petite organisation a un directeur exécutif, un responsable de bureau qui administre le système de suivi des candidatures, et un conseil d'administration qui n'en a jamais discuté.

Le cas des organisations à but non lucratif est pire

Les organisations à but non lucratif portent une exposition supplémentaire sans équivalent dans le monde des entreprises, et elle n'est pas de nature juridique.

Une organisation dont la mission concerne le handicap, l'accessibilité, l'équité ou le développement de la main-d'œuvre, et qui filtre ses candidats au moyen d'une évaluation automatisée pénalisant une élocution atypique, une communication interprétée ou une expression affective non standard, se trouve confrontée à un problème d'intégrité de mission qui survit à toute issue juridique. Peu importe que la plainte soit fondée ou non. L'allégation seule est cohérente d'une manière qu'elle ne le serait pas contre un fabricant quelconque, car la position publique de l'organisation fournit elle-même la contradiction. Les bailleurs de fonds lisent ces allégations. Les communautés que l'organisation sert aussi, tout comme le personnel qui a rejoint l'organisation en raison de sa mission.

Il ne s'agit pas d'un raisonnement hypothétique appliqué à un scénario improbable. Les organisations de services aux personnes en situation de handicap, les centres de santé communautaires, les fournisseurs d'aide juridique et les agences publiques utilisent les mêmes systèmes commerciaux de suivi des candidatures et les mêmes produits d'entretien vidéo automatisé que tout le monde, généralement dans leur version d'entrée de gamme, généralement avec les paramètres par défaut, et généralement sans que personne n'ait examiné ce que l'évaluation mesure réellement. Le secteur le plus susceptible d'employer des personnes en situation de handicap, et le plus crédible lorsqu'il en parle, utilise la même infrastructure de présélection non examinée que le secteur qu'il critique.

Le guide qui aurait pu aider a tout simplement disparu

Une difficulté supplémentaire est propre à ce moment précis. Les petites organisations ne lisent pas les règlements ; elles lisent des guides en langage clair, et le guide en langage clair sur ce sujet a été retiré en janvier 2025.

L'EEOC a retiré ses documents sur l'intelligence artificielle, y compris l'assistance technique de mai 2022 relative à l'Americans with Disabilities Act et à l'utilisation de logiciels, d'algorithmes et d'intelligence artificielle pour évaluer les candidats à l'emploi et les employés, ainsi que son résumé compagnon rédigé à l'intention des travailleurs. Le Department of Labor a signalé que l'AI and Inclusive Hiring Framework, publié en septembre 2024 et conçu spécifiquement pour aider les employeurs à déployer ces outils sans exclure les candidats en situation de handicap, pourrait ne plus refléter la politique actuelle. Ces documents constituaient le point d'entrée accessible précisément pour les organisations décrites ici.

Les lois n'ont pas changé. Ce qui a changé, c'est que l'explication gratuite et lisible de ce qu'elles exigent a disparu, et les organisations qui s'y fiaient le plus sont celles qui n'ont pas les moyens de la remplacer par un conseil juridique.

Ce qui est réellement réalisable à cette échelle

La recommandation n'est pas un programme de conformité. Une organisation de trente personnes ne peut pas en faire fonctionner un et ne devrait pas essayer. Ce qui suit est réalisable en quelques jours de travail d'un membre du personnel existant et couvre l'essentiel de la protection disponible.

  1. Faites l'inventaire de ce que vous utilisez réellement. Dressez la liste de chaque point du processus de recrutement où un logiciel évalue, classe, filtre ou note un candidat, y compris l'analyse de CV, les questions éliminatoires, les modules d'évaluation et la présélection par chat. Incluez les fonctionnalités activées par défaut lors de la mise en œuvre. La plupart des organisations qui font cet exercice pour la première fois découvrent au moins un système dont personne ne savait qu'il attribuait des scores.
  2. Désactivez ce que vous ne pouvez pas expliquer. Si personne ne peut dire ce qu'une fonctionnalité mesure ni pourquoi cela importe pour le poste, la bonne action est de la désactiver, pas de la documenter. Cette option est accessible aux petites organisations et largement inaccessible aux grandes, et c'est l'étape la plus rentable de cette liste.
  3. Posez par écrit cinq questions à votre fournisseur. Que mesure cette fonctionnalité. Conservez-vous le score et la configuration, et pendant combien de temps. Pouvez-vous reproduire une décision spécifique prise il y a dix-huit mois. Quelles preuves de validation existent pour ce qu'elle mesure. Quel parcours d'aménagement le produit prend-il en charge. Conservez les réponses. Un refus est aussi une réponse, et il vaut la peine d'être conservé.
  4. Mettez en place le parcours d'aménagement avant d'en avoir besoin. Désignez la personne qui décide, fixez un délai de traitement, assurez-vous qu'il existe une évaluation alternative qui ne désavantage pas la personne qui l'utilise, et indiquez sa disponibilité directement sur l'évaluation elle-même plutôt que sur une page carrières. C'est la mesure la moins coûteuse de ce document et elle répond au type de plainte auquel vous êtes le plus susceptible d'être confronté.
  5. Conservez le dossier des aménagements. Chaque demande, qui a décidé, ce qui a été fourni, quel a été le résultat. Il sera produit si une plainte est déposée, et il doit d'abord être examiné par vous-même.
  6. Au renouvellement du contrat, demandez des conditions de conservation et de reproduction. Vous ne les obtiendrez peut-être pas. Le simple fait de les demander, même en essuyant un refus, vaut nettement mieux que de ne pas demander, tant du point de vue de la gouvernance que de ce que le dossier révèle sur ce que l'organisation savait.

Conclusion

L'idée selon laquelle les petites organisations méritent d'avoir accès aux mêmes outils que les grandes est juste, dans une certaine mesure, et la technologie a véritablement réduit le coût d'une infrastructure de recrutement performante. Ce qui n'a pas été réduit, c'est la norme à l'aune de laquelle les décisions qui en résultent sont jugées, et ce que les petites organisations ont reçu n'est pas une norme allégée, mais une trace documentaire allégée.

Les exemptions sont réelles, et ce sont des exemptions de la question posée. Ce ne sont pas des exemptions de la réponse à fournir. Une organisation de trente personnes incapable de dire ce que mesure son outil de présélection se trouve dans la même position juridique qu'une organisation de trente mille personnes qui ne le peut pas davantage, mais avec moins de ressources pour résoudre le problème et, s'il s'agit d'une organisation à mission, bien davantage à perdre lorsque la question est posée publiquement.

Références

  • American Civil Liberties Union, ACLU du Colorado, Public Justice, et Eisenberg & Baum LLP. Plainte déposée auprès de la Colorado Civil Rights Division et de la U.S. Equal Employment Opportunity Commission, 19 mars 2025.
  • Americans with Disabilities Act of 1990, Title I, 42 U.S.C. § 12112 ; Title VII of the Civil Rights Act of 1964, 42 U.S.C. § 2000e ; Age Discrimination in Employment Act, 29 U.S.C. § 621.
  • California Consumer Privacy Act, Cal. Civ. Code § 1798.140, définition d'une entreprise couverte ; règlement proposé par la California Privacy Protection Agency sur les technologies de prise de décision automatisée, passé en procédure réglementaire formelle en novembre 2024.
  • Colorado Senate Bill 24-205, signé le 17 mai 2024, dont l'entrée en vigueur est prévue le 1er février 2026.
  • EEOC v. iTutorGroup, Inc., n° 1:22-cv-02565 (E.D.N.Y.), accord de conciliation, août 2023.
  • Mobley v. Workday, Inc., n° 3:23-cv-00770 (N.D. Cal.), ordonnance sur requête en irrecevabilité, juillet 2024.
  • New York City Local Law 144 de 2021, Automated Employment Decision Tools.
  • U.S. Department of Labor and Partnership on Employment & Accessible Technology, AI and Inclusive Hiring Framework, September 2024.
  • U.S. Equal Employment Opportunity Commission, The Americans with Disabilities Act and the Use of Software, Algorithms, and Artificial Intelligence to Assess Job Applicants and Employees, EEOC-NVTA-2022-2, May 12, 2022; removed from the agency website January 27, 2025.
  • Uniform Guidelines on Employee Selection Procedures, 29 C.F.R. Part 1607, y compris § 1607.15A(1) ; exigences de l'EEOC en matière de tenue de registres, 29 C.F.R. Part 1602.
Citer cet article
Grizzle, H. M. (2025, April 13). Exempt from the Paperwork, Liable for the Decision: Artificial Intelligence Governance for Small Organizations and Nonprofits. Novara Consulting Group. https://www.novaracg.com/2025/04/13/exempt-from-the-paperwork-liable-for-the-decision-artificial-intelligence-governance-for-small-organizations-and-nonprofits/

Abonnez-vous à Novara Consulting Group

De nouveaux articles, livrés dans votre boîte de réception.

Consult