Skip to content
Aller au texte

Gouvernance de l'IA et risque numérique

Les frais généraux étaient le gage de responsabilité : intelligence artificielle, ressources humaines et organisations animées par une mission

Bannière Novara Consulting Group pour la catégorie Gouvernance de l'IA et risque numérique : le nom de la catégorie dans un encadré vert sur fond de forêt de pins embrumée.

Les technologies de ressources humaines d'entreprise sont devenues accessibles à des organisations qui n'auraient jamais pu se les offrir auparavant. La question de gouvernance est de savoir ce qui n'est pas arrivé en même temps.

Ce que l'argument de la démocratisation a de juste

Les technologies de ressources humaines d'entreprise sont devenues accessibles à des organisations qui n'auraient jamais pu se les offrir auparavant. Une organisation à but non lucratif de vingt personnes peut désormais exécuter le classement des candidats, l'évaluation structurée, l'analyse de l'engagement, l'inférence de compétences et la diffusion d'un apprentissage personnalisé moyennant un abonnement mensuel, en utilisant les mêmes produits sous-jacents que ceux déployés par des employeurs mille fois plus grands. Il s'agit d'un changement réel, et l'enthousiasme à son égard n'est pas déplacé. Une capacité autrefois concentrée dans les grandes entreprises est désormais largement distribuée.

L'argument généralement avancé en complément de cette observation est que ce qui se distribue n'est pas seulement la capacité, mais l'avantage, et que les petites organisations à vocation sociale pourraient en fait être mieux placées que les entreprises pour bien utiliser ces systèmes, parce qu'elles sont plus légères, plus agiles, et libres du poids bureaucratique que porte un grand service des ressources humaines. La position de Novara Consulting Group est que cette dernière affirmation inverse le risque réel, et que cette inversion constitue le problème central de gouvernance pour le secteur.

Le poids bureaucratique, c'est la responsabilité.

Le poids bureaucratique, c'est la responsabilité. Ce que contient la fonction ressources humaines d'un grand employeur, sous les couches qui ressemblent à de l'inefficacité, est un ensemble de contrôles : un examen juridique avant le déploiement d'un outil, un processus de gestion des fournisseurs, une politique de conservation des dossiers, un responsable de la conformité qui demande ce qu'un système mesure, et un partenaire d'affaires dont le rôle inclut de remarquer quand une décision semble erronée. Les grandes entreprises ont adopté ces outils dans un environnement où cette couche existait déjà. Les organisations à vocation sociale adoptent les mêmes outils sans elle, et on leur dit que cette absence est l'avantage.

Ce qui n'était pas inclus dans la boîte

Le logiciel est le même. Tout ce qui l'entoure est différent, selon quatre aspects qui se cumulent.

Personne ne l'a configuré. Une petite organisation utilise les paramètres par défaut du fournisseur. Elle n'a pas choisi les critères de sélection, n'a pas fixé de seuils, et souvent ne sait même pas quelles fonctionnalités notent les candidats, car plusieurs ont été activées lors de la mise en œuvre et n'ont jamais été réexaminées. La question qui finit par surgir, celle de savoir qui a établi les critères et sur quelle base, reste sans réponse.

Personne ne l'a examiné. Il n'y a pas de conseiller juridique pour se demander si une évaluation mesurant le style de communication est pertinente pour le poste, pas de fonction de protection de la vie privée pour demander où sont stockés les résultats d'inférence, et pas de service des achats pour exiger des preuves de validation. L'achat a été effectué par un directeur général sur la recommandation d'une organisation partenaire.

Personne ne peut le négocier. Les contrôles qui protègent réellement un employeur sont de nature contractuelle : conservation des scores, identification des versions, capacité à reproduire une décision historique, accès aux preuves de validation, coopération lors d'une enquête. Ces éléments se règlent au moment de l'acquisition. Une organisation de vingt personnes signant un bon de commande standard n'a aucun levier pour les obtenir, ce qui signifie que la défense la plus efficace est précisément celle la moins accessible à cette échelle.

Et le plancher légal ne bouge pas. Le Titre VII et l'Americans with Disabilities Act s'appliquent à partir de quinze employés, l'Age Discrimination in Employment Act à partir de vingt. Il n'existe aucune défense fondée sur le manque de sophistication, aucun refuge légal pour petit employeur concernant les outils automatisés, et aucune réduction d'obligation du fait que le système a été acheté plutôt que développé en interne. La jurisprudence en développement suggère que le fournisseur pourrait être ajouté comme défendeur plutôt que de s'y substituer ; en juillet 2024, le tribunal fédéral du district nord de la Californie a permis que des plaintes contre un fournisseur de logiciel de présélection se poursuivent, selon la théorie qu'il agissait en tant qu'agent des employeurs utilisant ses outils. Que l'outil soit livré clé en main, et que personne dans l'organisation ne l'ait compris, n'est pas une défense. C'est un aveu.

L'affirmation à retirer

Parmi les propositions couramment avancées au sujet de l'intelligence artificielle dans les ressources humaines des organisations à vocation sociale, l'une devrait être supprimée plutôt que nuancée : celle selon laquelle ces systèmes résistent aux biais, ou qu'ils réduisent les biais inconscients et produisent une embauche plus équitable.

Aucune base de données probante publique ne la soutient, et les preuves disponibles vont dans le sens contraire. Les systèmes entraînés sur des candidats antérieurs retenus évaluent la conformité à une distribution, et les dimensions sur lesquelles ils notent le plus souvent, la communication, l'aisance verbale, l'affect et le temps de réponse, sont précisément celles sur lesquelles le handicap, l'accent et un parcours atypique se traduisent par un écart. Une plainte déposée en mars 2025 auprès de la Colorado Civil Rights Division et de l'EEOC (Equal Employment Opportunity Commission) au nom d'un employé Deaf et autochtone allègue précisément ce schéma dans un entretien vidéo automatisé ; les deux entreprises nient les allégations et l'affaire est contestée, mais la théorie du préjudice figure désormais au dossier public avec des parties nommées.

L'appareil d'audit présenté comme gage de réassurance ne répare pas cette affirmation. Une recherche présentée à la conférence 2024 de l'ACM sur l'équité, la responsabilité et la transparence a examiné la conformité à l'exigence d'audit des biais de la ville de New York auprès de près de quatre cents employeurs, et a constaté des taux de publication affirmative de l'ordre de quelques pourcents seulement, la quasi-totalité des audits publiés rapportant des ratios d'impact supérieurs au seuil des quatre cinquièmes, une distribution qui en dit plus sur qui commande les audits que sur les systèmes audités. Et ces instruments mesurent la race et le sexe. Ils ne peuvent pas mesurer le handicap, car les employeurs ne savent pas, et ne peuvent légalement pas demander avant une offre conditionnelle, quels candidats sont en situation de handicap.

Pour une organisation à vocation sociale, il ne s'agit pas simplement d'un problème de précision. Une organisation qui s'engage publiquement en faveur d'une embauche équitable et qui s'appuie en privé sur l'affirmation d'équité d'un fournisseur a adopté une assertion qu'elle ne peut pas étayer, précisément dans le domaine où sa crédibilité est son principal actif. La posture correcte consiste à reconnaître que ces systèmes ne sont pas éprouvés en matière de biais, que l'organisation surveille elle-même les résultats, et qu'elle n'a délégué la question à personne.

L'analytique des petites équipes désanonymise par construction

La proposition selon laquelle l'analytique en temps réel de l'engagement et de la performance permet aux petites équipes de favoriser des environnements bienveillants mérite un traitement à part, car à cette échelle, elle produit un effet différent de celui qu'elle produit à l'échelle de l'entreprise.

L'analytique de l'engagement se vend sur la promesse d'une vision agrégée : l'organisation voit des tendances, pas des individus. Cette promesse repose sur des tailles de groupe suffisamment grandes pour masquer les individus. Dans une organisation de vingt-cinq personnes, avec trois équipes, un tableau de bord rapportant le sentiment ou l'engagement par équipe rend compte de six à neuf personnes identifiables, et tout gestionnaire qui le consulte sait qui est qui. En segmentant par ancienneté, par rôle ou par lieu, le rapport devient individuel. L'anonymat est nominal, et les personnes concernées le comprennent généralement bien avant la direction.

Deux conséquences en découlent. La première est que les données cessent d'être fiables, car les employés qui déduisent correctement que leurs réponses sont attribuables répondent en conséquence, ce qui explique comment des organisations se retrouvent avec des tableaux de bord affichant un fort engagement et une démission que personne n'avait anticipée. La seconde est juridique. Lorsque l'analytique infère le bien-être, le stress, l'épuisement professionnel ou le désengagement, l'organisation génère potentiellement des informations à caractère médical sur des employés identifiables. L'ADA exige que les informations médicales concernant les employés soient conservées séparément et de manière confidentielle, et une inférence logée dans un produit d'analytique généraliste sur l'infrastructure d'un fournisseur, visible par quiconque administre la plateforme, a peu de chances de satisfaire cette norme. Personne n'a examiné la question, car le système avait été acquis comme outil de culture d'entreprise.

Le même raisonnement s'applique à l'inférence de compétences et à l'apprentissage personnalisé. Un système qui identifie des lacunes de compétences et cible le développement produit un profil qui détermine qui reçoit un investissement. Allouer le développement sur la base d'un profil inféré constitue une décision d'emploi, et elle est susceptible d'être examinée comme telle. Si l'inférence s'appuie sur l'ancienneté, l'historique des rôles ou des signaux d'engagement corrélés à l'âge ou au handicap, l'organisation a construit une exposition et l'a consignée comme un avantage.

Ce qu'une organisation légère devrait réellement conserver

La recommandation n'est pas un programme de conformité, qu'une organisation de cette taille ne peut pas gérer et ne devrait pas tenter de mettre en place. Il s'agit d'un petit ensemble de contrôles qui peuvent être gérés par une seule personne ayant d'autres responsabilités. Ils sont peu coûteux à cette échelle, et constituent la partie du poids bureaucratique des grandes entreprises qui mérite d'être importée.

Savoir ce qui fonctionne. Dressez la liste de chaque point où un logiciel évalue, classe, filtre, note ou établit le profil d'une personne, y compris les fonctionnalités activées par défaut lors de la mise en œuvre. La plupart des organisations qui font cet exercice pour la première fois découvrent au moins un système dont elles ignoraient qu'il notait quelqu'un.

Désactiver ce qui ne peut pas être expliqué. Lorsque personne ne peut dire ce qu'une fonctionnalité mesure et pourquoi cela importe pour le poste, désactivez-la plutôt que de la documenter. Cette option est véritablement accessible aux petites organisations et largement hors de portée des grandes, et c'est l'action la plus rentable de cette liste.

Interrogez le fournisseur par écrit, et conservez la réponse. Que mesure cette fonctionnalité. Qu'infère-t-elle, à partir de quels signaux, et où l'inférence est-elle stockée. Conservez-vous les scores et la configuration, pendant combien de temps, et pouvez-vous reproduire une décision prise il y a dix-huit mois. Quelles preuves de validation existent. Quel parcours d'accommodement le produit prend-il en charge. Un refus est aussi une réponse, et mérite d'être conservé.

Construisez le parcours d'accommodement avant qu'il ne soit nécessaire. Désignez qui décide, fixez un délai de traitement, assurez-vous qu'une évaluation alternative existe qui ne désavantage pas celui qui l'utilise, et mentionnez sa disponibilité sur l'évaluation elle-même plutôt que sur une page carrières. Conservez le dossier des demandes et des résultats. C'est le contrôle le moins coûteux disponible et il répond à la réclamation la plus susceptible de survenir.

Fixez un plancher pour toute analytique des personnes. Aucun rapport sur des groupes en dessous d'une taille minimale déclarée, aucune attribution individuelle, et aucune inférence sur le bien-être ou la santé conservée dans un système généraliste.

Demandez les conditions de conservation et de reproduction au renouvellement. La demande peut être refusée. Le fait de la formuler et d'essuyer un refus constitue une preuve de diligence institutionnelle nettement meilleure qu'un mémorandum rédigé après le dépôt d'une plainte.

Conclusion

La distribution des capacités d'entreprise à des organisations qui ne pouvaient auparavant pas se les offrir est un gain réel, et le secteur devrait s'en saisir. Ce qui n'a pas été distribué, c'est l'appareil qui rendait ces systèmes gouvernables au sein des organisations pour lesquelles ils avaient été conçus, et le vocabulaire actuellement utilisé pour décrire son absence, agilité, légèreté, absence de poids bureaucratique, occulte ce qui manque.

Une organisation de vingt personnes déployant une présélection automatisée porte les mêmes obligations qu'une organisation de vingt mille personnes, avec moins de ressources pour les honorer et, si elle est à vocation sociale, considérablement plus à perdre lorsqu'elle n'y parvient pas. Les contrôles qui comblent cet écart ne sont pas coûteux à cette échelle. Ce sont une liste, un ensemble de questions, un dossier écrit, et une décision sur ce qu'il faut désactiver. Les organisations qui les mettent en place ne seront pas simplement plus en sécurité. Elles sauront ce que font leurs systèmes, ce que tout le monde dans cette conversation suppose et que presque personne n'a vérifié.

Références

  • American Civil Liberties Union, ACLU du Colorado, Public Justice, et Eisenberg & Baum LLP. Plainte déposée auprès de la Colorado Civil Rights Division et de la U.S. Equal Employment Opportunity Commission, 19 mars 2025.
  • Americans with Disabilities Act of 1990, 42 U.S.C. § 12112, y compris § 12112(d) sur les examens médicaux, les demandes de renseignements liées au handicap, et la confidentialité ; Title VII of the Civil Rights Act of 1964, 42 U.S.C. § 2000e ; Age Discrimination in Employment Act, 29 U.S.C. § 621.
  • Mobley v. Workday, Inc., n° 3:23-cv-00770 (N.D. Cal.), ordonnance sur requête en irrecevabilité, juillet 2024.
  • New York City Local Law 144 de 2021, Automated Employment Decision Tools.
  • Uniform Guidelines on Employee Selection Procedures, 29 C.F.R. Part 1607 ; exigences de tenue de dossiers de l'EEOC, 29 C.F.R. Part 1602.
  • Wright, Lucas, et al. « Null Compliance: NYC Local Law 144 and the Challenges of Algorithm Accountability. » Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency.
Citer cet article
Grizzle, H. M. (2025, May 2). The Overhead Was the Accountability: Artificial Intelligence, Human Resources, and Mission-Driven Organizations. Novara Consulting Group. https://www.novaracg.com/2025/05/02/the-overhead-was-the-accountability-artificial-intelligence-human-resources-and-mission-driven-organizations/

Abonnez-vous à Novara Consulting Group

De nouveaux articles, livrés dans votre boîte de réception.

Consult