Les affirmations et la mesure qui serait nécessaire pour les étayer
L'argumentaire commercial standard en faveur de l'intelligence artificielle dans les ressources humaines s'est stabilisé autour de cinq affirmations : un recrutement plus rapide et de meilleure qualité, une réduction des coûts administratifs, une planification prévisionnelle des effectifs, une amélioration de la fidélisation et une automatisation de la conformité. Ces affirmations sont répétées avec une constance suffisante dans les documents des fournisseurs, les programmes de conférences et les commentaires professionnels pour qu'elles fonctionnent désormais comme des hypothèses de fond plutôt que comme des propositions nécessitant des preuves.
Elles nécessitent des preuves, et l'obstacle à leur production n'est pas la technologie. Les ressources humaines sont entrées dans cette période avec l'infrastructure de mesure la plus faible de toutes les grandes fonctions de l'entreprise. La finance dispose d'états vérifiés. Les opérations disposent de taux de rendement et de taux de défauts. Les ressources humaines disposent d'un ensemble d'indicateurs définis de manière variable, rarement validés, rarement établis en base de référence avant une intervention, et fréquemment produits par le fournisseur même dont le produit est évalué. Une organisation incapable de mesurer la performance de son processus de recrutement avant de déployer un outil automatisé ne peut pas mesurer l'amélioration qui s'ensuit, et ce qu'elle présente comme un retour sur investissement est généralement la différence entre deux chiffres qui n'ont jamais été comparables.
La position de Novara Consulting Group est que le problème central des argumentaires commerciaux en faveur de l'intelligence artificielle dans les ressources humaines n'est pas l'absence de retours. Certains sont réels, et ils sont décrits ci-dessous. Le problème est que les retours sont affirmés avec un niveau de précision que la mesure sous-jacente ne peut pas étayer, tandis que les coûts qui viendraient les compenser sont entièrement exclus du modèle. Un calcul construit de cette manière n'est pas une analyse d'investissement. C'est un document de plaidoyer avec un symbole monétaire inscrit dessus.
C'est un document de plaidoyer avec un symbole monétaire inscrit dessus.
Ce qui est réellement mesurable, et ce que cela vaut
Les cinq affirmations standard se séparent nettement en deux catégories, et cette séparation est plus instructive que les affirmations elles-mêmes.
La première catégorie contient des effets qui sont réellement mesurables et relativement modestes. Le temps de cycle dans le recrutement est mesurable, dispose d'une base de référence établie dans la plupart des systèmes de suivi des candidatures, et répond effectivement à l'automatisation de la planification, de la présélection et de la correspondance. Le coût administratif par transaction dans la paie et l'administration des avantages sociaux est mesurable, tout comme les taux d'erreur dans ces processus. Les organisations qui automatisent ces fonctions réalisent généralement des économies, et ces économies peuvent être étayées.
Deux réserves s'imposent. La première est que la plupart des économies documentées dans la paie et l'administration des avantages sociaux proviennent de l'automatisation des flux de travail et du traitement basé sur des règles, des technologies qui précèdent de plusieurs décennies la génération actuelle d'intelligence artificielle et qui sont fréquemment requalifiées d'IA dans le positionnement des fournisseurs et dans les argumentaires commerciaux qui en découlent. Attribuer des économies issues d'une automatisation de processus de longue date à un achat récent d'IA gonfle le retour mesuré de cet achat et, de manière plus conséquente, attribue mal le mécanisme causal, ce qui signifie que l'organisation tire la mauvaise leçon de ce qui a produit l'avantage. La seconde réserve est que ces économies sont, en termes absolus, peu spectaculaires. Elles ne justifient pas à elles seules les engagements d'entreprise actuellement pris.
La seconde catégorie contient des effets qui seraient substantiels s'ils étaient réels et qui ne peuvent actuellement pas être mesurés : amélioration de la qualité du recrutement, amélioration de la fidélisation et meilleure planification des effectifs. Ce sont les affirmations qui portent l'argumentaire commercial, et elles le portent précisément parce que leur ampleur n'est contrainte par aucune mesure.
La qualité du recrutement n'est pas un indicateur
La qualité du recrutement est l'affirmation porteuse dans presque tous les argumentaires commerciaux liés aux technologies de recrutement, et elle ne dispose d'aucune définition commune validée. Selon l'organisation, elle est opérationnalisée comme l'évaluation de performance de première année, la rétention à quatre-vingt-dix jours, la rétention à douze mois, la satisfaction du responsable du recrutement, le délai avant productivité, ou un composite de plusieurs de ces éléments, chacun ayant des propriétés de mesure différentes et aucun ne disposant d'une validité de construit établie en tant que mesure de l'efficacité du recrutement.
La conséquence est que toute amélioration revendiquée de la qualité du recrutement est essentiellement un artefact du choix définitionnel. Une organisation qui définit la qualité du recrutement comme la rétention à quatre-vingt-dix jours et déploie un outil qui présélectionne des candidats ressemblant aux employés de longue date antérieurs observera une amélioration. Elle n'a pas appris que le recrutement s'est amélioré. Elle a appris qu'un système optimisé pour une variable de substitution a déplacé cette variable de substitution. Lorsque le fournisseur fournit à la fois l'outil et le cadre de mesure, ce qui est courant, le constat se rapproche davantage d'une tautologie que d'une preuve.
Cela importe bien au-delà de l'hygiène méthodologique. En vertu des Uniform Guidelines on Employee Selection Procedures, au 29 C.F.R. Part 1607, un employeur dont le processus de sélection présente un impact défavorable est censé produire des preuves que la procédure est valide pour l'emploi concerné. La validation liée au critère exige une mesure défendable de la performance au travail. Une organisation incapable de dire précisément ce que signifie la qualité du recrutement pour ses propres postes, et incapable de montrer que sa mesure du critère est elle-même exempte de biais, ne dispose pas des preuves prévues par le cadre réglementaire. La faiblesse de mesure qui gonfle l'argumentaire commercial est la même faiblesse qui compromet la défense juridique, ce qui constitue un cas rare où un problème méthodologique et un problème de responsabilité ne font qu'un.
L'attrition prévisionnelle et l'écart de précision
La planification prévisionnelle des effectifs mérite un traitement séparé, car c'est là que l'écart entre la performance publiée et la performance déployée est le plus large, et l'exposition juridique la moins bien comprise.
La littérature académique sur la prédiction de l'attrition des employés rapporte systématiquement des chiffres de précision dans les quatre-vingt-dix pour cent et plus. Ces chiffres sont générés en très grande majorité sur un petit nombre d'ensembles de données de référence, principalement l'ensemble IBM HR Analytics d'environ 1 470 enregistrements et un ensemble Kaggle sur les ressources humaines largement diffusé d'environ 15 000 enregistrements, et typiquement après un rééquilibrage synthétique des classes par des techniques de suréchantillonnage telles que SMOTE (Synthetic Minority Over-sampling Technique). Ce sont des choix méthodologiques légitimes pour comparer des algorithmes entre eux. Ce ne sont pas des estimations de la performance sur le terrain, sur la main-d'œuvre propre d'un employeur, et elles ne devraient jamais figurer dans un argumentaire commercial comme si elles l'étaient. L'évaluation par les praticiens de la précision réaliste sur le terrain pour les modèles de risque de départ est considérablement plus basse, de l'ordre de soixante-dix à quatre-vingts pour cent, et les analystes du secteur ont exprimé un scepticisme persistant à l'égard des affirmations des fournisseurs dépassant quatre-vingt-dix pour cent.
L'écart entre quatre-vingts pour cent et les chiffres proches de cent pour cent n'est pas une simple différence d'arrondi dans cette application, car le taux de base est faible. L'attrition volontaire dans la plupart des organisations se situe bien en dessous de vingt pour cent par an, ce qui signifie qu'un modèle affichant une forte précision globale peut tout de même produire des faux positifs nettement plus nombreux que les vrais positifs. Dans un modèle d'attrition, un faux positif est un employé identifié à tort comme susceptible de partir.
La question de gouvernance se pose immédiatement, et le cadrage en termes de retour sur investissement l'occulte. Que fait l'organisation de ce nom ? Si la réponse est rien, le modèle n'a produit aucun retour. Si la réponse est quoi que ce soit, qu'il s'agisse d'offres de rétention différenciées, d'un investissement de développement modifié, d'une exclusion des affectations à long horizon, ou d'une considération de succession modifiée, alors l'organisation a pris une décision d'emploi différenciée concernant un individu sur la base d'une prédiction. Il s'agit d'une action en matière d'emploi, et sa légalité dépend de ce qui a déterminé le score. Les recommandations pour la construction de ces modèles préconisent couramment d'inclure les données démographiques des employés, l'âge et l'ancienneté étant cités parmi les variables qui donnent du contexte au modèle. Un employeur qui alimente un modèle avec l'âge, utilise le résultat pour allouer l'investissement de développement, et ne peut pas reconstituer pourquoi un employé donné a été noté ainsi, a créé une exposition au titre de l'Age Discrimination in Employment Act et l'a inscrite au bilan comme un avantage.
La conformité automatisée ne dégage pas d'une obligation de conformité
L'affirmation selon laquelle l'intelligence artificielle garantit le respect du droit du travail et des politiques internes devrait être entièrement retirée des argumentaires commerciaux, et non parce que les outils sont inutiles. Les systèmes de surveillance qui signalent les pauses manquées, les seuils d'heures supplémentaires, les anomalies de classification ou les erreurs d'administration des congés peuvent être réellement utiles, et le dossier opérationnel en leur faveur est raisonnable.
Le mot qui pose problème est garantit. Un système de surveillance ne dégage pas d'une obligation légale ; il produit des résultats dont l'employeur reste ensuite responsable. Si le système signale une violation potentielle et que personne n'agit, l'organisation a créé un document interne daté établissant qu'elle en avait connaissance, ce qui est nettement pire que de ne pas avoir surveillé du tout. Si le système ne parvient pas à signaler une violation qui s'est produite, l'employeur n'a acquis aucun moyen de défense, car le recours à un outil fourni par un prestataire n'est pas une excuse reconnue pour non-conformité au titre du Fair Labor Standards Act ou des lois que l'Equal Employment Opportunity Commission (EEOC) fait appliquer. Si les déterminations du système sont erronées de manière systématique, l'employeur a automatisé l'erreur et l'a mise à l'échelle.
Les événements de janvier 2025 aggravent la situation plutôt que de l'améliorer. Lorsque l'EEOC a retiré ses orientations sur l'intelligence artificielle de son site Internet, y compris l'assistance technique de mai 2022 sur l'Americans with Disabilities Act et l'assistance technique de mai 2023 sur le Titre VII, les employeurs ont perdu les documents interprétatifs qui leur indiquaient quelles pratiques l'agence considérait comme problématiques. Les lois elles-mêmes n'ont pas changé. Un outil de conformité configuré en fonction d'orientations qui ont depuis été retirées fonctionne désormais sans norme de référence énoncée, et c'est l'employeur, et non le fournisseur, qui assume cet écart.
L'automatisation de la conformité ajoute donc une obligation de documentation et de réponse plutôt que d'en supprimer une. Cette obligation a un coût, ce coût est réel, et il doit figurer du côté des coûts dans le modèle.
Les coûts que le modèle omet
La plupart des argumentaires commerciaux en IA dans les ressources humaines comportent un volet coûts composé des frais de licence, des services de mise en œuvre et d'une certaine provision pour la formation. Il s'agit du coût d'acquisition du logiciel. Ce n'est pas le coût d'exploitation d'un système automatisé de décision en matière d'emploi, lequel inclut en outre, au minimum, les éléments suivants.
Le travail de validation, c'est-à-dire l'analyse établissant que ce que chaque système note correspond à une exigence documentée du poste, ainsi que la revalidation requise lorsque le système ou le poste évolue. Le fonctionnement d'une voie d'aménagement, c'est-à-dire une capacité permanente à proposer une évaluation alternative sur demande, avec des décideurs désignés, un délai défini et un véritable processus interactif plutôt qu'un simple formulaire. La capacité de conservation et de reproduction des dossiers, c'est-à-dire la capacité à produire le score, les données d'entrée et la configuration du système en vigueur pour toute décision individuelle, pendant toute la période de conservation prévue par le 29 C.F.R. Part 1602. La surveillance, c'est-à-dire des tests périodiques des résultats plutôt qu'une confiance aveugle envers un résumé fourni par le fournisseur. La coopération du fournisseur lors de la découverte et des enquêtes administratives, qui est coûteuse, absente des conditions commerciales standard sauf négociation, et facturée à l'employeur en cas de besoin. Et la fonction de gouvernance interne elle-même, c'est-à-dire la personne identifiée responsable de ce qui précède, laquelle n'existe actuellement dans la plupart des organisations et doit être créée ou externalisée.
À côté de ces coûts d'exploitation se trouve un passif éventuel que pratiquement aucun argumentaire commercial ne chiffre, et qui n'est plus hypothétique. En août 2023, l'EEOC a conclu un règlement avec iTutorGroup pour 365 000 dollars concernant un logiciel configuré pour rejeter les candidats au-delà d'âges spécifiés, ce qui constitue un chiffre concret pour une simple décision de configuration. En juillet 2024, le tribunal du district nord de Californie a autorisé des plaintes contre un fournisseur de logiciels de présélection à se poursuivre sur la théorie selon laquelle le fournisseur a agi en tant qu'agent des employeurs utilisant ses outils, ce qui ébranle l'hypothèse courante selon laquelle la responsabilité incombe entièrement soit à l'employeur, soit au fournisseur, et peut être répartie proprement par contrat. En mars 2025, l'American Civil Liberties Union (ACLU), l'ACLU du Colorado, Public Justice et Eisenberg and Baum ont déposé une plainte auprès de la Colorado Civil Rights Division et de l'EEOC au nom d'un employé Deaf et autochtone concernant un entretien vidéo automatisé et un refus d'aménagement de sous-titrage, une affaire que les deux entreprises contestent. Cette plainte est individualisée, ne nécessite aucune statistique comparative et est peu coûteuse à engager.
Le traitement correct ne consiste pas à deviner un chiffre de règlement. Il consiste à énoncer explicitement l'exposition, à noter que les plaintes portant sur des pratiques systémiques sont fréquemment en dehors de la couverture des polices standard de responsabilité civile en matière d'emploi, et à exiger que les contrôles de gouvernance réduisant cette exposition soient financés dans le cadre du déploiement plutôt que reportés.
Une organisation qui ajoute ces postes constatera fréquemment que l'investissement reste justifié. C'est un bon résultat, mais ce n'est pas le propos. Le propos est que le chiffre obtenu peut être défendu devant un conseil d'administration, un auditeur, et éventuellement un tribunal, ce que le chiffre actuel ne peut pas faire.
Une structure défendable
Ce qui suit produit un argumentaire commercial qui résiste à l'examen et peut être construit par une fonction existante de ressources humaines et de finance.
- Établir la base de référence avant le déploiement, et non après : temps de cycle, coût par recrutement, coût administratif par transaction, taux d'erreur et attrition par segment, chacun mesuré sur au moins quatre trimestres préalables.
- Séparer les économies d'automatisation des économies liées à l'IA. Indiquer quels avantages revendiqués proviennent d'un traitement de flux de travail basé sur des règles qui serait disponible sans l'achat de l'IA, et chiffrer ces éléments séparément.
- Définir explicitement la qualité du recrutement pour vos propres postes avant de mesurer tout changement à cet égard, énoncer la mesure du critère et en indiquer les limites. Si elle ne peut pas être définie, ne pas revendiquer d'amélioration à son sujet.
- Refuser les chiffres de précision issus de jeux de données de référence pour tout modèle prévisionnel. Exiger une performance sur le terrain à partir des données propres de l'organisation, avec le taux de base indiqué et le volume de faux positifs exprimé en nombre de personnes plutôt qu'en pourcentage.
- Pour tout modèle produisant des scores au niveau individuel, documenter quelle action découle du score avant le déploiement, et faire examiner cette action comme une décision d'emploi plutôt que comme un résultat analytique.
- Chiffrer les obligations opérationnelles mentionnées ci-dessus comme un coût récurrent, et non comme une mise en œuvre ponctuelle.
- Présenter le passif éventuel comme un poste distinct, avec les contrôles qui le réduisent, qu'un montant en dollars lui soit ou non attribué.
- Exiger des preuves de validation, des données de performance sur le terrain et une capacité de reproduction comme conditions contractuelles dès l'acquisition. Conserver tout refus, qui constitue en soi une information sur ce que l'organisation sait.
Conclusion
Il existe un véritable argumentaire économique en faveur de l'intelligence artificielle dans les ressources humaines, plus modeste et plus défendable que celui actuellement en circulation. Il repose sur le temps de cycle, le coût des transactions et la réduction des erreurs dans les processus administratifs, autant d'éléments qui peuvent être étayés. Il ne repose pas sur la qualité du recrutement, la rétention ou des affirmations de précision prédictive que les pratiques de mesure de la fonction ne peuvent pas étayer, et qui comportent une responsabilité que le modèle ne tarife pas.
Les organisations qui obtiendront un retour durable de ces systèmes ne sont pas celles qui les ont adoptés le plus tôt ou qui en ont acheté le plus. Ce sont celles qui ont mesuré avant de déployer, qui peuvent dire ce que chaque système évalue et pourquoi cela importe pour le poste, et qui ont traité l'appareil de gouvernance comme faisant partie du coût de possession plutôt que comme une dépense à éviter. Un retour qui dépend d'un bénéfice non mesuré et d'un risque non tarifé n'est pas un retour. C'est une prévision, et la différence devient apparente au moment où quelqu'un demande à voir le détail des calculs.
Références
- American Civil Liberties Union, ACLU du Colorado, Public Justice, et Eisenberg & Baum LLP. Plainte déposée auprès de la Colorado Civil Rights Division et de la U.S. Equal Employment Opportunity Commission, 19 mars 2025.
- EEOC v. iTutorGroup, Inc., n° 1:22-cv-02565 (E.D.N.Y.), accord de conciliation, août 2023.
- Mobley v. Workday, Inc., n° 3:23-cv-00770 (N.D. Cal.), ordonnance sur requête en irrecevabilité, juillet 2024.
- Society for Human Resource Management. « The Dangers of Using Predictive Analytics to Gauge Employee Flight Risk. » 2023.
- U.S. Equal Employment Opportunity Commission. The Americans with Disabilities Act and the Use of Software, Algorithms, and Artificial Intelligence to Assess Job Applicants and Employees, EEOC-NVTA-2022-2, 12 mai 2022, et Select Issues: Assessing Adverse Impact in Software, Algorithms, and Artificial Intelligence Used in Employment Selection Procedures Under Title VII, 18 mai 2023. Les deux documents ont été retirés du site Web de l'agence le 27 janvier 2025.
- Uniform Guidelines on Employee Selection Procedures, 29 C.F.R. Part 1607 ; exigences de tenue de dossiers, 29 C.F.R. Part 1602.