Skip to content
Ir directamente al texto

Comercio Agéntico

El gasto general era la rendición de cuentas: inteligencia artificial, recursos humanos y organizaciones orientadas a la misión

Descargar PDF

La tecnología empresarial de recursos humanos se ha vuelto accesible para organizaciones que antes nunca podrían haberla costeado. La cuestión de gobernanza es qué no llegó junto con ella.

Lo que el argumento de la democratización acierta

La tecnología empresarial de recursos humanos se ha vuelto accesible para organizaciones que antes nunca podrían haberla costeado. Una organización sin fines de lucro de veinte personas ahora puede ejecutar clasificación de candidatos, evaluación estructurada, analítica de compromiso, inferencia de habilidades y entrega de aprendizaje personalizado mediante una suscripción mensual, usando los mismos productos subyacentes desplegados por empleadores mil veces más grandes. Ese es un cambio real, y el entusiasmo al respecto no está fuera de lugar. Una capacidad que antes estaba concentrada en grandes corporaciones ahora está ampliamente distribuida.

El argumento que suele plantearse junto a esta observación es que lo distribuido no es solo la capacidad, sino también la ventaja, y que las organizaciones más pequeñas y orientadas a una misión podrían de hecho estar mejor posicionadas que las corporaciones para usar bien estos sistemas, por ser más ágiles, más ligeras y estar libres de la carga burocrática que conlleva un gran departamento de recursos humanos. La posición de Novara Consulting Group es que esta última afirmación invierte el riesgo real, y que esa inversión es el problema central de gobernanza para el sector.

La carga burocrática es la rendición de cuentas.

La carga burocrática es la rendición de cuentas. Lo que contiene la función de recursos humanos de un gran empleador, debajo de las capas que parecen ineficiencia, es un conjunto de controles: revisión legal antes de implementar una herramienta, un proceso de gestión de proveedores, retención de registros, un oficial de cumplimiento que pregunta qué mide un sistema, y un socio de negocio cuyo trabajo incluye notar cuándo una decisión parece incorrecta. Las grandes corporaciones adoptaron estas herramientas en un entorno donde esa capa ya existía. Las organizaciones orientadas a una misión están adoptando las mismas herramientas sin ella, y se les dice que su ausencia es el beneficio.

Lo que no vino en la caja

El software es el mismo. Todo lo que rodea al software es diferente, en cuatro aspectos que se acumulan.

Nadie lo configuró. Una organización pequeña ejecuta los valores predeterminados del proveedor. No seleccionó los criterios de selección, no estableció los umbrales y a menudo no sabe qué características están puntuando a los candidatos, porque varias se habilitaron en la implementación y nunca se revisaron. La pregunta que eventualmente llega, sobre quién estableció los criterios y con qué base, no tiene respuesta.

Nadie lo revisó. No hay asesoría legal que pregunte si una evaluación que mide el estilo de comunicación se relaciona con el puesto, ninguna función de privacidad que pregunte dónde se almacenan los resultados de inferencia, y ninguna oficina de adquisiciones que solicite evidencia de validación. La compra la realizó un director ejecutivo por recomendación de una organización par.

Nadie puede negociarlo. Los controles que realmente protegen a un empleador son contractuales: retención de puntuaciones, identificación de versiones, la capacidad de reproducir una decisión histórica, acceso a evidencia de validación, cooperación en una investigación. Estos se determinan en el momento de la adquisición. Una organización de veinte personas que firma un formulario de pedido estándar no tiene ninguna capacidad de negociación para obtenerlos, lo que significa que la defensa individual más eficaz es la menos disponible a esta escala.

Y el piso legal no se mueve. El Título VII y la Ley de Estadounidenses con Discapacidades se aplican a partir de quince empleados, la Ley de Discriminación por Edad en el Empleo a partir de veinte. No existe una defensa por sofisticación, ni un puerto seguro para pequeños empleadores en el caso de herramientas automatizadas, ni una reducción de la obligación porque el sistema se haya comprado en lugar de construido. La jurisprudencia en desarrollo sugiere que el proveedor puede añadirse como demandado en lugar de sustituir a uno; en julio de 2024, el Distrito Norte de California permitió que avanzaran demandas contra un proveedor de software de selección bajo la teoría de que actuó como agente de los empleadores que usaban sus herramientas. Que la herramienta viniera en una caja, y que nadie en la organización la entendiera, no es una defensa. Es una admisión.

La afirmación que hay que eliminar

De las afirmaciones que se suelen hacer sobre la inteligencia artificial en recursos humanos orientados a una misión, hay una que debería eliminarse en lugar de matizarse: que estos sistemas son resistentes al sesgo, o que reducen el sesgo inconsciente y producen contrataciones más justas.

No existe una base de evidencia pública que la respalde, y la evidencia disponible apunta en sentido contrario. Los sistemas entrenados con candidatos exitosos anteriores puntúan la conformidad con una distribución, y las dimensiones que con más frecuencia puntúan —comunicación, fluidez, afecto y tiempos de respuesta— son precisamente aquellas en las que la discapacidad, el habla con acento y un trasfondo poco familiar se registran como desviación. Una queja presentada en marzo de 2025 ante la División de Derechos Civiles de Colorado y la EEOC (Comisión para la Igualdad de Oportunidades en el Empleo) en nombre de un empleado Deaf e indígena alega precisamente este patrón en una entrevista de video automatizada; ambas empresas niegan las alegaciones y el asunto está en disputa, pero la teoría del daño ya consta en el registro público con partes identificadas.

El aparato de auditoría que se ofrece como garantía no repara la afirmación. Una investigación presentada en la conferencia de 2024 de ACM sobre Equidad, Responsabilidad y Transparencia examinó el cumplimiento del requisito de auditoría de sesgo de la ciudad de Nueva York en casi cuatrocientos empleadores y encontró tasas de publicación afirmativa en un solo dígito bajo, con casi todas las auditorías publicadas reportando razones de impacto por encima del umbral de cuatro quintos, una distribución que dice más sobre quién encarga las auditorías que sobre los sistemas auditados. Y estos instrumentos miden raza y sexo. No pueden medir la discapacidad, porque los empleadores no la conocen y legalmente no pueden preguntar, antes de una oferta condicional, qué solicitantes tienen una discapacidad.

Para una organización orientada a una misión, esto no es meramente un problema de precisión. Una organización que se compromete públicamente con una contratación equitativa y que en privado se apoya en la afirmación de equidad de un proveedor ha adoptado una aseveración que no puede sustentar, precisamente en el área donde su credibilidad es su principal activo. La postura correcta es reconocer que estos sistemas no están probados en materia de sesgo, que la organización está monitoreando los resultados por sí misma, y que no ha delegado la cuestión.

La analítica de equipos pequeños desanonimiza por construcción

La afirmación de que la analítica de compromiso y desempeño en tiempo real permite a los equipos pequeños fomentar entornos de apoyo merece un tratamiento aparte, porque a esta escala hace algo distinto de lo que hace a escala empresarial.

La analítica de compromiso se vende sobre la premisa del conocimiento agregado: la organización ve patrones, no personas. Esa premisa depende de tamaños de celda lo suficientemente grandes como para ocultar a los individuos. En una organización de veinticinco personas, con tres equipos, un panel que reporta sentimiento o compromiso por equipo está reportando sobre seis a nueve personas identificables, y cualquier gerente que lo lea sabe quién es quién. Al segmentar por antigüedad, puesto o ubicación, el informe se vuelve individual. El anonimato es nominal, y las personas sobre las que se informa generalmente lo entienden mucho antes de que lo haga la dirección.

De ahí se derivan dos consecuencias. La primera es que los datos dejan de ser confiables, porque los empleados que correctamente infieren que las respuestas son atribuibles responden en consecuencia, que es cómo las organizaciones terminan con paneles que muestran un alto compromiso y una renuncia que nadie anticipó. La segunda es legal. Cuando la analítica infiere bienestar, estrés, agotamiento o desconexión, la organización puede estar generando información relacionada con la salud sobre empleados identificables. La ADA exige que la información médica sobre los empleados se mantenga por separado y de manera confidencial, y una inferencia alojada en un producto de analítica de uso general sobre la infraestructura de un proveedor, visible para quien administre la plataforma, difícilmente cumplirá ese estándar. Nadie consideró la cuestión, porque el sistema se adquirió como una herramienta de cultura organizacional.

El mismo razonamiento se aplica a la inferencia de habilidades y al aprendizaje personalizado. Un sistema que identifica brechas de habilidades y orienta el desarrollo está produciendo un perfil que determina quién recibe inversión. Asignar el desarrollo con base en un perfil inferido es una decisión de empleo, y como tal es revisable. Si la inferencia se basa en la antigüedad, el historial de puestos o señales de compromiso correlacionadas con la edad o la discapacidad, la organización ha creado una exposición y la ha registrado como un beneficio.

Lo que una organización ágil debería realmente conservar

La recomendación no es un programa de cumplimiento, que una organización de este tamaño no puede operar y no debería intentar. Es un pequeño conjunto de controles que sobreviven al ser gestionados por una sola persona con otras responsabilidades. Son económicos a esta escala, y son la parte de la carga burocrática empresarial que vale la pena importar.

Sepa qué está en funcionamiento. Enumere cada punto en el que un software evalúa, clasifica, filtra, puntúa o perfila a una persona, incluidas las funciones habilitadas por defecto en la implementación. La mayoría de las organizaciones que hacen esto por primera vez encuentran al menos un sistema que nadie sabía que estaba puntuando.

Desactive lo que no se pueda explicar. Cuando nadie pueda indicar qué mide una función y por qué es relevante para el puesto, desactívela en lugar de documentarla. Esta opción está genuinamente disponible para las organizaciones pequeñas y en gran medida no disponible para las grandes, y es la acción de mayor rendimiento en esta lista.

Pregunte al proveedor por escrito, y conserve la respuesta. Qué puntúa esta función. Qué infiere, a partir de qué señales, y dónde se almacena la inferencia. Si conservan las puntuaciones y la configuración, por cuánto tiempo, y si pueden reproducir una decisión de hace dieciocho meses. Qué evidencia de validación existe. Qué vía de adaptación admite el producto. Una negativa también es una respuesta y vale la pena conservarla.

Construya la vía de adaptación antes de que se necesite. Designe quién decide, establezca un plazo de respuesta, asegúrese de que exista una evaluación alternativa que no perjudique a quien la use, e indique su disponibilidad en la propia evaluación y no solo en una página de empleo. Conserve el archivo de solicitudes y resultados. Este es el control más económico disponible y aborda la reclamación más probable de llegar.

Establezca un umbral mínimo para cualquier analítica de personas. Ningún informe sobre grupos por debajo de un tamaño mínimo establecido, ninguna atribución individual, y ninguna inferencia sobre bienestar o salud conservada en un sistema de uso general.

Solicite los términos de retención y reproducción al momento de la renovación. Es posible que se niegue la solicitud. Preguntar y recibir una negativa es una evidencia materialmente mejor de diligencia institucional que un memorando escrito después de presentada una demanda.

Conclusión

La distribución de capacidad empresarial hacia organizaciones que antes no podían costearla es una ganancia genuina, y el sector debería aprovecharla. Lo que no se ha distribuido es el aparato que hacía gobernables esos sistemas dentro de las organizaciones para las que fueron creados, y el lenguaje que actualmente se usa para describir su ausencia —agilidad, ligereza, libertad de cargas burocráticas— oscurece lo que falta.

Una organización de veinte personas que implementa selección automatizada tiene las mismas obligaciones que una de veinte mil, con menos recursos para cumplirlas y, si está orientada a una misión, considerablemente más que perder cuando no puede hacerlo. Los controles que cierran la brecha no son costosos a esta escala. Son una lista, un conjunto de preguntas, un archivo escrito y una decisión sobre qué desactivar. Las organizaciones que los instalen no solo estarán más seguras. Sabrán qué están haciendo realmente sus sistemas, que es lo que todos los demás en esta conversación están asumiendo y que casi nadie ha verificado.

Referencias

  • American Civil Liberties Union, ACLU de Colorado, Public Justice, y Eisenberg & Baum LLP. Demanda presentada ante la División de Derechos Civiles de Colorado y la Comisión para la Igualdad de Oportunidades en el Empleo de EE. UU., 19 de marzo de 2025.
  • Ley de Estadounidenses con Discapacidades de 1990, 42 U.S.C. § 12112, incluido el § 12112(d) sobre exámenes médicos, indagaciones relacionadas con discapacidad y confidencialidad; Título VII de la Ley de Derechos Civiles de 1964, 42 U.S.C. § 2000e; Ley de Discriminación por Edad en el Empleo, 29 U.S.C. § 621.
  • Mobley v. Workday, Inc., No. 3:23-cv-00770 (N.D. Cal.), resolución sobre moción de desestimación, julio de 2024.
  • Ley Local 144 de 2021 de la Ciudad de Nueva York, Automated Employment Decision Tools.
  • Directrices Uniformes sobre Procedimientos de Selección de Empleados, 29 C.F.R. Parte 1607; requisitos de mantenimiento de registros de la EEOC, 29 C.F.R. Parte 1602.
  • Wright, Lucas, et al. “Null Compliance: NYC Local Law 144 and the Challenges of Algorithm Accountability.” Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency.

Suscríbete a Novara Consulting Group

Nuevas publicaciones, directamente en tu bandeja de entrada.

Consult