Skip to content
Ir directamente al texto

Comercio Agéntico

Exento del papeleo, responsable de la decisión: Gobernanza de la inteligencia artificial para pequeñas organizaciones y sin fines de lucro

Descargar PDF

La asimetría

El relato convencional sobre la regulación de la inteligencia artificial y las pequeñas organizaciones sostiene que las cargas de cumplimiento recaen con más fuerza sobre quienes menos capacidad tienen para soportarlas, y que los umbrales y las exenciones existen para corregir ese desequilibrio. El relato es correcto en parte, y la parte en la que se equivoca es la que importa.

Los pequeños empleadores y las organizaciones sin fines de lucro están, en efecto, exentos de buena parte del aparato normativo emergente. Están exentos casi por completo de la parte equivocada. Las exenciones alcanzan a los regímenes de divulgación, evaluación y documentación, es decir, a las partes del marco normativo que habrían obligado a una organización a examinar de cerca las herramientas automatizadas que ya utiliza. No alcanzan a los estatutos subyacentes de discriminación laboral, que se aplican a partir de quince empleados y conllevan un derecho de acción privado, teorías de responsabilidad individualizadas y ninguna exigencia de que el demandante demuestre que el empleador era sofisticado.

Una organización dispensada del proceso que habría detectado el problema y plenamente expuesta a la consecuencia de no haberlo detectado.

El efecto neto es una organización dispensada del proceso que habría detectado el problema y plenamente expuesta a la consecuencia de no haberlo detectado. La posición de Novara Consulting Group es que esta asimetría, más que el costo, es el riesgo de gobernanza definitorio para las organizaciones de alrededor de doscientos empleados o menos, y que el consejo estándar dado a los pequeños empleadores, que consiste en esperar hasta cruzar un umbral, se acerca a la peor estrategia disponible.

De qué están realmente exentas las pequeñas organizaciones

La estructura de umbrales es real y merece ser mapeada, con la advertencia de que la mayoría de estos instrumentos son recientes, varios aún no están en vigor y uno todavía se encuentra en proceso de reglamentación, por lo que la aplicabilidad debe confirmarse contra el texto vigente y no contra resúmenes, incluido este.

La Ley del Senado de Colorado 24-205, firmada en mayo de 2024 y programada para entrar en vigor el 1 de febrero de 2026, impone obligaciones a los desarrolladores y usuarios de sistemas de alto riesgo empleados en decisiones consecuentes, incluida la contratación laboral, y contempla una exención condicional para los usuarios con menos de cincuenta empleados a tiempo completo. La Ley de Privacidad del Consumidor de California alcanza a las empresas que cumplen sus criterios de cobertura, principalmente ingresos brutos anuales superiores a veinticinco millones de dólares o el manejo de volúmenes sustanciales de datos de consumidores, y su definición de empresa cubierta depende de que opere con fines de lucro, lo que deja a la mayoría de las organizaciones sin fines de lucro completamente fuera de su alcance. La Agencia de Protección de la Privacidad de California ha avanzado propuestas de reglamento sobre tecnología de toma de decisiones automatizada hacia un proceso formal de reglamentación, y esas normas conllevarían los mismos umbrales de cobertura si se adoptaran tal como están redactadas. A nivel federal, las Directrices Uniformes sobre Procedimientos de Selección de Empleados prevén un registro simplificado para usuarios con menos de cien empleados.

Leído en conjunto, una organización de treinta personas que utiliza un sistema de seguimiento de candidatos disponible comercialmente no tiene, en la mayoría de las jurisdicciones, ninguna obligación de realizar una evaluación de impacto, publicar una auditoría de sesgo, proporcionar un aviso previo al uso ni mantener los registros de impacto a nivel de componente que sí debe mantener un empleador más grande. No será inspeccionada. Nadie preguntará.

De qué no están exentas

El Título VII de la Ley de Derechos Civiles y la Ley de Estadounidenses con Discapacidades se aplican a los empleadores con quince o más empleados. La Ley de Discriminación por Edad en el Empleo se aplica a partir de veinte. Estos estatutos no contienen ninguna defensa basada en la sofisticación, ningún puerto seguro para pequeños empleadores respecto de herramientas automatizadas, ni ninguna disposición que reduzca las obligaciones de un empleador porque haya comprado, en lugar de construido, el sistema que produjo la decisión.

La compra tampoco transfiere la responsabilidad. El empleador sigue siendo la parte que toma la decisión de empleo, y la jurisprudencia en desarrollo sugiere que el proveedor puede sumarse como demandado en lugar de sustituir a uno. En julio de 2024, el Tribunal de Distrito del Norte de California permitió que avanzaran demandas contra un proveedor de software de selección bajo la teoría de que el proveedor actuó como agente de los empleadores que utilizaban sus herramientas, lo que desestabiliza la suposición de que la responsabilidad puede asignarse claramente a la parte que escribió el código. Que la herramienta viniera empaquetada, y que nadie en la organización la entendiera, no es una defensa. Es una admisión.

Las teorías relativas a la discapacidad merecen un énfasis particular, porque son las que una pequeña organización tiene más probabilidades de enfrentar y para las que está menos preparada. Una demanda por falta de ajuste razonable surge cuando un candidato solicita una modificación de una evaluación y no la recibe. Una demanda por exclusión (screen-out) surge cuando un criterio de selección tiende a excluir a una persona con discapacidad y el empleador no puede demostrar que el criterio está relacionado con el puesto y es coherente con la necesidad empresarial. Ninguna de las dos requiere estadísticas comparativas dentro de un grupo de candidatos. Ninguna requiere que un experto reconstruya un modelo. Ambas se prueban con un registro individual compuesto por una solicitud, una respuesta y un resultado, registro que el propio empleador crea y conserva. La denuncia presentada en marzo de 2025 ante la División de Derechos Civiles de Colorado y la EEOC (Comisión para la Igualdad de Oportunidades en el Empleo) en nombre de un empleado Sordo e indígena, referida a una entrevista automatizada en video y a una solicitud de subtitulado denegada, sigue exactamente este patrón. Ambas empresas niegan las acusaciones, y la forma de la demanda resulta instructiva independientemente del resultado.

Estas demandas son económicas de presentar, y su costo de defensa no disminuye en proporción al tamaño del demandado. El acuerdo de conciliación de la EEOC de 2023 con iTutorGroup, que resolvió acusaciones de que el software estaba configurado para rechazar solicitantes por encima de determinadas edades, se saldó en 365.000 dólares. Esa cifra es sobrellevable para un empleador grande. Es existencial para la mayoría de las organizaciones sin fines de lucro.

Por qué la pequeña organización está estructuralmente más expuesta

El tamaño no solo deja de proteger. Empeora activamente la posición, por cuatro razones que se acumulan.

La primera es la configuración. Una pequeña organización opera con los ajustes predeterminados del proveedor. No seleccionó los criterios de selección, no fijó los umbrales, y con frecuencia no sabe qué funciones de su sistema de seguimiento de candidatos están puntuando a los aspirantes, porque varias se activaron en la implementación y nunca se revisaron. Cuando llega la pregunta de quién configuró los criterios y sobre qué base, la respuesta honesta es que nadie en la organización lo hizo.

La segunda es el poder de negociación. Los controles que realmente protegen a un empleador son contractuales: retención de puntuaciones, identificación de versiones, reproducción de una decisión histórica, acceso a la evidencia de validación, cooperación en una investigación. Estos se negocian en el momento de la adquisición, y una organización sin fines de lucro de treinta personas que firma un formulario de pedido estándar no tiene una capacidad real de negociarlos. La defensa individualmente más eficaz es la que las pequeñas organizaciones tienen menos posibilidades de obtener.

La tercera es el registro. Las obligaciones federales de conservación de registros previstas en el 29 C.F.R. Parte 1602 exigen preservar los registros de solicitud y, una vez presentada una denuncia, preservar todo lo relevante hasta la resolución final. Reconstruir por qué un solicitante en particular fue rechazado hace dieciocho meses requiere que se hayan conservado la puntuación, los datos de entrada y la configuración del sistema vigente en ese momento. Las pequeñas organizaciones dependen de las prácticas de datos del proveedor, que típicamente descartan las puntuaciones después de clasificar, y lo descubren justo en el momento en que necesitan esos datos.

La cuarta es la ausencia de alguien cuya función sea ocuparse de esto. Los empleadores más grandes cuentan con asesoría legal, una función de cumplimiento y un responsable de privacidad que al menos hará preguntas. Una pequeña organización tiene un director ejecutivo, un gerente de oficina que administra el sistema de seguimiento de candidatos, y una junta directiva que nunca lo ha discutido.

El caso de las organizaciones sin fines de lucro es peor

Las organizaciones sin fines de lucro cargan con una exposición adicional que no tiene equivalente corporativo, y no es de naturaleza legal.

Una organización cuya misión trata sobre discapacidad, accesibilidad, equidad o desarrollo laboral, y que filtra a los candidatos mediante una evaluación automatizada que penaliza el habla atípica, la comunicación interpretada o el afecto no estándar, tiene un problema de integridad de misión que sobrevive a cualquier resultado legal. No importa si la demanda tiene fundamento. La sola acusación resulta coherente de una manera en que no lo sería contra un fabricante, porque la posición pública de la organización aporta la contradicción. Los financiadores leen esas acusaciones. También lo hacen las comunidades a las que sirve la organización, y también el personal que se sumó por la misión.

Esto no es un razonamiento hipotético aplicado a un escenario improbable. Las organizaciones de servicios para personas con discapacidad, los centros de salud comunitarios, los proveedores de asistencia jurídica y los organismos públicos utilizan los mismos sistemas comerciales de seguimiento de candidatos y los mismos productos de entrevista automatizada por video que todos los demás, generalmente en el nivel de entrada, generalmente con los ajustes predeterminados, y generalmente sin que nadie haya examinado qué mide la evaluación. El sector con más probabilidades de emplear a personas con discapacidad, y el más creíble cuando habla de hacerlo, está utilizando la misma infraestructura de selección no examinada que el sector al que critica.

La orientación que habría ayudado simplemente desapareció

Existe una dificultad adicional propia de este momento. Las pequeñas organizaciones no leen los reglamentos; leen orientación en lenguaje sencillo, y la orientación en lenguaje sencillo sobre este tema fue retirada en enero de 2025.

La EEOC eliminó sus materiales sobre inteligencia artificial, incluida la asistencia técnica de mayo de 2022 sobre la Ley de Estadounidenses con Discapacidades y el uso de software, algoritmos e inteligencia artificial para evaluar a solicitantes de empleo y empleados, junto con su resumen complementario redactado para los trabajadores. El Departamento de Trabajo señaló que el Marco de Contratación Inclusiva con IA publicado en septiembre de 2024, desarrollado específicamente para ayudar a los empleadores a implementar estas herramientas sin excluir a candidatos con discapacidad, puede que ya no refleje la política vigente. Esos documentos eran el punto de entrada accesible exactamente para las organizaciones descritas aquí.

Los estatutos no cambiaron. Lo que cambió es que la explicación gratuita y legible de lo que exigen ha desaparecido, y las organizaciones que más dependían de ella son las que no tienen presupuesto para reemplazarla con asesoría legal.

Qué es realmente alcanzable a esta escala

La recomendación no es un programa de cumplimiento. Una organización de treinta personas no puede operar uno y no debería intentarlo. Lo siguiente es alcanzable en unos pocos días del tiempo de un miembro del personal existente y capta la mayor parte de la protección disponible.

  1. Haga un inventario de lo que realmente está utilizando. Enumere cada punto del proceso de contratación en el que un software evalúa, clasifica, filtra o puntúa a un candidato, incluido el análisis de currículums, las preguntas eliminatorias, los módulos de evaluación y la preselección basada en chat. Incluya las funciones activadas por defecto en la implementación. La mayoría de las organizaciones que hacen esto por primera vez descubren al menos un sistema que nadie sabía que estaba puntuando.
  2. Desactive lo que no pueda explicar. Si nadie puede indicar qué mide una función y por qué es relevante para el puesto, la acción correcta es desactivarla, no documentarla. Esta opción está disponible para las pequeñas organizaciones y en gran medida no lo está para las grandes, y es el paso de mayor rendimiento en esta lista.
  3. Hágale al proveedor cinco preguntas por escrito. Qué mide esta función. ¿Conservan la puntuación y la configuración, y por cuánto tiempo? ¿Pueden reproducir una decisión específica de hace dieciocho meses? Qué evidencia de validación existe respecto de lo que mide. Qué vía de ajuste razonable admite el producto. Conserve las respuestas. Una negativa también es una respuesta y vale la pena conservarla.
  4. Cree la vía de ajuste razonable antes de necesitarla. Designe a la persona que decide, establezca un plazo de respuesta, asegúrese de que exista una evaluación alternativa que no perjudique a quien la utiliza, y comunique su disponibilidad en la propia evaluación en lugar de en una página de empleo. Este es el control más económico de este documento y aborda la demanda que con mayor probabilidad enfrentará.
  5. Conserve el expediente de ajustes razonables. Cada solicitud, quién decidió, qué se proporcionó, cuál fue el resultado. Se presentará si se interpone una denuncia, y usted debería revisarlo primero.
  6. Cuando se renueve el contrato, solicite condiciones de retención y reproducción. Puede que no las obtenga. Pedirlas y que se las nieguen es sustancialmente mejor que no pedirlas, tanto en términos de gobernanza como en cuanto a lo que el registro demuestra sobre lo que la organización sabía.

Conclusión

La afirmación de que las pequeñas organizaciones merecen acceso a las herramientas que tienen las más grandes es correcta hasta cierto punto, y la tecnología ha reducido genuinamente el costo de contar con una infraestructura de contratación capaz. Lo que no se ha reducido es el estándar con el que se juzgan las decisiones resultantes, y lo que se les ha dado a las pequeñas organizaciones no es un estándar más ligero, sino un rastro documental más ligero.

Las exenciones son reales, y son exenciones de que se les pregunte. No son exenciones de la respuesta. Una organización de treinta personas que no puede decir qué mide su herramienta de selección está en la misma posición legal que una organización de treinta mil que tampoco puede decirlo, con menos recursos para resolverlo y, si se trata de una organización orientada por una misión, considerablemente más que perder cuando la pregunta se formula en público.

Referencias

  • American Civil Liberties Union, ACLU de Colorado, Public Justice, y Eisenberg & Baum LLP. Demanda presentada ante la División de Derechos Civiles de Colorado y la Comisión para la Igualdad de Oportunidades en el Empleo de EE. UU., 19 de marzo de 2025.
  • Ley de Estadounidenses con Discapacidades de 1990, Título I, 42 U.S.C. § 12112; Título VII de la Ley de Derechos Civiles de 1964, 42 U.S.C. § 2000e; Ley de Discriminación por Edad en el Empleo, 29 U.S.C. § 621.
  • Ley de Privacidad del Consumidor de California, Cal. Civ. Code § 1798.140, definición de negocio cubierto; propuesta de reglamento de la Agencia de Protección de la Privacidad de California sobre tecnología de toma de decisiones automatizada, que avanzó a reglamentación formal en noviembre de 2024.
  • Proyecto de Ley del Senado de Colorado 24-205, firmado el 17 de mayo de 2024, con fecha de entrada en vigor programada para el 1 de febrero de 2026.
  • EEOC v. iTutorGroup, Inc., No. 1:22-cv-02565 (E.D.N.Y.), decreto de conciliación, agosto de 2023.
  • Mobley v. Workday, Inc., No. 3:23-cv-00770 (N.D. Cal.), resolución sobre moción de desestimación, julio de 2024.
  • Ley Local 144 de 2021 de la Ciudad de Nueva York, Automated Employment Decision Tools.
  • U.S. Department of Labor and Partnership on Employment & Accessible Technology, AI and Inclusive Hiring Framework, September 2024.
  • U.S. Equal Employment Opportunity Commission, The Americans with Disabilities Act and the Use of Software, Algorithms, and Artificial Intelligence to Assess Job Applicants and Employees, EEOC-NVTA-2022-2, May 12, 2022; removed from the agency website January 27, 2025.
  • Directrices Uniformes sobre Procedimientos de Selección de Empleados, 29 C.F.R. Parte 1607, incluido el § 1607.15A(1); requisitos de mantenimiento de registros de la EEOC, 29 C.F.R. Parte 1602.

Suscríbete a Novara Consulting Group

Nuevas publicaciones, directamente en tu bandeja de entrada.

Consult