Resumen ejecutivo
Las instituciones que adquieren sistemas de inteligencia artificial para el acceso a la comunicación confían cada vez más en que han gestionado el riesgo, y esa confianza es cada vez más infundada. La confianza se apoya en artefactos: listas de verificación completadas, documentación del proveedor, demostraciones guionizadas, cláusulas de garantía negociadas, declaraciones de accesibilidad presentadas. Cada artefacto es genuino. Ninguno de ellos, individualmente o en conjunto, está diseñado para responder a la pregunta que la institución realmente necesita responder, que es si el sistema funcionará de manera segura, fiable y adecuada en el contexto de implementación para el que se está adquiriendo.
Este número denomina esa condición como teatro de adquisiciones y sostiene que es estructural y no malintencionada. Los profesionales de adquisiciones son recompensados por la exhaustividad procedimental. Los proveedores son recompensados por la demostración persuasiva. Ambas partes pueden cumplir plenamente con sus obligaciones mientras la pregunta central sobre el desempeño queda sin examinar. El remedio no es más documentación. Es un cambio en el estándar rector, de la garantía procedimental, que pregunta si se siguieron los pasos requeridos, a la garantía evidencial, que pregunta si la evidencia recopilada era capaz de descubrir la verdad.
La postura de Novara Consulting Group es que esta distinción se convertirá en la competencia definitoria de la gobernanza de la IA en el sector público, y que las instituciones deberían comenzar a construir la capacidad evidencial para lograrlo ahora, antes de la implementación y no después del fracaso.
El problema de política
La gobernanza no se mide por la actividad. Se mide por si las actividades realizadas son capaces de descubrir la verdad. La mayoría de las adquisiciones actuales de IA para accesibilidad fallan esta prueba no porque el proceso sea descuidado, sino porque el proceso fue diseñado para una clase diferente de producto.
Los instrumentos de adquisición tradicionales asumen que las capacidades de un producto son estables, observables y en gran medida divulgadas por el fabricante. Bajo ese supuesto, recopilar artefactos es un indicador razonable para verificar el desempeño. Los sistemas de inteligencia artificial que median el acceso lingüístico violan cada parte de ese supuesto. El desempeño varía según el firmante, el registro, la variación regional, la iluminación, la geometría de la cámara, la latencia, el tema tratado y la presencia o ausencia de los rasgos gramaticales no manuales de los que esta publicación toma su nombre. Un sistema que se desempeña adecuadamente en una demostración controlada puede degradarse sustancialmente en una admisión clínica, una audiencia disciplinaria o una comunicación de emergencia. Nada en un paquete de artefactos estándar está construido para revelar esa degradación.
Tres confusiones sostienen el problema. La documentación se trata como validación, aunque la documentación registra lo que un proveedor afirma en lugar de lo que un sistema hace. La certificación se trata como desempeño, aunque la certificación normalmente da fe de la conformidad del proceso más que de la calidad del resultado. La conformidad se trata como eficacia, aunque la conformidad mide la alineación con un estándar técnico más que si un usuario sordo o con dificultades auditivas logró un acceso comunicativo funcional. Un proceso de adquisición que no puede distinguir entre estos tres conceptos genera riesgo institucional en proporción directa al número de formularios que completa, porque cada formulario completado aumenta la confianza sin aumentar el conocimiento.
Análisis institucional
La estructura de incentivos explica la persistencia del patrón de manera más convincente que cualquier relato de mala fe. Las oficinas de adquisiciones operan bajo regímenes de auditoría que examinan si se cumplieron los pasos requeridos, no si esos pasos fueron epistémicamente adecuados. Un expediente que contiene un informe de conformidad de accesibilidad del proveedor, un registro de demostración y un lenguaje contractual negociado sobrevive a la auditoría. Un expediente que documenta que la institución probó de forma independiente el sistema con usuarios sordos representativos en condiciones representativas, y lo encontró deficiente, crea riesgo de cronograma y exposición política. El sistema recompensa el primer expediente.
Los proveedores enfrentan un incentivo simétrico. Los mercados de IA para accesibilidad recompensan la calidad de la demostración, la coherencia narrativa y la velocidad hacia el contrato. Rara vez se les pide a los proveedores que divulguen las condiciones de fallo, y divulgarlas unilateralmente impone un costo competitivo. La evidencia pública aún no respalda la afirmación de que los sistemas comerciales actuales de IA de lenguaje de señas hayan sido evaluados frente a condiciones de prueba construidas de forma independiente y representativas de la implementación, con resultados publicados. En ausencia de tal evidencia, las afirmaciones de marketing y la documentación autogenerada se convierten por defecto en el registro institucional.
La población afectada absorbe el riesgo residual. Los usuarios sordos y con dificultades auditivas generalmente no son parte de la adquisición, rara vez están representados en las pruebas de aceptación y se encuentran con el sistema solo después de que se ha establecido la confianza institucional y se ha ejecutado el contrato. Para ese momento, la carga de la prueba se ha invertido. Se exige al usuario demostrar que el sistema falló, frente a un registro institucional que afirma que se realizó la debida diligencia y que el sistema fue encontrado conforme. Esta inversión es el daño operativo del teatro de adquisiciones, y es producida enteramente por actores legítimos que siguen procedimientos legítimos.
La decisión de no mirar es en sí misma una decisión de gobernanza.
Entendido dentro de la tradición de los instrumentos de gobierno, la adquisición no es una formalidad administrativa sino un instrumento de acción pública, y la elección del instrumento determina quién está facultado para hablar, qué cuenta como prueba y dónde recae la rendición de cuentas. Leído junto con la literatura sobre relatos causales, el relato prevaleciente del fracaso de la IA de accesibilidad es una historia de accidente, en la que una tecnología impredecible ocasionalmente tiene un desempeño deficiente y ningún actor asume responsabilidad. El planteamiento evidencial que aquí se propone respalda un relato diferente, uno de negligencia como mínimo: los fracasos son previsibles, las condiciones bajo las cuales ocurren son descubribles de antemano, y la decisión de no buscarlas es en sí misma una decisión de gobernanza.
Implicaciones de gobernanza
Pasar de la garantía procedimental a la garantía evidencial requiere que las instituciones planteen un conjunto diferente de preguntas, y que traten las respuestas como criterios de aceptación en lugar de información de contexto. ¿Qué evidencia respalda la afirmación que se hace, y esa evidencia es evidencia de desempeño o evidencia de proceso? ¿Quién generó la evidencia, bajo qué relación comercial con el resultado, y con qué transparencia metodológica? ¿Puede el resultado ser reproducido de forma independiente por una parte sin interés en que la adquisición tenga éxito? ¿Bajo qué condiciones específicas falla el sistema, con qué frecuencia y con qué distribución de gravedad entre las poblaciones de usuarios? Y cuando esos fallos ocurren en la implementación, ¿qué parte asume la responsabilidad, mediante qué mecanismo, en qué plazo, y con qué remedio disponible para la persona afectada?
Estas preguntas hacen más que elevar el umbral evidencial. Reubican la rendición de cuentas. Un expediente de adquisición que las responde establece qué sabía la institución, cuándo lo supo y qué aceptó. Un expediente de adquisición que no las responde establece únicamente que la institución completó un proceso. Bajo las expectativas emergentes de gobernanza, incluidos los marcos basados en riesgo que exigen a las organizaciones caracterizar el contexto de uso y documentar el riesgo residual, el segundo expediente resulta cada vez más difícil de defender.
La competencia en juego es la capacidad institucional de distinguir la confianza de la evidencia. Esa capacidad no reside en listas de verificación. Reside en instrumentos de evaluación, en la capacidad de especificar condiciones de prueba representativas y en la disposición a tratar la afirmación de un proveedor como una hipótesis y no como un hallazgo.
Postura política de NCG
Novara Consulting Group sostiene que la adquisición de IA para accesibilidad debe regirse por la garantía evidencial, y que las siguientes posturas se derivan de ese principio.
La documentación generada por el proveedor debe tratarse como una afirmación que requiere verificación, nunca como verificación en sí misma. Su función en el registro de adquisiciones es establecer lo que el proveedor afirmó, lo cual es una cuestión de responsabilidad y no una cuestión de prueba
La evaluación independiente debe realizarse bajo condiciones representativas del contexto real de implementación, incluidas las poblaciones de usuarios, los registros lingüísticos, el tema tratado y las condiciones ambientales que el sistema encontrará en servicio. La evaluación realizada bajo cualquier otra condición responde a una pregunta que la institución no formuló.
Las condiciones de fallo deben divulgarse afirmativamente y abordarse contractualmente antes de la adjudicación. Un sistema cuyos modos de fallo no están documentados no ha sido evaluado, sin importar cuánta documentación lo acompañe.
Las partes interesadas sordas y con dificultades auditivas deben participar en los criterios de aceptación y en el diseño de la evaluación, no únicamente en la retroalimentación posterior a la implementación. La participación después de que se ha formado la confianza institucional es consulta solo de nombre.
La responsabilidad por el fallo debe asignarse explícitamente en el momento de la adquisición, con un remedio definido y una vía de escalamiento disponible para la persona afectada, y no solo para la institución contratante.
Consideraciones de implementación
Las instituciones que adopten una postura evidencial deben anticipar tres fricciones prácticas. La primera es el cronograma. La evaluación independiente extiende los ciclos de adquisición, y esa extensión debe defenderse ante la dirección de antemano en lugar de ser absorbida silenciosamente por la oficina de adquisiciones. La defensa más duradera es comparativa: el costo de la evaluación previa a la implementación frente al costo de la remediación, la terminación del contrato o el litigio derivado de fallos descubiertos en servicio.
La segunda es la capacidad. La mayoría de las instituciones actualmente no poseen la experiencia interna para diseñar condiciones de evaluación representativas para la IA de lenguaje de señas, y la ausencia de esa experiencia con frecuencia se interpreta erróneamente como una razón para depender de la documentación del proveedor. Es más preciso interpretarla como una especificación para una capacidad de evaluación externa.
La tercera es la respuesta del mercado. Los proveedores acostumbrados a la adquisición basada en artefactos pueden resistirse a los requisitos de evaluación, y algunos se negarán a participar. Las instituciones deben reconocer que la falta de disposición de un proveedor a ser evaluado bajo condiciones representativas de la implementación es en sí misma evidencia, y se encuentra entre las señales más informativas disponibles durante la adquisición.
La implementación no necesita ser total para ser significativa. Las instituciones pueden comenzar añadiendo preguntas evidenciales a los instrumentos de solicitud existentes, exigiendo la divulgación de condiciones de fallo como criterio de capacidad de respuesta, o condicionando la adjudicación a una evaluación independiente exitosa. Cada paso mueve el registro institucional de la confianza hacia la evidencia.
Posición de cierre
El futuro de la gobernanza de la IA no lo determinará qué organización recopile la mayor cantidad de documentos de cumplimiento. Lo determinará qué organizaciones construyan sistemas de adquisición capaces de distinguir la confianza de la evidencia.
Referencias
- Salamon, L. M. (Ed.). (2002). The Tools of Government: A Guide to the New Governance. Oxford University Press.
- Stone, D. (2012). Policy Paradox: The Art of Political Decision Making (3.ª ed.). W. W. Norton.
- National Institute of Standards and Technology. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1.
- International Organization for Standardization. (2023). ISO/IEC 42001:2023, Information technology – Artificial intelligence – Management system.
- Information Technology Industry Council. Voluntary Product Accessibility Template (VPAT). Instrumento de informe de conformidad de accesibilidad referenciado bajo la Sección 508 de la Rehabilitation Act.
- Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial.
- Novara Consulting Group. The Fifth Parameter, número 002, «The Procurement Trap».
- Novara Consulting Group. The Fifth Parameter, número 011 / Política n.º 2, «The Accountability Gap».
Nota del autor
Heather M. Grizzle-Odland es la Fundadora y CEO de Novara Consulting Group LLC, donde se enfoca en la gobernanza de accesibilidad de IA, la adquisición de IA para lengua de señas, la responsabilidad institucional y la supervisión tecnológica del sector público. Es la creadora del Sign Language Access Trust Framework™ y autora de The Fifth Parameter, una publicación que examina las cuestiones de gobernanza que las instituciones a menudo pasan por alto al evaluar tecnologías emergentes.
Su trabajo se centra en la evidencia, la rendición de cuentas, la gobernanza liderada por personas Deaf y la brecha entre la conformidad técnica y la accesibilidad en el mundo real.