El expediente de contratación es el sistema de gobernanza

Por Heather Grizzle, Novara Consulting Group

Resumen ejecutivo

La gobernanza de la inteligencia artificial se expresa cada vez más a través de políticas, comités, principios, inventarios y clasificaciones de riesgo. Esas estructuras importan. Pero cuando una institución pública realmente adquiere y despliega un sistema de IA, la gobernanza eventualmente tiene que convertirse en algo mucho menos abstracto. Tiene que convertirse en un registro.

Alguien tiene que describir qué se le permite hacer al sistema. Alguien tiene que decidir qué evidencia es suficiente para respaldar las afirmaciones del proveedor. Alguien tiene que identificar a las personas que podrían resultar perjudicadas cuando el sistema falle. Alguien tiene que determinar qué fallos requieren intervención humana, qué cambios requieren una nueva evaluación y qué condiciones exigen suspender el sistema. Si estas decisiones no se documentan antes del despliegue, una política de gobernanza de IA no subsana esa omisión. El expediente de adquisición es el lugar donde los principios institucionales se convierten en compromisos operativos.

La gobernanza eventualmente debe llegar a la transacción

Una alternativa de respaldo solo es una salvaguarda si la persona que la necesita realmente puede usarla.

Heather Grizzle

Las organizaciones están construyendo estructuras de gobernanza de IA cada vez más sofisticadas. Establecen principios de IA responsable, crean comités de revisión, mantienen inventarios y clasifican los sistemas según su riesgo. Adoptan políticas que exigen equidad, transparencia, rendición de cuentas, privacidad, accesibilidad y supervisión humana. Luego comienza la adquisición. Un proveedor responde a una solicitud. Se programan demostraciones del producto. Se recopila documentación de accesibilidad. Se completan cuestionarios de seguridad. Se negocian términos legales. Los responsables de negocio describen las eficiencias que esperan. La tecnología supera las barreras establecidas por la institución y entra en servicio.

La existencia de esas barreras puede generar una considerable confianza institucional, pero la confianza no es lo mismo que una decisión defendible. La pregunta crítica de gobernanza no es simplemente si el sistema pasó por el proceso requerido. Es si el expediente resultante contiene la evidencia necesaria para justificar el despliegue específico que se aprobó.

Esa distinción se vuelve especialmente importante cuando la IA media el acceso para personas con discapacidad. Un sistema puede resumir información, comunicarse con pacientes, evaluar solicitantes, traducir idiomas, generar material didáctico, priorizar casos, asistir a empleados, autenticar usuarios, responder preguntas o, cada vez más, actuar en nombre de una institución. En cada caso, la accesibilidad no es simplemente una característica de la interfaz. Es parte de la arquitectura de decisión. Una persona con discapacidad puede experimentar un sistema de manera diferente a la población para la que fue principalmente diseñado, probado o validado, y un fallo de accesibilidad puede alterar la información que esa persona recibe, las opciones disponibles para ella, su capacidad de respuesta o la interpretación que la institución hace de su comportamiento. Por lo tanto, el registro de adquisición debe establecer algo más que si se consideró la accesibilidad. Debe establecer qué se consideró, qué se probó, qué permanece desconocido y qué decidió hacer la institución respecto a esa incertidumbre.

El expediente de adquisición como instrumento de rendición de cuentas

Los expedientes de adquisición suelen entenderse principalmente como registros administrativos. Para la IA, cada vez más deben entenderse como instrumentos de gobernanza. Un expediente de adquisición de IA maduro debería permitir que un revisor independiente reconstruya el razonamiento de la institución sin depender de la memoria institucional de las personas que participaron en la compra. Esto significa que el registro debe responder a varias preguntas:

1. ¿Para qué se compró exactamente el sistema?
2. ¿Qué se le prohibió explícitamente hacer?
3. ¿Qué poblaciones se esperaba que lo encontraran?
4. ¿Qué evidencia respaldó las afirmaciones en las que se basó la aprobación, y quién produjo esa evidencia?
5. ¿Qué limitaciones se conocían, y qué limitaciones permanecían desconocidas?
6. ¿Qué ocurría cuando el sistema era incierto o se equivocaba?
7. ¿Quién conservaba la autoridad para anularlo?
8. ¿Cómo podía una persona afectada impugnar su resultado?
9. ¿Qué haría que la institución reconsiderara el despliegue?
10. ¿Quién tenía la autoridad para detenerlo?

Estas no son preguntas para la investigación de un incidente después de un fallo. Son preguntas de adquisición.

1. Uso previsto y uso prohibido

El primer requisito es engañosamente simple: definir qué está comprando la institución. Los sistemas de IA se compran con frecuencia mediante descripciones amplias de capacidades. Un sistema puede describirse como asistente, traductor, herramienta de accesibilidad, sistema de apoyo a la decisión, chatbot, agente, herramienta de selección o plataforma de productividad. Esas etiquetas son especificaciones de gobernanza inadecuadas. El expediente de adquisición debe identificar la función institucional real.

Una herramienta de comunicación utilizada para ayudar a alguien a navegar por un sitio web presenta un riesgo diferente al de la misma tecnología utilizada durante la admisión médica. Un sistema de transcripción automatizado utilizado para generar actas de reuniones presenta un riesgo diferente al de uno utilizado para crear el registro oficial de un procedimiento disciplinario. Un sistema de reconocimiento de lengua de señas utilizado experimentalmente por un individuo no equivale a uno que una institución presenta como sustituto de otro medio de acceso a la comunicación. Por lo tanto, la misma tecnología puede pasar de una categoría de riesgo a otra sin ningún cambio en su modelo subyacente, porque el contexto de despliegue ha cambiado.

2. Análisis de la población afectada

La adquisición tradicional de tecnología pregunta quién usará el sistema. La gobernanza de la IA también debe preguntar quién se verá afectado por él, y esas poblaciones no son necesariamente las mismas. Un empleado puede operar un sistema de IA mientras un paciente, estudiante, solicitante, residente, cliente o beneficiario experimenta sus consecuencias. Las personas con discapacidad pueden ser especialmente difíciles de identificar mediante el análisis convencional de usuarios, porque la discapacidad frecuentemente cambia la vía a través del sistema en lugar de la categoría nominal de usuario.

Por lo tanto, el expediente de adquisición debe identificar las interacciones de accesibilidad previsibles. ¿El sistema procesa habla? ¿Genera o interpreta lenguaje? ¿Depende de la vista, el oído, la destreza, la cognición, el tiempo, características biométricas o un modo particular de comunicación? ¿Infiere intención o competencia a partir de un comportamiento que la discapacidad puede afectar? ¿Un resultado inaccesible altera la capacidad de una persona para participar en una decisión posterior? Estas preguntas convierten la accesibilidad de un artefacto de cumplimiento en una investigación de riesgo del sistema.

3. El registro de afirmaciones del proveedor

Toda afirmación consecuente del proveedor en la que se haya confiado durante la adquisición debe tener un estatus probatorio. No todas las afirmaciones requieren pruebas independientes, pero las instituciones deberían distinguir entre al menos tres categorías. Una capacidad se declara cuando el proveedor afirma que existe. Se demuestra cuando la evidencia muestra que se ha observado bajo condiciones específicas. Se establece para el despliegue cuando la evidencia respalda razonablemente confiar en ella en el contexto previsto por la institución. Esas categorías no son intercambiables.

Una demostración puede establecer que un sistema es capaz de producir un resultado. No establece necesariamente con qué fiabilidad produce ese resultado en distintas poblaciones, entornos o casos de uso relevantes. Del mismo modo, la documentación puede establecer lo que el proveedor declara sobre su sistema. No puede establecer de manera independiente que esa declaración sea correcta. El expediente de adquisición debe preservar esta distinción. De lo contrario, las afirmaciones se convierten gradualmente en hallazgos simplemente porque se han repetido en suficientes documentos.

Establecido para el despliegue

Un estatus de afirmación del proveedor que significa que la evidencia respalda razonablemente confiar en la capacidad en el contexto real y previsto de la institución, no simplemente que la capacidad se ha observado en condiciones de demostración.

4. Garantía independiente

La evidencia del proveedor tiene un papel legítimo en la adquisición. Los proveedores conocen sus sistemas mejor que los compradores y se debe esperar que divulguen pruebas, arquitectura, limitaciones, condiciones de fallo conocidas y evidencia de rendimiento relevante. Pero la relación comercial importa. La parte que busca el contrato no debería ser la única parte que determine si la evidencia es suficiente para otorgarlo.

La garantía independiente no significa recrear el programa de ingeniería del proveedor. Significa poner a prueba las afirmaciones que importan para la decisión de compra bajo condiciones capaces de refutarlas. Para la IA relacionada con la accesibilidad, esto puede requerir una evaluación que involucre a personas con la discapacidad relevante y, cuando esté implicado el acceso lingüístico, a miembros cualificados de la comunidad lingüística. El objetivo no es una participación ceremonial. Es autoridad probatoria. Las personas capaces de identificar un fallo consecuente deben contar con un mecanismo para hacer que ese fallo afecte la decisión de adquisición. De lo contrario, la participación existe sin gobernanza.

5. Arquitectura de fallos y respaldo

Toda adquisición de IA debe contener una respuesta por escrito a una sola pregunta: ¿qué ocurre cuando el sistema no funciona? “Supervisión humana” no es una respuesta adecuada. El registro debe identificar a la persona responsable, el disparador, la autoridad, el tiempo de respuesta y la vía alternativa disponible para la persona afectada.

Para los usuarios con discapacidad, el propio mecanismo de respaldo también debe ser accesible. Un sistema de comunicación con IA que falla y remite a una persona Deaf a hacer una llamada telefónica no ha producido un respaldo. Un proceso digital automatizado que se vuelve inaccesible y exige a un usuario ciego completar la misma interfaz inaccesible no ha transferido a esa persona a una supervisión humana en ningún sentido significativo.

Una alternativa de respaldo solo es una salvaguarda si la persona que la necesita realmente puede usarla.

Heather Grizzle

6. Límites de rendimiento e incógnitas conocidas

Los documentos de adquisición tienden a registrar lo que los productos pueden hacer. Los registros de gobernanza también deben indicar dónde termina la confianza. El rendimiento de la IA es condicional. Puede variar según el idioma, el dialecto, el acento, el estilo de señas, la iluminación, la posición de la cámara, la discapacidad, el dispositivo, el entorno, la terminología del ámbito, la duración de la interacción, las características demográficas o innumerables otras variables. Las instituciones deben exigir a los proveedores que divulguen los límites de rendimiento conocidos y deben documentar por separado las áreas que no se han evaluado.

Esa distinción importa. No evaluado no es el mismo hallazgo que fallido, pero tampoco es el mismo hallazgo que seguro. La incertidumbre no es un defecto de adquisición si se reconoce y se gestiona. La incertidumbre no documentada sí lo es.

7. Registro, trazabilidad y reconstrucción

Cuando una interacción mediada por IA produce un daño, la institución debe poder reconstruir lo ocurrido, y eso exige tomar decisiones sobre el registro antes del despliegue. ¿Qué versión del sistema estaba en funcionamiento? ¿Qué entradas se recibieron? ¿Qué salida se generó? ¿Se modificó la salida? ¿La revisó una persona? ¿Qué información vio esa persona revisora? ¿Qué medida se tomó después? ¿Puede la institución reproducir el evento sin conservar datos que nunca debieron conservarse en primer lugar?

La trazabilidad y la privacidad pueden generar requisitos legítimamente contrapuestos. Ese conflicto debe resolverse mediante el diseño del sistema y la gobernanza, y no descubrirse durante un litigio, una queja de accesibilidad o una investigación interna. El expediente de adquisición debe documentar la resolución.

8. Queja, impugnación y reparación

Una persona afectada por la IA necesita algo más que un mecanismo para reportar un problema técnico. Puede necesitar impugnar lo que la institución hizo a causa del sistema, y esa es una función distinta. Si un sistema de IA traduce mal una comunicación, caracteriza incorrectamente un comportamiento, produce información inaccesible, genera una inferencia falsa o contribuye a una medida institucional adversa, la persona afectada necesita una vía para impugnar la decisión resultante.

La institución debe saber antes del despliegue quién recibe la impugnación, quién la investiga, qué evidencia se conserva, si la salida de IA impugnada permanece vigente durante la revisión, qué recursos están disponibles y con qué rapidez debe responder la institución.

9. Cambio de modelo y revalidación

La adquisición de IA plantea un problema que los contratos de software tradicionales no fueron diseñados para manejar especialmente bien: el producto que se evaluó puede no seguir siendo el producto que se despliega. Los modelos se actualizan. Las salvaguardas cambian. Los datos de entrenamiento cambian. Las interfaces cambian. Las dependencias de terceros cambian. Los proveedores sustituyen los modelos subyacentes. El rendimiento puede mejorar en un ámbito y degradarse en otro sin que la institución compradora inicie ningún cambio por sí misma.

Por ello, el expediente de adquisición necesita una regla de control de cambios. La pregunta relevante no es si se permite al proveedor actualizar su producto. Es qué cambios invalidan la evidencia en la que se basó la institución. Los contratos deben identificar los cambios sustanciales que requieran notificación, reevaluación, nuevas pruebas de aceptación o aprobación antes de continuar su uso en contextos específicos. De lo contrario, una institución puede realizar una verificación rigurosa en el momento de la adquisición y, aun así, encontrarse seis meses después gobernando un sistema sustancialmente distinto con evidencia producida para el sistema anterior.

10. Autoridad de suspensión y salida

La gobernanza sin autoridad para detener es meramente consultiva. Alguien dentro de la institución debe tener la autoridad para restringir, suspender o poner fin a un despliegue de IA cuando la evidencia ya no respalde su uso, y las condiciones que activan esa autoridad no deberían tener que inventarse durante una crisis.

El registro de adquisición debe identificar tanto los disparadores como la autoridad decisoria.

También debe abordar la salida. ¿Quién posee o recibe los datos institucionales cuando finaliza la relación? ¿Qué registros deben conservarse? ¿Qué debe eliminarse? ¿Cómo restablece la institución la vía de servicio anterior? ¿Qué ocurre con las personas que han pasado a depender del proceso mediado por IA? La planificación de la salida no es simplemente gestión de proveedores. Es planificación de la continuidad del acceso.

De la política de IA a la evidencia institucional

El reto emergente para la gobernanza de la IA no es una escasez de principios. Es la traducción. La equidad tiene que convertirse en un criterio de evaluación. La transparencia tiene que convertirse en un requisito de divulgación. La supervisión humana tiene que convertirse en una autoridad asignada. La accesibilidad tiene que convertirse en una condición de despliegue. La rendición de cuentas tiene que convertirse en una oficina designada y un recurso documentado. El monitoreo tiene que convertirse en un disparador para la acción. Y la IA responsable, finalmente, tiene que convertirse en algo que un funcionario de adquisiciones pueda incluir en un expediente.

Esto es particularmente importante en las instituciones públicas porque la adquisición es el punto donde los compromisos institucionales abstractos se encuentran con el dinero, los contratos, los proveedores, las obligaciones legales y las personas que no pueden simplemente elegir otro gobierno, escuela, hospital, tribunal o servicio público cuando la tecnología no funciona para ellas. Por lo tanto, el expediente de adquisición cumple una función mucho más amplia que el simple registro. Establece la teoría del riesgo aceptable de la institución.

Postura política de NCG

Novara Consulting Group sostiene que los sistemas de IA que afectan a personas con discapacidad no deben aprobarse únicamente porque hayan satisfecho el proceso general de gobernanza de IA de una organización. El registro de adquisición debe contener evidencia suficiente para reconstruir y defender la decisión específica de despliegue.

El estándar no es un conocimiento perfecto. Ningún proceso de contratación puede eliminar la incertidumbre. El estándar es la incertidumbre gobernada: saber qué se ha establecido, qué no, qué evidencia justificó seguir adelante de todos modos, y quién asume la responsabilidad de la decisión.

Posición de cierre

Tras un fallo de IA, las instituciones a menudo preguntan si el proveedor debería haberles advertido. A veces la respuesta será sí. Pero la rendición de cuentas pública exige otra pregunta: ¿qué evidencia exigió la institución antes de aceptar seguir adelante? Esa pregunta no puede externalizarse. El proveedor puede aportar evidencia. Un evaluador puede analizarla. Un comité puede asesorar. Las partes interesadas con discapacidad pueden identificar fallos que otros no pueden ver. Los abogados pueden negociar la asignación del riesgo contractual. La institución sigue siendo quien toma la decisión, y su expediente de contratación debe demostrar que sabía qué decisión estaba tomando.

Un sistema de IA no está gobernado porque una organización tenga una política de IA. Está gobernado cuando la institución puede demostrar por qué se permitió que este sistema, para este propósito, que afecta a estas personas, bajo estas condiciones, operara.

Heather Grizzle

El expediente de contratación es donde comienza esa rendición de cuentas.