Un responsable de contrataciones que evalúa un sistema de avatar de interpretación en lengua de signos cuenta con instrumentos para casi todo, excepto para lo único que importa. Existen preguntas establecidas sobre el cifrado en reposo y en tránsito, sobre la residencia de los datos, sobre la divulgación de subprocesadores, sobre las garantías de disponibilidad, sobre la indemnización, sobre los minerales de conflicto. Existe una Plantilla Voluntaria de Accesibilidad de Producto, y el proveedor la entregará. Existe una lista de verificación de la Sección 508, y el proveedor la cumplirá. Al final de este proceso, el expediente está completo, la rúbrica de puntuación está rellenada, la adjudicación es defendible ante una auditoría, y en ningún momento nadie ha preguntado si una persona Deaf que observa el resultado del sistema entiende lo que este está diciendo.
Esto no es un descuido de los compradores individuales, que en general son concienzudos y trabajan dentro de las herramientas que se les han dado. Es una propiedad de las herramientas. La documentación de cumplimiento de accesibilidad certifica la presencia de un canal alternativo. No certifica que ese canal transmita significado. Un VPAT puede registrar con exactitud que se proporciona contenido en lengua de signos junto con el contenido hablado, y ese registro será cierto, y no dirá absolutamente nada a la institución sobre si la interpretación en signos es inteligible para la población a la que se supone que sirve. El formulario tiene una línea para indicar si se ofreció la alternativa. No tiene ninguna línea para indicar si esta funcionó.
La consecuencia es una inversión silenciosa. Donde existe un instrumento, la ausencia de evidencia se registra como una deficiencia y se señala. Donde no existe ningún instrumento, la ausencia de evidencia no se registra en absoluto. La cuestión lingüística no se responde mal; simplemente no se plantea, y el hecho de no plantearla no deja rastro alguno en el expediente. El silencio se interpreta después, en las etapas posteriores, como satisfacción, porque una evaluación completada sin hallazgos adversos resulta idéntica a una evaluación completada en la que el hallazgo adverso no pudo registrarse.
Lo que muestran las evaluaciones
Novara Consulting Group ha realizado hasta la fecha evaluaciones estructuradas de siete proveedores de IA de lengua de signos bajo el Marco SLAT: Kara Technologies, SignAvatar, ChatSign, Silence Speaks, Sign-Speak, Signvrse y GoSign.AI. No se trata de productos equivalentes. Difieren en arquitectura, en madurez, en la seriedad de su compromiso con las comunidades Deaf y en su franqueza. Algunos están, de manera demostrable, mejor gobernados que otros. Varios emplean a personal Deaf, y unos pocos cuentan con propiedad Deaf o con Intérpretes Deaf Certificados situados en el ciclo de producción, lo cual constituye una distinción real y se puntúa como tal. Ninguno de ellos alcanzó el nivel de Alta Confianza.
La limitación decisiva fue la misma en todos los casos, y no fue ninguna de las cosas que un expediente de contratación habría detectado. En ningún caso hubo validación independiente del resultado en lengua de signos con usuarios Deaf: ninguna prueba de comprensión realizada por una parte sin interés comercial en el resultado, presentada con sus condiciones de fallo intactas, a lo largo de la variedad de dialecto, edad, registro y fluidez lingüística que cualquier despliegue público realmente encontrará. Los proveedores publican cifras de exactitud. Las cifras de exactitud son generadas por el proveedor, con los datos de referencia del proveedor, en los términos del proveedor, y miden la distancia entre un resultado y un objetivo, no la distancia entre un resultado y la comprensión. Ambas no son la misma magnitud, y ninguna cantidad de la primera sustituye a la segunda.
El formulario tiene una línea para indicar si se ofreció la alternativa. No tiene ninguna línea para indicar si funcionó.
Un patrón relacionado se repite a lo largo de los informes. La imagen de marketing supera de manera constante la madurez técnica declarada, y la divergencia resulta visible en la propia documentación de los proveedores si se lee contrastándola consigo misma. Las afirmaciones sobre la velocidad de despliegue aparecen sin las condiciones bajo las cuales se lograron. Sistemas que en realidad funcionan mediante dos vías distintas, una fuertemente mediada por humanos y otra sustancialmente automatizada, se describen públicamente con un lenguaje que difumina la distinción. Este es un comportamiento poco llamativo para una empresa que busca capital. Resulta descalificador como base probatoria para un contrato público, y la razón por la que sobrevive al contacto con la contratación pública es que nada en el proceso está diseñado para ponerlo a prueba.
La ausencia es estructural
Sería un error, y además improductivo, interpretar esto como una condena a los proveedores. Los proveedores producen la evidencia que los compradores exigen. La contratación pública pide SOC 2, así que existe SOC 2. La contratación pública pide resúmenes de pruebas de penetración, así que existen resúmenes de pruebas de penetración. La contratación pública nunca, en ningún instrumento que esta publicación haya podido localizar, ha pedido a un proveedor de IA de lengua de signos que demuestre que los usuarios Deaf comprenden su resultado en signos en condiciones similares al despliegue real. Por eso esa evidencia no existe. El mercado ha suministrado exactamente lo que se le pidió.
Esto sitúa la palanca en el lado del comprador de la transacción, que es el argumento que esta publicación ha venido sosteniendo desde su fundación y que merece afirmarse sin reservas. Una solicitud de propuestas (RFP) no es un documento administrativo. Es una especificación para una base de evidencia. Lo que la RFP exija, el sector lo construirá; lo que omita, el sector no lo construirá, no por mala fe, sino porque la evidencia no financiada no se produce. Cada requisito que una institución renuncia a redactar es un estudio que jamás se realizará. La contratación pública es el mecanismo por el cual la tolerancia de una institución a la incertidumbre se convierte en la agenda de investigación del sector.
Cómo se ve un requisito serio
El requisito no es complicado de enunciar, aunque resulta costoso de satisfacer, y ese costo es precisamente el punto. La comprensión del resultado en lengua de signos debería evaluarse con participantes Deaf que no hayan intervenido en la construcción del sistema, abarcando la variación regional, la edad y la gama de fluidez lingüística que el despliegue encontrará en la práctica, incluyendo a los usuarios que más necesitan que el sistema funcione y que están menos equipados para compensar sus fallos. La evaluación debería ser realizada por una parte sin interés económico en su resultado. Debería informar dónde falla el sistema, bajo qué condiciones, y con qué consecuencias para el usuario, porque los modos de fallo de un sistema resultan más informativos para un comprador que su rendimiento agregado, y son lo primero que se omite en la presentación de un proveedor.
Y las instituciones necesitan una categoría, en el formulario, en la puntuación, para la evidencia que aún no existe. "No cumplido" y "no evaluado" son hallazgos distintos. Fusionarlos perjudica a todos por igual: castiga a los proveedores que son honestos sobre su madurez y recompensa a los que no lo son, y deja a la institución compradora sin poder afirmar por escrito la frase más precisa de que dispone, que es que nadie lo ha comprobado.
La posición
Nada de esto constituye un argumento en contra de la IA de lengua de signos, y quien busque uno no lo encontrará aquí. La tecnología está en una etapa temprana, parte de ella es seria, y es probable que parte de ella llegue a ser adecuada para el despliegue público. La afirmación es más acotada y más difícil de eludir: en la actualidad no existe ningún instrumento de contratación de uso general capaz de distinguir un sistema que las personas Deaf comprenden de uno que no comprenden; a los proveedores no se les ha pedido que aporten esa evidencia y, en consecuencia, no la han aportado; y las instituciones están firmando contratos en los que la cuestión central de la transacción no aparece representada en ningún lugar del expediente.
No puede decirse que una tecnología que nunca se ha sometido al examen lo haya aprobado. Hasta que el formulario tenga una línea para ese hallazgo, este seguirá sin registrarse, y el expediente seguirá mostrando que todo estaba en orden.
The Fifth Parameter es una publicación crítica independiente sobre IA de lengua de señas, publicada por Novara Consulting Group.