Resumo Executivo
As instituições que adquirem sistemas de inteligência artificial para acesso à comunicação estão cada vez mais confiantes de que geriram o risco, e essa confiança é cada vez mais infundada. A confiança assenta em artefactos: listas de verificação concluídas, documentação de fornecedores, demonstrações previamente ensaiadas, linguagem contratual de garantia negociada, declarações de acessibilidade arquivadas. Cada artefacto é genuíno. Nenhum deles, individualmente ou em conjunto, foi concebido para responder à pergunta que a instituição realmente precisa de ver respondida, que é se o sistema terá um desempenho seguro, fiável e adequado no contexto de implementação para o qual está a ser adquirido.
Esta edição designa essa condição como teatro de aquisição e argumenta que é estrutural, não maliciosa. Os profissionais de aquisição são recompensados pela integridade processual. Os fornecedores são recompensados pela demonstração persuasiva. Ambas as partes podem cumprir integralmente as suas obrigações enquanto a questão central de desempenho permanece por examinar. A solução não é mais documentação. É uma mudança na norma orientadora, da garantia processual, que pergunta se os passos exigidos foram cumpridos, para a garantia evidencial, que pergunta se as evidências recolhidas foram capazes de descobrir a verdade.
A posição da Novara Consulting Group é que esta distinção se tornará a competência definidora da governação de IA no setor público, e que as instituições devem começar a construir já a capacidade evidencial para a aplicar, antes da implementação e não depois do fracasso.
O Problema Político
A governação não se mede pela atividade. Mede-se pela capacidade das atividades realizadas para descobrir a verdade. A maioria da atual aquisição de IA de acessibilidade falha neste teste não porque o processo seja descuidado, mas porque o processo foi concebido para uma classe de produto diferente.
Os instrumentos tradicionais de aquisição pressupõem que as capacidades de um produto são estáveis, observáveis e largamente divulgadas pelo fabricante. Nesse pressuposto, recolher artefactos é um indicador razoável para verificar o desempenho. Os sistemas de inteligência artificial que medeiam o acesso linguístico violam todas as partes desse pressuposto. O desempenho varia consoante o signatário, o registo, a variação regional, a iluminação, a geometria da câmara, a latência, o tema e a presença ou ausência das características gramaticais não-manuais de onde esta publicação retira o seu nome. Um sistema que tenha um desempenho adequado numa demonstração controlada pode degradar-se substancialmente numa admissão clínica, numa audiência disciplinar ou numa comunicação de emergência. Nada num pacote de artefactos padrão é construído para revelar essa degradação.
Três confusões sustentam o problema. A documentação é tratada como validação, embora a documentação registe o que um fornecedor afirma e não o que um sistema faz. A certificação é tratada como desempenho, embora a certificação normalmente ateste a conformidade de processo e não a qualidade do resultado. A conformidade é tratada como eficácia, embora a conformidade meça o alinhamento com uma norma técnica e não se um utilizador surdo ou com deficiência auditiva alcançou acesso comunicativo funcional. Um processo de aquisição que não consegue distinguir estes três conceitos gera risco institucional em proporção direta ao número de formulários que preenche, porque cada formulário preenchido aumenta a confiança sem aumentar o conhecimento.
Análise Institucional
A estrutura de incentivos explica a persistência do padrão de forma mais convincente do que qualquer relato de má-fé. Os gabinetes de aquisição operam sob regimes de auditoria que examinam se os passos exigidos ocorreram, não se os passos foram epistemicamente adequados. Um processo que contenha um relatório de conformidade de acessibilidade do fornecedor, um registo de demonstração e linguagem contratual negociada sobrevive à auditoria. Um processo que documente que a instituição testou de forma independente o sistema junto de utilizadores surdos representativos em condições representativas, e o considerou insuficiente, cria risco de calendário e exposição política. O sistema recompensa o primeiro processo.
Os fornecedores enfrentam um incentivo simétrico. Os mercados de IA de acessibilidade recompensam a qualidade da demonstração, a coerência narrativa e a rapidez na contratação. Raramente se pede aos fornecedores que divulguem condições de falha, e divulgá-las unilateralmente impõe um custo competitivo. As evidências públicas ainda não sustentam a afirmação de que os atuais sistemas comerciais de IA de língua gestual foram avaliados contra condições de teste construídas de forma independente e representativas da implementação, com resultados publicados. Na ausência de tais evidências, as alegações de marketing e a documentação autogerada tornam-se, por defeito, o registo institucional.
A população afetada absorve o risco residual. Os utilizadores surdos e com deficiência auditiva tipicamente não são partes no processo de aquisição, raramente estão representados nos testes de aceitação, e encontram o sistema apenas depois de a confiança institucional ter sido estabelecida e o contrato executado. Nesse momento, o ónus da prova inverteu-se. Exige-se ao utilizador que demonstre que o sistema falhou, contra um registo institucional que afirma que foi realizada a devida diligência e que o sistema foi considerado conforme. Esta inversão é o dano operativo do teatro de aquisição, e é produzida inteiramente por agentes legítimos que seguem procedimentos legítimos.
A decisão de não olhar é, em si mesma, uma decisão de governação.
Compreendido à luz da tradição dos instrumentos de governo, o processo de aquisição não é uma formalidade administrativa, mas sim um instrumento de ação pública, e a escolha do instrumento determina quem é habilitado a falar, o que conta como prova e onde a responsabilização vem a assentar. Lido em conjunto com a literatura sobre histórias causais, o relato prevalecente do fracasso da IA de acessibilidade é uma história de acidente, na qual uma tecnologia imprevisível ocasionalmente tem um desempenho inferior e nenhum agente assume a responsabilidade. O enquadramento evidencial aqui proposto sustenta um relato diferente, no mínimo de inadvertência: as falhas são previsíveis, as condições em que ocorrem são descobríveis antecipadamente, e a decisão de não procurar é, em si mesma, uma decisão de governação.
Implicações para a Governação
Passar da garantia processual para a garantia evidencial exige que as instituições coloquem um conjunto diferente de perguntas, e que tratem as respostas como critérios de aceitação e não como informação de fundo. Que evidência sustenta a afirmação que está a ser feita, e essa evidência é evidência de desempenho ou evidência de processo? Quem gerou a evidência, sob que relação comercial com o resultado, e com que transparência metodológica? O resultado pode ser reproduzido de forma independente por uma parte sem interesse no sucesso da aquisição? Em que condições específicas falha o sistema, a que taxa, e com que distribuição de gravidade entre as populações de utilizadores? E quando essas falhas ocorrem em implementação, que parte assume a responsabilidade, através de que mecanismo, em que calendário, e com que reparação disponível para o indivíduo afetado?
Estas perguntas fazem mais do que elevar o patamar evidencial. Relocalizam a responsabilização. Um processo de aquisição que lhes responde estabelece o que a instituição sabia, quando o soube, e o que aceitou. Um processo de aquisição que não lhes responde estabelece apenas que a instituição concluiu um processo. Sob as expectativas emergentes de governação, incluindo enquadramentos baseados em risco que exigem que as organizações caracterizem o contexto de utilização e documentem o risco residual, o segundo processo está a tornar-se cada vez mais difícil de defender.
A competência em causa é a capacidade institucional para distinguir confiança de evidência. Essa capacidade não reside em listas de verificação. Reside em instrumentos de avaliação, na capacidade de especificar condições de teste representativas, e na disposição para tratar a afirmação de um fornecedor como uma hipótese e não como uma conclusão.
Posição Política da NCG
A Novara Consulting Group sustenta que a aquisição de IA de acessibilidade deve ser regida pela garantia evidencial, e que as posições seguintes decorrem desse princípio.
A documentação gerada pelo fornecedor deve ser tratada como uma alegação que exige verificação, nunca como a própria verificação. A sua função no registo de aquisições é estabelecer aquilo que o fornecedor afirmou, o que é uma questão de responsabilização e não uma questão de prova
A avaliação independente deve ser realizada em condições representativas do contexto real de implementação, incluindo as populações de utilizadores, os registos linguísticos, o tema e as condições ambientais que o sistema encontrará em serviço. Uma avaliação realizada em quaisquer outras condições responde a uma pergunta que a instituição não colocou.
As condições de falha devem ser divulgadas de forma afirmativa e tratadas contratualmente antes da adjudicação. Um sistema cujos modos de falha não estão documentados não foi avaliado, independentemente da quantidade de documentação que o acompanhe.
As partes interessadas surdas e com deficiência auditiva devem participar na definição dos critérios de aceitação e na conceção da avaliação, e não apenas na recolha de reações após a implementação. A participação depois de a confiança institucional já estar formada é consulta apenas no nome.
A responsabilidade pela falha deve ser atribuída explicitamente no momento da aquisição, com reparação e escalonamento definidos disponíveis para o indivíduo afetado, e não apenas para a instituição contratante.
Considerações de Implementação
As instituições que adotam uma postura evidencial devem antecipar três atritos práticos. O primeiro é o calendário. A avaliação independente alarga os ciclos de aquisição, e esse alargamento deve ser defendido perante a liderança antecipadamente, e não absorvido silenciosamente pelo gabinete de aquisição. A defesa mais sólida é comparativa: o custo da avaliação prévia à implementação face ao custo de reparação, rescisão contratual ou litígio decorrente de falhas descobertas em serviço.
O segundo é a capacidade. A maioria das instituições não possui atualmente a perícia interna para conceber condições de avaliação representativas para IA de língua gestual, e a ausência dessa perícia é frequentemente interpretada como motivo para confiar na documentação do fornecedor. É mais corretamente interpretada como uma especificação para capacidade de avaliação externa.
O terceiro é a resposta do mercado. Os fornecedores habituados à aquisição baseada em artefactos podem resistir a requisitos de avaliação, e alguns recusar-se-ão a participar. As instituições devem reconhecer que a recusa de um fornecedor em ser avaliado em condições representativas da implementação é, em si mesma, uma evidência, e está entre os sinais mais informativos disponíveis durante a aquisição.
A implementação não precisa de ser total para ser significativa. As instituições podem começar por adicionar perguntas evidenciais aos instrumentos de concurso existentes, exigindo a divulgação de condições de falha como critério de responsividade, ou condicionando a adjudicação a uma avaliação independente bem-sucedida. Cada passo aproxima o registo institucional da confiança à evidência.
Posição Final
O futuro da governação de IA não será determinado pela organização que reunir o maior número de documentos de conformidade. Será determinado pelas organizações que construírem sistemas de aquisição capazes de distinguir confiança de evidência.
Referências
- Salamon, L. M. (Ed.). (2002). The Tools of Government: A Guide to the New Governance. Oxford University Press.
- Stone, D. (2012). Policy Paradox: The Art of Political Decision Making (3.ª ed.). W. W. Norton.
- National Institute of Standards and Technology. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1.
- International Organization for Standardization. (2023). ISO/IEC 42001:2023, Information technology – Artificial intelligence – Management system.
- Information Technology Industry Council. Voluntary Product Accessibility Template (VPAT). Instrumento de relato de conformidade de acessibilidade referenciado ao abrigo da Secção 508 do Rehabilitation Act.
- Regulamento (UE) 2024/1689 do Parlamento Europeu e do Conselho que estabelece regras harmonizadas em matéria de inteligência artificial.
- Novara Consulting Group. The Fifth Parameter, Edição 002, “The Procurement Trap.”
- Novara Consulting Group. The Fifth Parameter, Edição 011 / Política n.º 2, “The Accountability Gap.”
Nota do Autor
Heather M. Grizzle-Odland é a Fundadora e CEO da Novara Consulting Group LLC, onde se dedica à governação de acessibilidade em IA, à aquisição de IA para língua gestual, à responsabilização institucional e à supervisão tecnológica no setor público. É a criadora do Sign Language Access Trust Framework™ e autora de The Fifth Parameter, uma publicação que examina as questões de governação que as instituições frequentemente negligenciam ao avaliar tecnologias emergentes.
O seu trabalho centra-se na evidência, na responsabilização, na governação liderada por Deaf, e na lacuna entre a conformidade técnica e a acessibilidade no mundo real.