O conselho que todos estão a dar está errado quanto ao mecanismo
O aconselhamento padrão dado a estudantes de pós-graduação sobre inteligência artificial é, grosso modo, o seguinte: usem-na como ferramenta e não como substituto, pensem por vocês mesmos, e compreendam que os docentes são perspicazes e acabarão por notar um trabalho que carece de profundidade. As duas primeiras proposições são válidas. A terceira é falsa, e essa falsidade importa, porque descreve um processo de julgamento humano que foi, em grande medida, substituído.
A maioria das instituições não deteta o uso de inteligência artificial através do discernimento de leitores experientes. Deteta-o, ou acredita que o deteta, através de classificadores automatizados integrados nas plataformas de submissão, que atribuem uma pontuação de probabilidade a um documento e a transmitem a um processo de integridade académica. A questão que se coloca a uma estudante de pós-graduação não é, portanto, se um professor irá notar um pensamento superficial. É se um classificador estatístico assinalará o seu texto, e o que lhe acontecerá se isso suceder.
A posição do Novara Consulting Group é a de que a deteção de IA no ensino superior é um sistema de decisão automatizado que produz decisões consequentes sobre indivíduos, que é implementado com menos validação do que as instituições exigem para quase qualquer outro instrumento que afete a situação académica de um estudante, e que a sua distribuição de erros recai mais pesadamente sobre escreventes multilingues e com deficiência. O problema de governação é institucional. As consequências são individuais.
O que o detetor mede
Um detetor de escrita por IA não identifica autoria. Estima o grau de inusitado estatístico de um texto, principalmente através da perplexidade, que mede quão previsível é cada palavra dado o texto precedente, e da explosividade (burstiness), que mede a variação na estrutura e no comprimento das frases ao longo de um documento. Um texto altamente previsível e estruturalmente uniforme recebe uma pontuação indicando maior probabilidade de ter sido gerado por máquina.
Esse é todo o mecanismo, e afirmá-lo com clareza torna o problema visível. O detetor não está a medir se uma pessoa escreveu algo. Está a medir se a escrita é invulgar, tratando a invulgaridade como prova de humanidade. Um texto cuidadoso, simples, estruturalmente consistente e lexicalmente conservador recebe uma pontuação de tipo máquina, porque é exatamente isso que serve de aproximação do modelo para o caráter maquínico.
Isto produz uma população específica e previsível de acusações falsas, e não se trata de uma população aleatória.
As taxas de erro, e quem as carrega
Uma investigação publicada na revista Patterns em julho de 2023 por Liang e colegas de Stanford verificou que os detetores assinalaram aproximadamente sessenta e um por cento dos ensaios do TOEFL escritos por falantes não nativos de inglês como gerados por IA, contra taxas de falsos positivos próximas de zero para escrita comparável de falantes nativos de inglês, nos sete detetores testados. Tratava-se de ensaios escritos por seres humanos que tinham realizado um exame padronizado para demonstrar proficiência em inglês. Os autores identificaram diretamente o mecanismo: os detetores baseavam-se na perplexidade do texto, e escrever numa segunda língua produz menor perplexidade.
Testes independentes têm repetidamente falhado em corroborar as alegações de precisão dos fornecedores. Weber-Wulff e colegas, num artigo publicado no International Journal for Educational Integrity em dezembro de 2023, avaliaram uma série de ferramentas de deteção em vários tipos de documentos e concluíram que não eram nem precisas nem fiáveis. Os fornecedores, por seu lado, geralmente recusam-se a publicar uma taxa de falsos positivos dos seus produtos, o que significa que uma instituição que adote uma destas ferramentas não consegue declarar a taxa de erro de um instrumento que está a usar em processos disciplinares.
As instituições começaram a agir em relação a isto. A Universidade de Vanderbilt desativou a funcionalidade de deteção de IA do Turnitin em agosto de 2023, publicando a aritmética que tornou a decisão evidente: uma taxa de falsos positivos de um por cento aplicada a setenta e cinco mil trabalhos submetidos produz aproximadamente setecentas e cinquenta acusações injustas por ano. Outras instituições seguiram o exemplo, e a orientação institucional publicada desde então tem caminhado no sentido de tratar a pontuação de um detetor como um ponto de partida para investigação, e não como uma conclusão.
Há ainda um outro facto de mercado que deve constar de qualquer avaliação institucional. Vários fornecedores que comercializam ferramentas de deteção também comercializam produtos “humanizadores”, concebidos para iludir a deteção, incluindo a sua própria. Em qualquer outro contexto de garantia de qualidade, um fornecedor que vendesse simultaneamente o teste e os meios de o passar seria desqualificado de fornecer qualquer um dos dois.
Em qualquer outro contexto de garantia de qualidade, um fornecedor que vendesse simultaneamente o teste e os meios de o passar seria desqualificado de fornecer qualquer um dos dois.
A população atingida, e por que razão é a errada
A disparidade documentada diz respeito a escreventes de inglês não nativos, e a explicação é mecânica, não misteriosa. A deteção baseada na perplexidade penaliza vocabulário mais simples e construções gramaticais mais regulares. Uma pessoa que escreve numa segunda língua produz exatamente esse perfil, não porque o texto seja gerado por máquina, mas porque construir frases invulgares numa segunda língua é mais difícil do que construir frases corretas.
O mesmo mecanismo atinge uma população que tem recebido quase nenhuma atenção, e é precisamente essa a razão de ser desta empresa.
Uma pessoa Deaf cuja primeira língua é a American Sign Language está a escrever inglês como segunda língua, e o conservadorismo sintático daí resultante é exatamente o que o detetor classifica como típico de máquina. Uma estudante com dislexia que utiliza previsão de texto, assistência gramatical ou apoio estruturado à escrita — todos eles recursos comuns e frequentemente formalmente aprovados — produz um texto que foi regularizado pela ferramenta de assistência. Um estudante com deficiência motora que compõe por ditado de voz para texto produz um texto moldado pelo próprio modelo de linguagem do software de ditado. Um estudante que utiliza assistência de tradução produz um resultado que carrega a assinatura estatística do sistema de tradução.
Em cada caso, é a adaptação que gera o alerta. A estudante que utiliza o apoio aprovado pela sua instituição tem mais probabilidade de ser acusada do que a estudante que não precisou dele, e a acusação chega acompanhada de um número, sem qualquer explicação sobre o que esse número mede. É-lhe então exigido que prove que escreveu o seu próprio trabalho, uma exigência de prova negativa, feita precisamente à pessoa menos capaz de a satisfazer.
Uma instituição que aprovou uma adaptação de tecnologia assistiva e, ao mesmo tempo, utiliza um detetor que penaliza o seu resultado, construiu uma contradição no interior do seu próprio processo disciplinar. É pouco provável que se tenha apercebido disso, porque o gabinete de serviços para a deficiência e o gabinete de integridade académica normalmente não revêem os instrumentos um do outro. As instituições de ensino pós-secundário têm obrigações decorrentes do Americans with Disabilities Act e da Secção 504 do Rehabilitation Act de proporcionar adaptações académicas e de evitar práticas que excluam estudantes com deficiência. Uma prática de deteção que assinala sistematicamente os produtos de adaptações aprovadas colide desconfortavelmente com ambas.
O padrão probatório é inferior ao de qualquer situação comparável
Considere-se o que uma instituição exigiria antes de agir com base em qualquer outro instrumento automatizado que afete a situação académica de um estudante.
Um teste de admissão exigiria evidência de validade publicada, fiabilidade estabelecida, desempenho documentado entre grupos demográficos e uma pontuação de corte defensável. Uma ferramenta de vigilância eletrónica que desencadeasse um encaminhamento por questões de integridade exigiria, no mínimo, que a gravação pudesse ser revista. Uma determinação de deficiência exigiria documentação e um responsável de decisão identificado. Entender-se-ia, normalmente, que uma instituição que tomasse uma decisão consequente com base numa pontuação numérica não explicada, produzida por um instrumento cuja taxa de erro o fornecedor se recusa a divulgar, teria agido de forma arbitrária.
As pontuações de deteção de IA são tratadas de forma diferente, e a razão parece ser de género, e não de princípio. Chegam inseridas numa ferramenta antiplágio em que as instituições já confiam, parecem-se com o índice de similaridade ao lado do qual são apresentadas, e foram adotadas por via de procurement, e não através da governação académica. O índice de similaridade pelo menos aponta para um documento-fonte que a estudante pode examinar e contestar. A pontuação de IA não aponta para nada. Não há fonte, não há passagem, não há comparação, nem qualquer mecanismo através do qual a estudante possa examinar o fundamento da alegação.
A melhor prática institucional trata o resultado de um detetor como triagem, e não como prova: um estímulo para iniciar uma conversa em que a estudante explica o seu argumento, percorre o seu processo de elaboração e discute as suas fontes. Essa é a postura correta, e vale a pena notar o que ela implicitamente admite. Se o resultado do detetor for apenas uma razão para observar com mais atenção, e for essa observação que efetivamente determina o resultado, então o detetor é um mecanismo para decidir quais estudantes são investigados. Dada a distribuição de erros acima descrita, é um mecanismo para decidir que estudantes multilingues e com deficiência são investigados com mais frequência.
O que uma estudante de pós-graduação deveria realmente fazer
O conselho útil não é esforçar-se mais por soar humano, o que é simultaneamente degradante e inatingível. É manter o registo, pela mesma razão pela qual qualquer instituição confrontada com uma determinação automatizada não explicada deveria manter o registo: a acusação é infalsificável sem prova processual, e a prova processual tem de ser criada antes de ser necessária.
Elabore os textos num ambiente que preserve o histórico de versões, e não o desative. Um documento com um historial de revisões de dois meses é decisivo de uma forma que nenhum argumento sobre estilo de escrita jamais será. Guarde notas de investigação, fontes anotadas e esquemas, e mantenha-os datados. Quando for utilizada uma ferramenta de apoio assistivo ou linguístico, divulgue-o previamente, de acordo com a política declarada do curso, em vez de o fazer apenas depois de surgir um alerta, porque a divulgação prévia transforma uma defesa num registo. Quando uma adaptação envolver apoio à escrita, assegure-se de que o gabinete de serviços para a deficiência o documentou, e compreenda que essa documentação é agora também documentação de integridade. E esteja preparada para explicar o argumento oralmente, não porque a perceção de um professor seja a salvaguarda, mas porque é na conversa estruturada que estas questões são, de facto, resolvidas.
Nada disto diz respeito a engano. É o que qualquer pessoa deveria fazer perante um sistema que não pode ser inspecionado e que pode fazer sobre ela uma afirmação que lhe será pedido que refute.
O que uma instituição deveria estabelecer
Quatro perguntas às quais um gabinete de integridade académica deveria conseguir responder antes de o resultado de um detetor chegar a um estudante.
- Qual é a taxa de falsos positivos do instrumento, em que população, estabelecida por quem. Se o fornecedor se recusar a declará-la, essa é a conclusão, e deve ser registada como tal, em vez de ser tratada como ausência de informação.
- Qual é o desempenho desagregado entre as populações que a instituição serve, incluindo estudantes multilingues, estudantes internacionais e estudantes que utilizam tecnologia assistiva aprovada. Uma instituição que serve estas populações e não consegue responder não avaliou a ferramenta para o seu próprio contexto.
- Que peso probatório é atribuído ao resultado, declarado por escrito, e alguma conclusão desfavorável assenta nele. Se uma pontuação, por si só, puder dar início a um processo, a instituição adotou um instrumento não validado como fator desencadeador de medidas disciplinares.
- Quem revê a interação entre as adaptações aprovadas e os resultados de deteção. Se ninguém o faz, a instituição deve presumir que a interação é desfavorável, porque o mecanismo assim o garante.
Conclusão
O conselho de que os estudantes de pós-graduação devem pensar por si mesmos, defender as suas próprias ideias e desenvolver conhecimento especializado em vez de atalhos é correto, e seria correto em qualquer época. Também não responde ao risco que os estudantes realmente enfrentam, que não é o de serem considerados superficiais, mas o de serem assinalados por um classificador que mede o grau de inusitado estatístico e lhes ser pedido que provem uma negativa.
Esse risco está distribuído de forma desigual, e a sua distribuição é o oposto daquela que a política de integridade pretende produzir. Os estudantes com maior probabilidade de serem acusados injustamente são os que escrevem numa segunda língua, os que gesticulam numa primeira e os que utilizam as adaptações formalmente aprovadas pelas suas instituições. São investigados com mais frequência não porque sejam mais propensos a fraudar, mas porque uma aproximação para escrita de máquina acaba por ser uma aproximação para escrita sob constrangimento.
As instituições não escolheram este resultado. Adquiriram-no, numa decisão de procurement tomada sem evidência de validação, e continuarão a produzi-lo até que alguém faça as perguntas que deveriam ter sido feitas antes da implementação.
Referências
Liang, Weixin, Mert Yuksekgonul, Yining Mao, Eric Wu, e James Zou. “GPT Detectors Are Biased Against Non-Native English Writers.” Patterns 4, n.º 7 (julho de 2023).
Weber-Wulff, Debora, et al. “Testing of Detection Tools for AI-Generated Text.” International Journal for Educational Integrity 19 (dezembro de 2023).
Vanderbilt University Center for Teaching, declaração sobre a desativação da função de deteção de IA do Turnitin, agosto de 2023.
Americans with Disabilities Act de 1990 e Section 504 do Rehabilitation Act de 1973, conforme aplicados a instituições pós-secundárias e a ajustes académicos.