*Erro de tradução confiante em sistemas de língua gestual para texto, e os benchmarks que não o conseguem ver*
On 9 September 2026 the Chinese technology outlet Quantum Bit reported a method from vivo AI Lab called CAPO-SLT, from a paper titled “CAPO-SLT: Confidence-Aware Policy Optimization for Stable Sign Language Translation Generation”, posted on OpenReview, where papers sit while under peer review. The problem it names is the one that should worry anyone buying this technology. A translation system can produce a sentence that is fluent, grammatical and entirely plausible while having no support in what the signer actually did, and because the sentence reads well, nothing about it announces the error. As the reporting puts it, a single word that is locally plausible but lacking visual support can pull an entire translation off course, with the error accumulating across the sentence. The method adjusts the bounds within which reinforcement learning is allowed to update the model, token by token, according to how confident the previous policy was: tighter bounds where confidence is high, near 0.2, and looser ones where it is low, up to 0.3, with additional caps on tokens carrying negative advantage. The aim is to stop the model from locking in confident guesses and to leave room for uncertain ones to be pulled back toward the visual evidence.
Os resultados relatados são mais restritos do que a apresentação do título sugere, e essa diferença é importante. No benchmark chinês CSL-Daily, os ganhos reportados são medidos em relação a dois sistemas nomeados que também trabalham a partir de entrada de pose: aproximadamente 1,26 BLEU-4 sobre o Geo-Sign e 3,07 BLEU-4 sobre o Uni-Sign, sendo a afirmação a de obter as melhores pontuações entre os sistemas baseados apenas em pose, e não as melhores do campo em geral. No benchmark de Língua Gestual Americana How2Sign, os valores relatados são 41,4 BLEU-1, 15,2 BLEU-4 e 34,9 ROUGE-L, ganhos de cerca de um ponto ou menos em relação ao Uni-Sign. O próprio artigo não pôde ser lido para esta análise, porque o repositório que o aloja exige um passo de verificação no navegador, pelo que se segue um exame do problema que o trabalho identifica, do sentido de tradução em que opera e do tipo de evidência que está a ser oferecida, em vez de uma avaliação do sistema. Vale a pena examinar estes aspetos por si só, porque o problema é real, o sentido é aquele que as instituições tratam com menos cuidado, e o tipo de evidência não consegue demonstrar aquilo que se lhe pede que demonstre.
Em que sentido corre a tradução
Most public argument about signed language AI concerns output to Deaf people: an avatar on a departure board, a signing video on a website, a robot in a classroom. Sign-to-text runs the other way. The input is a Deaf person signing and the output is text that everyone else reads, and that changes what a mistake is. When an avatar signs badly, a Deaf person receives a poor translation and can usually tell that something is wrong. When a sign-to-text system fabricates a fluent sentence, the Deaf person’s words have been replaced by words they did not say, and those words go to a clinician, a caseworker, an investigator or a court reporter, who has no way of knowing anything happened.
A assimetria é o problema de governação. A única pessoa na sala capaz de detetar o erro é aquela cujo significado foi substituído, e essa pessoa é muitas vezes aquela que nunca vê o resultado. O texto produzido desta forma não se evapora: é digitado numa nota de admissão, numa declaração, numa avaliação de desempenho, num processo. Uma vez ali, carrega a autoridade do registo em vez do estatuto de uma tradução automática, e a pessoa Deaf tem de contestar um documento que pretende citá-la. Um erro fluente neste sentido não é uma falha de acomodação de acessibilidade. É uma atribuição, e as instituições quase não têm mecanismos para a retratar.
A métrica não consegue ver a falha
Every number reported for this method, and for essentially every system like it, is BLEU or ROUGE. Both work by comparing the machine’s output with a reference translation and measuring overlap of word sequences. They were built for spoken-language machine translation and they measure resemblance to a reference, which is not the same as fidelity to what the signer expressed. A fabricated sentence that happens to share common phrasing with the reference scores well. A correct translation phrased differently scores badly. The failure mode the method is designed to fix, fluent output unsupported by the visual evidence, is precisely the failure these metrics are least able to detect, because fluency is what they reward.
This is not a complaint from outside the field. A paper from the Centre for Vision, Speech and Signal Processing at the University of Surrey, posted this month, evaluates six translation systems and concludes that “gains in BLEU-4 are not on their own evidence of better sign language understanding,” noting that the low-resource multimodal setting “allows models to exploit spurious correlations and spoken-language priors, rather than learning stronger sign representations.” Their alternative protocol, which tests whether the content of the passage survived, reorders the field and reveals a gap between systems that BLEU-4 could not see at all. Read alongside that finding, a reported improvement in BLEU-4 is evidence that output resembles references more closely. It is not yet evidence that the system understood the signing, and it is certainly not evidence that confident fabrication has been reduced.
A dimensão do ganho relatado também importa aqui. Melhorias de aproximadamente um a três pontos de BLEU-4 sobre referências nomeadas são progresso incremental normal, e estão a ser apresentadas como prova de que um sistema fabrica menos. Lida à luz da constatação de Surrey, essa é a parte mais fraca do argumento: um ganho de poucos pontos numa métrica que o próprio campo diz não acompanhar a compreensão da língua gestual não pode estabelecer que a fabricação confiante foi reduzida. A afirmação pode ainda assim ser verdadeira. Demonstrá-la exigiria um instrumento diferente, e o artigo, que está em revisão em vez de publicado, é onde essa demonstração teria de ser encontrada.
A confiança é um sinal de treino, não uma divulgação
The most interesting thing about the approach, taken at face value, is that it treats the model’s own uncertainty as information worth acting on. That is the right instinct and it points at the thing procurement should be asking for, though not quite in the form the method provides. A confidence value used inside training changes how the model learns. It does not reach the person reading the output, and it does not change what the output looks like when the model is uncertain. The system still produces a fluent sentence, because producing fluent sentences is what it does. Nothing in the text says that three of its words were guesses.
Two things would change that, and neither is exotic. The first is abstention: the system should be able to decline. A sign-to-text system that can say “this passage was not clearly captured” and mark the gap is considerably safer than one that always returns a complete sentence, because a visible gap invites a human to fill it and a fluent invention does not. The second is exposure: confidence, where the system has it, should be visible at the point of use, and low-confidence spans should be marked in the text that reaches the reader. A vendor stating 95 percent accuracy is describing an average, and an average tells a buyer nothing about the character of the remaining five percent. Five percent noise is an inconvenience. Five percent confident fabrication, distributed unpredictably through a medical history or a witness statement, is a different product altogether, and the one figure most vendors publish cannot distinguish between them.
O que a entrada de pose transmite e o que não transmite
The reported system works from pose data, meaning tracked body keypoints rather than raw video. There is a real privacy advantage in that, since keypoints are less identifying than footage of a signer’s face, and it matters in a field where the data is a person’s body. But it also raises a question that cannot be answered without the paper: which keypoints. Signed languages carry grammar on the face. A headshake can negate the sentence it accompanies, eyebrow position can mark the difference between a statement and a question, and mouth patterns disambiguate signs that the hands render identically. If a keypoint set samples the face sparsely, a system may be structurally unable to see the features that reverse a meaning, and the failure this produces is the fluent kind: a clean declarative sentence where the signer negated, or a statement where the signer asked. In a clinical or legal setting, the difference between a sentence and its negation is the whole of the content.
Os benchmarks não são implementações
O CSL-Daily é um corpus de Língua Gestual Chinesa gravado em laboratório sobre temas do quotidiano. O How2Sign é um vasto conjunto de vídeos instrucionais em Língua Gestual Americana. Ambos são recursos de investigação sérios e nenhum se assemelha às condições em que uma instituição usaria efetivamente a tradução de língua gestual para texto: uma pessoa com dores, a gesticular a partir de uma cama de hospital num ângulo para o qual a câmara não foi concebida, numa variedade regional, com uma mão imobilizada por uma cânula, interrompida, angustiada, ou a alternar entre registos. O valor relatado para o How2Sign, 15,2 BLEU-4, vale a pena reter por essa razão. No mais aberto dos dois benchmarks, em domínio, sob condições favoráveis, o estado deste campo produz uma saída cuja sobreposição com uma tradução de referência humana permanece modesta. Esse é um resultado de investigação, e razoável. Não é uma base sobre a qual se deva confiar para registar o que um paciente Deaf disse.
O que um comprador deveria exigir
Six requirements follow, and they are specific to this direction of translation. The first is abstention with a visible gap, so that uncertainty appears as a gap rather than as prose. The second is confidence marking in the delivered text, available to the reader and not only to the model. The third is back-translation to the signer before anything is recorded, so that the Deaf person sees, in their own language, what the system is about to say in their name, and can stop it. The fourth is provenance in the record: text derived from machine translation should be labelled as such wherever it is stored, with the source retained, so that a later dispute is about a machine’s output rather than about the person’s credibility.
The fifth is a correction route that reaches the record itself rather than the vendor’s support desk, because an uncorrected sentence in a case file outlives any ticket. The sixth is evidence appropriate to the claim: semantic fidelity measured by protocols that test whether content survived, adversarial testing on negation, questions and role shift, disaggregation by signing variety and capture conditions, and comprehension checked with Deaf signers rather than inferred from reference overlap. NCG’s position is that the evidence required rises with the stakes of the setting, and that a system whose errors enter an official record attributed to a person sits at the top of that scale, not in the middle of it.
Como a afirmação chegou ao inglês
There is a second story here, and it belongs in a piece about evidence. The Quantum Bit report is properly sourced: it names the method, describes what it does, reports gains against named baselines and links the paper. By the time this reached English-speaking readers, it had passed through a site whose byline is an “AI editorial department”, which describes itself as a portal for generative engine optimisation, meaning content written to be retrieved and repeated by AI search tools, and which scores its own articles for quality. That version dropped the link to the paper and converted gains measured against particular baselines into flat absolute scores. Nothing about it is fraudulent. It is simply a summary of a summary, optimised to be picked up by machines, and the thing it quietly removed was the route back to the evidence.
Vale a pena assinalar isto porque é assim que a maioria dos responsáveis por aquisições irá agora encontrar afirmações sobre esta tecnologia. A afirmação de um fornecedor entra na literatura como um artigo submetido, é relatada com exatidão por um meio especializado, é reescrita por um agregador para efeitos de recuperação, é recuperada por um assistente e chega a uma nota informativa com os números já cristalizados e a citação desaparecida. Cada passo é defensável por si só. O resultado é um valor sem denominador, sem referência e sem documento por trás, apresentado com mais confiança do que os autores originais alguma vez afirmaram. A disciplina que protege um comprador aqui é a mesma que este artigo exige da tecnologia: seguir a afirmação até à sua origem, e dizer claramente aquilo que não se conseguiu ler.
Os limites desta análise
O relato do CAPO-SLT aqui apresentado assenta na reportagem especializada em língua chinesa sobre o trabalho, que nomeia o artigo e liga a ele. O próprio artigo, alojado num repositório que exige um passo de verificação no navegador, não pôde ser lido para esta análise, pelo que os valores citados são conforme relatados e não verificados face à fonte, e nada acima deve ser lido como uma avaliação do sistema ou do vivo AI Lab, cujo problema declarado é o correto e cujo método pode muito bem fazer o que afirma. O argumento assenta na formulação do problema, que o campo agora nomeou abertamente, e no trabalho publicado por outros sobre aquilo que os benchmarks padrão conseguem e não conseguem mostrar. Nenhum instrumento da NCG foi aplicado a este sistema, e o ponto mais amplo não depende de forma alguma deste método específico.
It is worth ending on what is encouraging here, because there is something. A commercial research lab has publicly identified confident fabrication as the central defect in sign-to-text translation rather than reporting another incremental gain and leaving the failure unnamed. That is the honest version of the problem, and naming it is the precondition for measuring it. The risk now is the familiar one: that the naming travels, the fix is assumed, and an institution somewhere types a fluent sentence into a Deaf person’s file in the belief that the problem was solved by a paper it never read.
Fontes
1. Quantum Bit via 36kr, “CAPO-SLT achieves top scores on three Chinese metrics,” reporting vivo AI Lab’s method, 9 September 2026. https://36kr.com/p/3975775861813507
2. vivo AI Lab, “CAPO-SLT: Confidence-Aware Policy Optimization for Stable Sign Language Translation Generation,” OpenReview (under review; not read for this analysis). https://openreview.net/forum?id=l4bCsrSkYx
3. Zgeo (AI editorial department), rewritten account of the above, 9 September 2026. https://www.zgeo.com.cn/news/capo-slt-sign-language-translation-vivo-ai-lab
4. Oline Ranum, Edward Fish, Simon Hadfield and Richard Bowden, “Beyond BLEU: A Case for Redefining Sign Language Translation Benchmarks,” University of Surrey (CVSSP), arXiv:2609.03734, September 2026. https://arxiv.org/abs/2609.03734
5. “RVLF: A Reinforcing Vision-Language Framework for Gloss-Free Sign Language Translation,” arXiv:2512.07273 (reported CSL-Daily gloss-free results). https://arxiv.org/abs/2512.07273