*Mauvaise traduction assurée dans les systèmes signe-vers-texte, et les benchmarks incapables de la voir*
On 9 September 2026 the Chinese technology outlet Quantum Bit reported a method from vivo AI Lab called CAPO-SLT, from a paper titled “CAPO-SLT: Confidence-Aware Policy Optimization for Stable Sign Language Translation Generation”, posted on OpenReview, where papers sit while under peer review. The problem it names is the one that should worry anyone buying this technology. A translation system can produce a sentence that is fluent, grammatical and entirely plausible while having no support in what the signer actually did, and because the sentence reads well, nothing about it announces the error. As the reporting puts it, a single word that is locally plausible but lacking visual support can pull an entire translation off course, with the error accumulating across the sentence. The method adjusts the bounds within which reinforcement learning is allowed to update the model, token by token, according to how confident the previous policy was: tighter bounds where confidence is high, near 0.2, and looser ones where it is low, up to 0.3, with additional caps on tokens carrying negative advantage. The aim is to stop the model from locking in confident guesses and to leave room for uncertain ones to be pulled back toward the visual evidence.
Les résultats rapportés sont plus étroits que ne le laisse entendre le titre accrocheur, et cette différence compte. Sur le benchmark chinois CSL-Daily, les gains rapportés sont mesurés par rapport à deux systèmes nommés qui fonctionnent également à partir d'une entrée en pose : environ 1,26 BLEU-4 par rapport à Geo-Sign et 3,07 BLEU-4 par rapport à Uni-Sign, l'affirmation étant qu'il s'agit des meilleurs scores parmi les systèmes fondés uniquement sur la pose, plutôt que les meilleurs du domaine. Sur le benchmark de langue des signes américaine How2Sign, les chiffres rapportés sont 41,4 BLEU-1, 15,2 BLEU-4 et 34,9 ROUGE-L, soit des gains d'environ un point ou moins par rapport à Uni-Sign. L'article lui-même n'a pas pu être lu pour cette analyse, car le dépôt qui l'héberge exige une étape de vérification par navigateur ; ce qui suit examine donc le problème que ces travaux désignent, le sens de traduction dans lequel ils opèrent, et le type de preuve proposé, plutôt qu'une évaluation du système. Ces éléments méritent d'être examinés en eux-mêmes, car le problème est réel, le sens de traduction concerné est celui que les institutions gèrent le moins soigneusement, et le type de preuve ne peut pas démontrer ce qu'on lui demande de démontrer.
Dans quel sens va la traduction
Most public argument about signed language AI concerns output to Deaf people: an avatar on a departure board, a signing video on a website, a robot in a classroom. Sign-to-text runs the other way. The input is a Deaf person signing and the output is text that everyone else reads, and that changes what a mistake is. When an avatar signs badly, a Deaf person receives a poor translation and can usually tell that something is wrong. When a sign-to-text system fabricates a fluent sentence, the Deaf person’s words have been replaced by words they did not say, and those words go to a clinician, a caseworker, an investigator or a court reporter, who has no way of knowing anything happened.
Cette asymétrie constitue le problème de gouvernance. La seule personne dans la pièce capable de détecter l'erreur est celle dont le sens a été remplacé, et cette personne est souvent celle qui ne voit jamais le résultat. Le texte produit de cette manière ne s'évapore pas : il est saisi dans une note d'admission, une déclaration, une évaluation de performance, un dossier. Une fois là, il porte l'autorité du dossier officiel plutôt que le statut d'une traduction automatique, et la personne Deaf doit alors contester un document qui prétend la citer. Une erreur fluide dans ce sens n'est pas un échec d'accommodement d'accès. C'est une attribution, et les institutions n'ont presque aucun mécanisme pour la rétracter.
La métrique ne peut pas voir l'échec
Every number reported for this method, and for essentially every system like it, is BLEU or ROUGE. Both work by comparing the machine’s output with a reference translation and measuring overlap of word sequences. They were built for spoken-language machine translation and they measure resemblance to a reference, which is not the same as fidelity to what the signer expressed. A fabricated sentence that happens to share common phrasing with the reference scores well. A correct translation phrased differently scores badly. The failure mode the method is designed to fix, fluent output unsupported by the visual evidence, is precisely the failure these metrics are least able to detect, because fluency is what they reward.
This is not a complaint from outside the field. A paper from the Centre for Vision, Speech and Signal Processing at the University of Surrey, posted this month, evaluates six translation systems and concludes that “gains in BLEU-4 are not on their own evidence of better sign language understanding,” noting that the low-resource multimodal setting “allows models to exploit spurious correlations and spoken-language priors, rather than learning stronger sign representations.” Their alternative protocol, which tests whether the content of the passage survived, reorders the field and reveals a gap between systems that BLEU-4 could not see at all. Read alongside that finding, a reported improvement in BLEU-4 is evidence that output resembles references more closely. It is not yet evidence that the system understood the signing, and it is certainly not evidence that confident fabrication has been reduced.
L'ampleur du gain rapporté compte également ici. Des améliorations d'environ un à trois points de BLEU-4 par rapport à des références nommées relèvent d'un progrès incrémental ordinaire, et elles sont pourtant présentées comme la preuve qu'un système fabrique moins. À la lumière de la conclusion de Surrey, c'est là le point le plus faible de l'argument : un gain de quelques points sur une métrique dont le domaine lui-même dit qu'elle ne reflète pas la compréhension de la langue des signes ne peut pas établir que la fabrication assurée a été réduite. L'affirmation peut néanmoins être vraie. La démontrer exigerait un autre instrument, et l'article, qui est en cours d'évaluation plutôt que publié, est l'endroit où cette démonstration devrait être trouvée.
La confiance est un signal d'entraînement, pas une divulgation
The most interesting thing about the approach, taken at face value, is that it treats the model’s own uncertainty as information worth acting on. That is the right instinct and it points at the thing procurement should be asking for, though not quite in the form the method provides. A confidence value used inside training changes how the model learns. It does not reach the person reading the output, and it does not change what the output looks like when the model is uncertain. The system still produces a fluent sentence, because producing fluent sentences is what it does. Nothing in the text says that three of its words were guesses.
Two things would change that, and neither is exotic. The first is abstention: the system should be able to decline. A sign-to-text system that can say “this passage was not clearly captured” and mark the gap is considerably safer than one that always returns a complete sentence, because a visible gap invites a human to fill it and a fluent invention does not. The second is exposure: confidence, where the system has it, should be visible at the point of use, and low-confidence spans should be marked in the text that reaches the reader. A vendor stating 95 percent accuracy is describing an average, and an average tells a buyer nothing about the character of the remaining five percent. Five percent noise is an inconvenience. Five percent confident fabrication, distributed unpredictably through a medical history or a witness statement, is a different product altogether, and the one figure most vendors publish cannot distinguish between them.
Ce que l'entrée en pose transporte et ne transporte pas
The reported system works from pose data, meaning tracked body keypoints rather than raw video. There is a real privacy advantage in that, since keypoints are less identifying than footage of a signer’s face, and it matters in a field where the data is a person’s body. But it also raises a question that cannot be answered without the paper: which keypoints. Signed languages carry grammar on the face. A headshake can negate the sentence it accompanies, eyebrow position can mark the difference between a statement and a question, and mouth patterns disambiguate signs that the hands render identically. If a keypoint set samples the face sparsely, a system may be structurally unable to see the features that reverse a meaning, and the failure this produces is the fluent kind: a clean declarative sentence where the signer negated, or a statement where the signer asked. In a clinical or legal setting, the difference between a sentence and its negation is the whole of the content.
Les benchmarks ne sont pas des déploiements
CSL-Daily est un corpus de langue des signes chinoise enregistré en laboratoire sur des sujets du quotidien. How2Sign est un vaste ensemble de vidéos pédagogiques en langue des signes américaine. Les deux sont des ressources de recherche sérieuses, et ni l'une ni l'autre ne ressemble aux conditions dans lesquelles une institution utiliserait réellement le signe-vers-texte : une personne souffrante, signant depuis un lit d'hôpital sous un angle que la caméra n'était pas conçue pour capter, dans une variante régionale, avec une main immobilisée par une canule, interrompue, en détresse, ou passant d'un registre à l'autre. Le chiffre rapporté pour How2Sign, 15,2 BLEU-4, mérite d'être retenu pour cette raison. Sur celui des deux benchmarks qui est le plus ouvert, dans des conditions favorables, l'état de ce domaine produit des résultats dont le chevauchement avec une traduction de référence humaine reste modeste. C'est un résultat de recherche raisonnable. Ce n'est pas une base sur laquelle on devrait s'appuyer pour consigner ce qu'un patient Deaf a dit.
Ce qu'un acheteur devrait exiger
Six requirements follow, and they are specific to this direction of translation. The first is abstention with a visible gap, so that uncertainty appears as a gap rather than as prose. The second is confidence marking in the delivered text, available to the reader and not only to the model. The third is back-translation to the signer before anything is recorded, so that the Deaf person sees, in their own language, what the system is about to say in their name, and can stop it. The fourth is provenance in the record: text derived from machine translation should be labelled as such wherever it is stored, with the source retained, so that a later dispute is about a machine’s output rather than about the person’s credibility.
The fifth is a correction route that reaches the record itself rather than the vendor’s support desk, because an uncorrected sentence in a case file outlives any ticket. The sixth is evidence appropriate to the claim: semantic fidelity measured by protocols that test whether content survived, adversarial testing on negation, questions and role shift, disaggregation by signing variety and capture conditions, and comprehension checked with Deaf signers rather than inferred from reference overlap. NCG’s position is that the evidence required rises with the stakes of the setting, and that a system whose errors enter an official record attributed to a person sits at the top of that scale, not in the middle of it.
Comment l'affirmation est arrivée en anglais
There is a second story here, and it belongs in a piece about evidence. The Quantum Bit report is properly sourced: it names the method, describes what it does, reports gains against named baselines and links the paper. By the time this reached English-speaking readers, it had passed through a site whose byline is an “AI editorial department”, which describes itself as a portal for generative engine optimisation, meaning content written to be retrieved and repeated by AI search tools, and which scores its own articles for quality. That version dropped the link to the paper and converted gains measured against particular baselines into flat absolute scores. Nothing about it is fraudulent. It is simply a summary of a summary, optimised to be picked up by machines, and the thing it quietly removed was the route back to the evidence.
Il vaut la peine de le nommer, car c'est ainsi que la plupart des responsables des achats rencontreront désormais les affirmations sur cette technologie. L'affirmation d'un vendeur entre dans la littérature sous forme d'article soumis, est rapportée fidèlement par un média spécialisé, réécrite par un agrégateur en vue de sa récupération, récupérée par un assistant, et arrive dans une note de synthèse avec les chiffres durcis et la citation disparue. Chaque étape est défendable en elle-même. Le résultat est un chiffre sans dénominateur, sans référence et sans document derrière lui, présenté avec plus d'assurance que les auteurs originaux n'en revendiquaient. La discipline qui protège un acheteur ici est la même que celle que cet article exige de la technologie : remonter l'affirmation jusqu'à sa source, et dire clairement ce qu'on n'a pas pu lire.
Les limites de cette analyse
Le récit de CAPO-SLT présenté ici repose sur un reportage professionnel en langue chinoise sur ces travaux, qui nomme l'article et le lie. L'article lui-même, hébergé sur un dépôt exigeant une étape de vérification par navigateur, n'a pas pu être lu pour cette analyse ; les chiffres cités sont donc rapportés tels quels plutôt que vérifiés par rapport à la source, et rien ci-dessus ne doit être lu comme une évaluation du système ou du vivo AI Lab, dont le problème énoncé est le bon et dont la méthode fait peut-être bien ce qu'elle annonce. L'argument repose sur l'énoncé du problème, que le domaine a désormais nommé ouvertement, et sur les travaux publiés d'autres chercheurs concernant ce que les benchmarks standards peuvent et ne peuvent pas montrer. Aucun instrument de NCG n'a été appliqué à ce système, et l'argument plus large ne dépend en rien de cette seule méthode.
It is worth ending on what is encouraging here, because there is something. A commercial research lab has publicly identified confident fabrication as the central defect in sign-to-text translation rather than reporting another incremental gain and leaving the failure unnamed. That is the honest version of the problem, and naming it is the precondition for measuring it. The risk now is the familiar one: that the naming travels, the fix is assumed, and an institution somewhere types a fluent sentence into a Deaf person’s file in the belief that the problem was solved by a paper it never read.
Sources
1. Quantum Bit via 36kr, “CAPO-SLT achieves top scores on three Chinese metrics,” reporting vivo AI Lab’s method, 9 September 2026. https://36kr.com/p/3975775861813507
2. vivo AI Lab, “CAPO-SLT: Confidence-Aware Policy Optimization for Stable Sign Language Translation Generation,” OpenReview (under review; not read for this analysis). https://openreview.net/forum?id=l4bCsrSkYx
3. Zgeo (AI editorial department), rewritten account of the above, 9 September 2026. https://www.zgeo.com.cn/news/capo-slt-sign-language-translation-vivo-ai-lab
4. Oline Ranum, Edward Fish, Simon Hadfield and Richard Bowden, “Beyond BLEU: A Case for Redefining Sign Language Translation Benchmarks,” University of Surrey (CVSSP), arXiv:2609.03734, September 2026. https://arxiv.org/abs/2609.03734
5. “RVLF: A Reinforcing Vision-Language Framework for Gloss-Free Sign Language Translation,” arXiv:2512.07273 (reported CSL-Daily gloss-free results). https://arxiv.org/abs/2512.07273