签语人工智能即将变得可被认证。但一张证书无法告诉你的是,聋人能否理解其输出内容。
NCG洞察 2026年10月
设想这样一个场景,未来几年内它很可能成为常态。公立机构、大学、医疗系统或大型受监管企业中的采购人员向一家手语人工智能供应商提出一个完全合理的问题:该供应商能否证明该系统是安全、准确且负责任地构建的。供应商出示了一份证书。这份证书可能完全合法,由具备资质的认证机构依据已发布的国际标准颁发,并由专门为人工智能管理系统建立的认可体系所支持。采购人员将其视为某个独立方已审查过供应商人工智能实践的证据,归档后便继续前行。然而,即便这份证书完全真实,它也丝毫不能证明一个观看该系统手语输出的聋人能够理解其内容。
这一区别之所以重要,是因为人工智能保证正迅速从一种新兴的专业实践演变为制度性基础设施。认证人工智能管理系统所需的国际标准如今已经存在,管理开展审计的机构认可工作的标准也已存在,各国政府正投资于保证工具、专业能力建设以及第三方供应商市场。然而,我们在整个这套体系中无法找到任何地方存在一种与之对等的、公开可用的、经独立验证的工具,能够确立手语人工智能输出在语言上是可理解的、在情境上是恰当的,并且适合预期将依赖它的聋人群体。
这正是本文所审视的缺口。这并非是在反对人工智能保证,也不是在声称管理体系认证毫无意义,因为新兴的这套体系确实发挥着实实在在的作用,而它所带来的问题并不需要任何人出于恶意行事。这里的失败模式不是欺诈,而是推论上的谬误。
关于我们的立场说明
Novara Consulting Group是以一个预期自身工作将受到审视的组织身份撰写本文的。我们无意进入认证市场,本文也不应被解读为为此目的所作的意向书。我们关注的是证书无法提供的那部分证据,而我们在这方面所做的任何工作,都要接受我们在本文末尾向所有其他人提出的同样质问。我们发表这篇文章,是因为我们宁愿在严格的保证要求被套用到我们自己身上之前,它们就已经存在,而不是在事后再构建一套恰好方便地描述我们已经做得很好之事的要求。
因此,文末的那些问题也是我们向自己提出的问题,我们自己的答案也一并公开发表。其中有几个答案并不充分,这是有意为之的。一个只有在作者自己通过之后才能发表的保证主张,并不是在发挥保证主张的作用,而是在发挥营销的作用。
被称为“保证”的两种不同事物
“保证”一词在人工智能市场中正开始承载多种含义,而手语技术使这些差异变得异常重要。第一种是过程保证,它追问一个组织围绕其人工智能活动是否拥有一个运转中的管理体系:风险是否被识别、责任是否被分配、决策是否被记录、控制措施是否被落实、事件是否得到处理,以及是否存在某种机制,使证据能够促使决策、控制或部署发生改变。这在合格评定领域是熟悉的领域,因为管理体系认证长期以来在质量、环境管理和信息安全方面发挥着同样的作用。
第二种是结果保证,它追问系统对预期依赖它的人群而言表现是否足够好。在手语人工智能领域,这并非一个抽象问题,即一个模型是否产生了某种可识别为“类手语”的东西,而是:聋人观众是否理解其输出内容,意义是否在转换过程中得以保留,通过空间、动作、面部表情及其他非手部特征所承载的语法信息是否得以保存,语域是否适合语境,是否存在重要信息被遗漏或扭曲,以及性能在整个人群以及该技术实际将被部署的各种情境中是否保持稳定。
第三个问题无法被归入上述任一类别,那就是该技术所依据构建的语言材料是否经合法途径获得,并且是否仍在合法使用。手语语料库和片段库并非抽象的符号集合。它们包含源自可识别的具体人物以及语言社群的录像、表征与衍生数据,而这些社群的语言和文化利益无法被简化为某个组织对一段视频文件的所有权。因此,来源、同意、许可、二次使用、撤回、代表性与利益共享都应当纳入保证讨论之中,即便传统审计所能确立的只是相关程序确实存在。
贯穿这一切的合格评定区分是关键所在。依据ISO/IEC 42001进行的认证针对的是一个组织的人工智能管理体系,而ISO/IEC 42006则强化了围绕那些审计和认证这些管理体系的机构的基础设施。两者都不会改变被认证的对象。一家供应商完全可能维持一套真正成熟的人工智能管理体系,接受一次专业的独立审计,并获得完全合法的认证,而这份证书仍然丝毫不能告诉买方某个特定聋人观众是否能够理解某个特定的输出内容。这其中并无任何矛盾。错误只发生在前者的证据被当作后者的证据来对待之时,而这正是推论造成损害之处。买方看到了过程保证的证据,便假定它承载了一个证书从未被设计用来作出的结果主张,于是不再追问下去。链条中的每一份文件都可能是真实的,涉及的每一个组织都可能表现无可挑剔,而链条末端的那位聋人,仍然可能收到一份从未经任何合格聋人评估者确认为可理解的手语输出。
2025年至2026年间真正落地的事物
有必要对这套机制作出精确说明,因为正是这种不精确,才使得不同种类的保证在采购对话中变得可以相互替换。ISO/IEC 42001确立了人工智能管理体系的要求,为开发、提供或使用人工智能的组织提供了一个结构,使与人工智能相关的责任、风险、控制和持续改进得以被治理。它的重要性是实质性的,而每当一份证书被作为证据出示时,其适用范围都需要保持清晰可见,因为这是管理体系认证,它并不会仅仅因为买方认为那样更有用,就变成针对某一具体产品的语言性能评估。
这套基础设施中又一重要组成部分于2025年7月7日随着ISO/IEC 42006:2025的发布而落地,该标准规定了对依据ISO/IEC 42001审计和认证人工智能管理体系的机构的附加要求,是对ISO/IEC 17021-1的补充,有助于这些认证机构证明其能力、一致性与可靠性。ISO指出,它也可以被纳入依据ISO/IEC 17065针对人工智能产品、过程或服务的更广泛合格评定方案之中,因此不应将其描述为仅限于管理体系认证。无论在哪种方案下,那个更为狭窄但更为重要的要点都成立,那就是ISO/IEC 42006所管理的是认证机构的能力,而不提供评估手语语言表现的任何方法论。这一区别很容易被忽略,因为认可确实能够提升人们对认证的信心,而这正是它被设计出来要实现的目的。但认可并不会悄然扩大其基础证书的适用范围。对一个人工智能管理体系所做的更值得信赖的审计,仍然只是对一个人工智能管理体系的审计,它并不会因为审计员资质更高,就变成一项语言验证研究。
与此同时,英国一直在有意识地构建一个更广泛的保证生态体系。于2025年9月3日发布的《可信第三方人工智能保证路线图》,承诺政府将召集一个多利益相关方联盟,致力于推动未来人工智能保证职业的发展,制定人工智能保证的技能与能力框架,并设立人工智能保证创新基金,以在各产业战略部门开发新颖的保证解决方案。该联盟于次年正式启动,由BCS担任主席,techUK牵头其行业咨询小组,其第一年的工作任务涵盖从业人员自愿遵守的道德准则、一套能力框架,以及保证提供方从其客户处所需信息获取途径的图谱。
其商业雄心是实质性的。该路线图描述了一个由超过524家公司构成的市场,这些公司在2024年贡献了约10.1亿英镑的总增加值,若能消除阻碍人工智能广泛采用的障碍,到2035年该数字有望突破188亿英镑,而据报道该生态体系目前已雇用超过12,000人。人工智能保证正被打造成一个严肃的专业市场,而非一项非正式的伦理性活动,本文中的任何论点都不依赖于对此视而不见。
该路线图同时也坦率承认了其所致力发展的这一市场内部存在的质量问题。报告指出,人们对现有人工智能保证认证的质量存在不确定性,并指出在撰写该报告之时,尚无任何认证是由经UKAS认可的机构颁发的,还指出围绕保证提供方的质量基础设施仍处于发展之中。报告援引了世界隐私论坛(World Privacy Forum)的研究,该研究发现,在所评估的人工智能治理工具中,高达38%提及、推荐或采用了可能产生有害结果的问题性指标。此后,认可方面的情况已有所进展,且其发展方向正是路线图所期望的:UKAS已从针对ISO/IEC 42001认证的认可试点阶段,推进到正式授予认可;包括美国的ANAB在内的其他认可机构也已采取同样行动,因此针对该管理体系标准的经认可认证如今已真正可供使用。这进一步强化了而非削弱了本文的论点。路线图撰写之时尚不存在的经认可基础设施如今已经存在,而它认证的仍然是管理体系。
与此同时,国际人工智能测试基础设施也在持续发展。涵盖人工智能系统测试的ISO/IEC TS 42119-2:2025已于2025年11月作为技术规范发布,而该系列中涉及验证与确认分析的部分截至2026年初已完成最终文本但尚未发布,涉及红队测试和生成式系统的其他部分仍处于更早期阶段。这项工作使得相应的手语测量层的缺失变得更加而非更不重要。本文所提出的问题是:当一套迅速走向成熟的保证基础设施,触及一个相应领域特定测量层仍严重欠发达的语言领域时,会发生什么。
尚未成为现实的事物
首先来看审计员的能力问题。通用的人工智能审计员能力可以确立一名审计员是否理解人工智能风险、管理体系、控制措施、证据以及适用合格评定制度的要求。这些都是真实存在的能力,但其中没有任何一项能够赋予审计员判断手语输出在语言上是否正确的能力。一名不懂被评估的那种手语的审计员无法独立评估该输出,他们能做的是检查供应商是否拥有一套开展此类评估的程序、该程序是否被遵循,以及是否存在相关记录。这些是关于一个过程的、而非关于该语言本身的有用发现。
这就产生了第二个问题,即底层的语言评估究竟应当衡量什么。手语通过一些机制来编码意义,而这些机制无法与书面语言翻译指标简单对应,因为空间关系、动作、朝向、面部表情、口型动作及其他非手部特征都可能承载语法或语义信息。基于标注符号(gloss)的表征是有用的研究工具,但它们并不能捕捉完整的语言事件,因此由某种中间表征得出的分数,可以告诉我们一些关于系统行为的信息,却丝毫不能告诉我们聋人是否正确理解了最终的输出。
关于手语生成、识别、翻译与评估的研究是活跃的,本文在此并非是说从来没有人评估过手语技术,因为研究人员、聋人参与者、语言学家和开发人员显然都做过这方面的工作。所缺失的要素是足以支撑保证需要的标准化。买方需要知道测量的是什么、由谁进行评估、评分者是如何挑选的、分母是什么、使用了哪些错误类别、分歧是如何处理的、结果是否按手语使用者及相关语言变量进行了分层、测试了哪些部署情境,以及该评估工具本身是否曾经过验证。一个供应商如果仅报告一个单一的准确率数字而未能回答上述问题,那么他们提供的只是一个数字,而不是一项保证主张。
社群治理这一领域呈现出进一步的问题。世界聋人联合会与世界手语翻译员协会已就手语虚拟形象(signing avatars)发布立场文件,告诫不应将其用以替代真人手语使用者,并对其语言质量和适当使用提出了担忧。自该立场文件首次发布以来,技术已有所进步,但其背后的治理问题并未随之消失。一套技术性的保证制度无法凭借工程层面的改进,就断定某个受影响社群在政治、语言和文化方面的关切已经烟消云散。这些关切必须在决策架构的某个环节被纳入其中,并且必须有人拥有足够的权威,使得异议真正具有分量。
需求使这一区分在商业上具有重要意义。多个司法辖区对手语无障碍的法律和政策认可正在增加,其中包括《2022年英国手语法案》以及《2015年英国手语(苏格兰)法案》所确立的规划架构。与此同时,采购团队最熟悉的技术无障碍标准,并未在每一种数字情境下为手语服务设立一个直接的强制性底线,因为预录音频内容的手语翻译属于WCAG成功标准1.2.6,等级为AAA级,而非AA级。这种组合恰恰制造出一种环境,在其中认证获得了超出其正式范围的重要性。机构面临改善手语无障碍服务的压力,新兴技术似乎能够大规模提供这种服务,技术要求并未解答每一个部署层面的问题,而采购团队则需要可站得住脚的尽职调查证据。在这种条件下,一份受认可的证书显得格外有吸引力。危险并不在于证书本身,而在于要求它回答一个它从未被设计用来回答的问题这一行为。
真正具有区分力的检验
有一个问题能够穿透相当多的治理话语,那就是:这套治理究竟实际阻止过什么。不是问这套框架涵盖了什么、存在多少个委员会、电子表格里列出了多少项控制措施,也不是问是否存在一项人工智能政策、伦理声明或咨询小组,而是要问治理在何时遇到了一项被提议的行动,并促使某件实质性不同的事情发生。某个数据集因其来源无法确立而被拒绝使用。某次发布因聋人评估者发现了不可接受的错误模式而被延迟。某个部署情境因误译的后果过于严重而被排除在外。同意条款被重新拟定,某次评估未获通过,某项性能声明因证据无法支撑而被撤回。这类记录之所以有价值,是因为它们证明了治理确实具有因果效力。
这并不要求存在一份字面上题为“不符合项记录”的文件,因为成熟的组织可能通过纠正措施系统、风险处理记录、内部审计发现、问题登记册、发布关卡或事件系统来记录不利决策。标签叫什么远不如证据链重要,而重要的是该组织能否证明其治理曾经真正做出过一个不方便的决定。一份包含政策、委员会结构、风险登记册和控制措施描述的保证材料包,告诉买方的是应当发生什么。而拒绝使用某些数据、测试未通过、发布被阻止、决策被推翻的证据,告诉买方的则是当系统承受压力时究竟发生了什么。
这一原则在我们关于聋人教育数据的研究中有一个直接的对应,在那里,证据的缺失本身往往就是研究发现。当一个机构无法提供确定谁正在被服务、资金如何到达他们、衡量了哪些成果、谁对此负责所需的记录时,负责任的结论并不是说某处出了问题,而是说确定正在发生什么所需的证据根本无法获得。人工智能治理理应得到同等的对待。如果一个组织说治理约束着其人工智能项目,那就要求其提供这种约束确实在发挥作用的证据。
谁有资格提供这种保证
手语人工智能保证中最棘手的问题,或许根本不是技术性的。手语数据集是由人构成的。视频语料库包含可被识别身份的手语使用者,片段库保存着个人的表演片段,这些片段日后可能被重新组合成原本的那位手语使用者从未做出过的输出,而衍生表征与源素材之间的关联方式,对于当初同意被录制的那个人而言,往往并不明显。商业安排会变化,模型会变化,预期用途会变化,组织会被收购,为某一目的而收集的语料库,会变得对另一目的而言同样有价值。
因此,一套保证制度所需追问的,远不止一份同意书是否存在。它必须追问:当事人当初同意的是什么,是否考虑到了下游的人工智能用途,商业性的再利用是否已被披露,撤回是否可行以及撤回实际上能够移除什么,衍生品是否可追溯,后续的许可由谁掌控,所代表的手语使用人群是否与性能声明所针对的人群相符,以及那些其语言资源产生商业价值的社群,是否对该用途拥有任何实质性的权威。
一名传统的第三方审计员可以检查上述大部分内容,审查记录、确定程序是否存在、抽样检验证据,并确立一个组织是否遵循了自己制定的规则。但审计员无法凭借其专业的独立性来凭空制造出社群合法性,这正是为什么“参与”与“权威”之间的区别承载着如此之重的分量。咨询意味着聋人被征询过意见。参与可能意味着聋人曾参与该项目的工作。雇佣可能意味着聋人获得报酬以贡献语言专长、翻译或数据。咨询机制可能意味着聋人拥有提出关切的正式渠道。这些事实单独而言,没有任何一项能够确立决策权威,而决策权威回答的是一个完全不同的问题:谁有权说“不”,以及当他们这样说时会发生什么。如果一个聋人咨询机构对某项部署提出异议,而供应商照旧推进、未作任何改变,那么这个机构就只是咨询性的。如果一个聋人治理机构能够拒绝批准,使发布无法在异议得到解决之前继续进行,那么这个机构就握有真正的权威。这两种安排都可能有其价值,但它们不应被描述为等同的。
这正是第二方保证理应获得比目前更多关注之处。在问题是关于是否符合某一既定标准时,第三方保证是强有力的。而手语技术还额外提出了一些问题,对于这些问题而言,受影响的语言社群不仅仅是又一个证据来源,而是一个在确定何为可接受用途方面拥有正当利益的当事方。因此,由聋人主导的机构所需承担的角色,必须超越被审计员访谈或被招募为测试参与者的范畴,而在保证架构的至少某些部分中,他们需要拥有真正的决策权。这种安排并不常见,原因显而易见:真正的权威能够叫停事情,而这恰恰是它之所以重要的原因。
当输出结果出错时
还有一个问题,只有在一套系统离开实验室、采购流程和保证审计、最终抵达预期使用它的聋人那里之后,才会显现出来,那就是:当这个人说输出内容是错的时候,会发生什么。一套系统完全可能拥有文档齐备的治理体系、合法的数据来源、聋人评估者、专业的第三方审计员以及正式的审批结构,却仍然辜负了那个遭遇到一次后果严重的误译的人。如果这个人没有可用的机制去质疑该输出、获得人工复核、更正记录、报告一个反复出现的语言失误,或是在错误造成伤害时寻求补救,那么这套保证架构就止步于机构层面,而未能真正延伸到用户那里。救济本应是保证问题内在的一部分,而非附加于其外的东西。
合适的机制因部署情境而异,因为失败所造成的后果差异极大,在一般性信息内容中出现一个尴尬的错误,与在医疗、就业、教育、法律权利、福利或紧急通信方面出现错误,二者绝不等同。因此,保证工作不应只考察平均性能,还应考察可预见的失败情形、升级处理途径,以及当人们对自动化手语输出的信心已不再有正当理由时,该机构的应对方式。这也是为什么“有人工介入”这句话作为一个通用的保证措辞是不充分的,因为真正起作用的问题在于:是哪个人、具备何种资质、对谁可用、在哪个环节介入、拥有何种权限,以及在多长的响应时间内介入。对于盲聋人士以及其他可能无法仅凭视觉手语输出就满足其无障碍需求的人士而言,一套自动化手语系统的存在本身,并不能够证明有效的沟通已经实现。
五个问题,以及我们自己的答案
以下是我们认为买方应该向那些就手语AI发表重大声明的机构提出的问题。我们将自己也纳入这种审视的范围之内,我们目前的答案见下文,因为如果对所有其他人发布要求,却悄悄让自己免于遵守,那将重现本文所批评的那种治理问题本身。
在过去十二个月里,你们的治理机制阻止了什么?
我们无法用一份可审计的单一记录来回答这个问题。我们在各研究项目中维护着治理机制,并采用了一套证据标准,这套标准在实践中确实导致了一些声明在发布前被修改或撤回。但我们没有维护一份整合的不合规、纠正措施或不利决定登记册,使独立方能够核实这些说法并追溯每项决定背后的证据。这是我们自身证据体系中的一项缺陷,而相信治理机制对我们的工作产生了影响,并不等同于证明了这一点。我们打算建立一个正式机制,用以记录由证据驱动的重大撤回、被拒绝的声明、方法上的失误以及纠正措施,并定期据此发布报告。
是谁评估了手语输出内容,他们是否为Deaf人士,他们采用了什么评估规程?
我们不生产手语AI输出内容,因此无法就产品层面的问题给出答案。在我们委托制作、审核或发布手语内容的情况下,我们并未实行一套文件化的语言评估规程,其中包括针对Deaf评估者的明确资质标准、既定的评分工具、评分者间一致性程序以及公开的决定阈值。因此,如果以更广泛的标准来衡量这个问题,我们今天也会不及格。目前业界尚缺乏一套普遍认可的、面向手语输出内容的公共保证规程,这是整个领域层面的缺口,但这并不能成为把内部流程说成已验证工具的借口。如果我们开发或采用这样一套流程,其方法论、局限性及证据地位都应如实公开。
手语素材来自何处,片中出现的人能否要求撤回?
就我们持有的手语素材而言,来源是可以查明的。但我们无法证明存在一套全面的撤回机制,使打手语者能够要求按照预先确定的规则,识别并撤回源素材及其适用的下游衍生内容。这一区别很重要,因为知道影像素材来自哪里,与片中人物对其持续使用保有切实有效的控制权,是两回事。一旦源素材进入衍生数据集、经训练的系统、片段库或下游产品,撤回就会变得尤其困难。我们认为这是该领域尚未解决的最棘手的治理问题之一,我们并不声称已经解决了它。
谁有权拒绝批准,一旦他们这样做会发生什么?
目前,在这一领域没有任何外部的、由Deaf人士主导的机构对我们的工作拥有正式的否决权。我们有咨询,但没有决定权,我们也不会把咨询说成是决定权。建立这样一种结构——由一个指定的、Deaf人士主导的机构拥有文件化的决定权,包括在约定范围内拒绝批准的明确能力——这项工作我们尚未完成。在它建立之前,我们关于治理的声明应据此理解。
当Deaf用户指出输出有误时会发生什么?
我们并不运营直接面向Deaf用户部署的手语AI系统,因此也没有产品层面的语言纠错机制。更重要的是,我们尚未建立一套完整的保证要求,来界定一项有争议的手语输出内容应如何被保存、独立审查、纠正、升级处理,并与补救行动相衔接。既然我们在上文中主张纠错机制应属于保证问题的一部分,我们就应当在自己的框架中明确持有这一要求,而不是任由其隐含在笼统的问责语言之中,而目前我们并未做到这一点。
五个问题产生了五个在某些方面有所欠缺的答案。我们刻意在这种状态下发布它们,因为如果等到每个答案都对我们有利才发布,那就违背了初衷。保证机制之所以有用,恰恰是因为它能够产生令人不快的结果。
证书是真实的,差距也是真实的
新兴的AI保证基础设施值得认真对待。ISO/IEC 42001提供了一套真正的管理体系框架,ISO/IEC 42006强化了围绕认证的合格评定架构,经认可的认证现在已经切实可得,而非仅仅停留在规划阶段,各国政府也在投资于旨在使AI保证更可靠、更广泛可及的工具、能力建设和专业机构。采购AI的组织应当希望这套基础设施取得成功。
手语技术暴露出它自身无法确立的东西。管理体系证书可以证明一个机构通过既定体系治理其AI活动。但它本身的存在,并不能证明一个Deaf人士能够理解某项手语输出内容,不能证明某个社群认可某种使用方式的正当性,不能证明在技术与合约架构未予规定的情况下撤回权具有实际意义,也不能证明一个因错误输出而受损的Deaf人士拥有任何质疑事情经过的途径。这些并非证书本身的缺陷。它们是存在于证书所设计证明的命题之外的问题,而这一区分必须尽快成为采购领域的常识,赶在手语AI开始习惯性地带着AI保证徽章出现之前。否则,市场将产生一种特别危险的信心形式,即由合法证据支撑、却被错误地附加到不相称主张上的信心。手语AI目前仍然缺乏的,是一个针对该领域、能够在使用环节检验真正重要命题的保证层——也就是Deaf人士能否理解、依赖并质疑该系统所产生的内容。在这样的工具出现之前,这个问题仍悬而未决,不应任由一纸证书将其了结。
NCG Insights发布有关Deaf教育、语言可及性及支撑二者的证据基础的分析。