作者：Heather Grizzle，Novara Consulting Group
执行摘要
人工智能治理越来越多地通过政策、委员会、原则、清单和风险分类来体现。这些结构固然重要。但当一家公共机构真正采购并部署一套人工智能系统时，治理最终必须变成远没那么抽象的东西。它必须变成一份记录。
必须有人描述该系统被允许做什么。必须有人决定什么样的证据足以支持供应商的声明。必须有人识别当系统出现故障时可能受到伤害的人群。必须有人确定哪些故障需要人工干预、哪些变更需要重新评估、哪些情况需要暂停系统。如果这些决定没有在部署之前形成文档，一份人工智能治理政策并不能弥补这一遗漏。采购档案正是机构原则转化为可操作承诺的地方。
治理最终必须触及交易本身
备用机制只有在需要的人真正能够使用它时，才称得上是一种保障。
Heather Grizzle
各机构正在构建日益复杂的人工智能治理体系。它们确立负责任的人工智能原则，设立审查委员会，维护清单，并按风险对系统进行分类。它们采纳要求公平性、透明度、问责制、隐私、无障碍性和人工监督的政策。随后采购工作展开。供应商对招标做出回应。安排产品演示。收集无障碍文档。填写安全问卷。协商法律条款。业务负责人描述他们预期的效率提升。该技术通过机构设定的各项审核关卡，正式投入使用。
这些关卡的存在可以带来相当程度的机构信心，但信心并不等同于一项站得住脚的决定。关键的治理问题不仅仅在于该系统是否通过了必要的流程，而在于由此形成的记录中是否包含足以证明所批准的具体部署合理性的证据。
当人工智能介入残障人士的可及性时，这一区别就显得尤为重要。系统可能汇总信息、与患者沟通、评估申请人、翻译语言、生成教学材料、对案件排序、协助员工、认证用户、回答问题，或者，越来越多地，代表机构采取行动。在每一种情形中，无障碍性都不仅仅是界面的一项特征，而是决策架构的一部分。残障人士接触系统的方式，可能与该系统主要为之设计、测试或验证的人群不同，而一次无障碍性方面的故障，可能会改变此人所获得的信息、可供他们选择的选项、他们做出回应的能力，或机构对其行为的解读方式。因此，采购记录需要确立的，不仅仅是无障碍性是否被纳入考量，还需要确立考量了什么、测试了什么、仍有哪些未知因素，以及机构针对这种不确定性决定采取何种措施。
作为问责工具的采购档案
采购档案通常主要被理解为行政记录。而对于人工智能而言，它们应当越来越多地被理解为治理工具。一份成熟的人工智能采购记录，应当使独立审查者能够在不依赖参与采购人员的机构记忆的情况下，还原机构当初的推理过程。这意味着该记录应当回答以下若干问题：
- 该系统被购买的确切目的是什么？
- 它被明确禁止做什么？
- 预期哪些人群会接触到它？
- 在批准过程中所依赖的各项声明，有什么证据支持？这些证据由谁产生？
- 已知哪些局限性？还有哪些局限性仍属未知？
- 当系统出现不确定或错误时会发生什么？
- 谁保留着推翻其结果的权力？
- 受影响的人如何能够对其输出结果提出质疑？
- 什么情况会促使机构重新考虑该部署？
- 谁拥有叫停它的权力？
这些不是故障发生后事故调查时才需要提出的问题，而是采购环节就应回答的问题。
1. 预期用途与禁止用途
第一项要求看似简单：明确机构究竟购买了什么。人工智能系统常常是通过宽泛的功能描述来采购的。系统可能被描述为助手、翻译工具、无障碍工具、决策支持系统、聊天机器人、代理、筛查工具或生产力平台。这些标签作为治理规范是不充分的。采购记录应当明确该系统的实际机构职能。
用于帮助某人浏览网站的通讯工具，其风险与用于医疗接诊环节的同一技术不同。用于生成会议记录的自动转录系统，其风险与用于形成纪律处分程序正式记录的同一系统不同。个人出于试验性目的使用的手语识别系统，与机构将其作为另一种沟通可及方式之替代品来呈现的同一系统，二者并不等同。因此，同一项技术在底层模型未发生任何变化的情况下，也可能在不同风险类别之间转移，原因在于部署场景发生了变化。
2. 受影响人群分析
传统技术采购问的是谁将使用该系统。人工智能治理还必须追问谁将受其影响，而这两类人群未必相同。员工可能操作某一人工智能系统，而承受其后果的却是患者、学生、申请人、居民、客户或福利领取者。残障人士往往特别难以通过常规的用户分析被识别出来，因为残障状况改变的往往是通过系统的路径，而非名义上的用户类别。
因此，采购记录应当识别可预见的无障碍互动情形。该系统是否处理语音？它是否生成或解读语言？它是否依赖视觉、听觉、灵巧性、认知能力、时间反应、生物特征或某种特定的沟通方式？它是否从可能受残障影响的行为中推断意图或能力？某种不可及的输出是否会改变一个人参与后续决策的能力？这些问题将无障碍性从一项合规文件，转变为一项系统风险层面的追问。
3. 供应商声明记录
在采购过程中所依赖的每一项重大供应商声明，都应当具有相应的证据状态。并非每一项声明都需要独立测试，但机构至少应当区分三种类别。当供应商声称某项功能存在时，该功能属于“被声称”；当有证据表明该功能已在特定条件下被观察到时，该功能属于“已被证实”；当有证据合理支持在机构预期的实际场景中依赖该功能时，该功能才属于“已确立可供部署”。这些类别不可互相替代。
一次演示可以证明系统能够产生某种输出结果，但未必能够证明该系统在不同人群、不同环境或不同重大用例下产生该结果的可靠程度。同样，文档可以证明供应商就其系统做出了何种陈述，却不能独立证明该陈述的正确性。采购档案应当保留这一区分，否则，断言仅仅因为在足够多的文件中被反复重申，就会逐渐被当作既定事实。
- 已确立可供部署
一种供应商声明状态，意味着有证据合理支持在机构实际的预期场景中依赖该功能，而不仅仅是该功能在演示条件下曾被观察到。
4. 独立保障
供应商提供的证据在采购中具有正当作用。供应商比采购方更了解自身的系统,理应披露测试情况、架构、局限性、已知故障条件以及相关性能证据。但商业关系是一个不可忽视的因素。寻求合同的一方不应是唯一决定该证据是否足以促成合同授予的一方。
独立保障并不意味着重现供应商的工程流程。它意味着在能够证伪相关主张的条件下,对采购决策所依赖的关键主张进行测试。对于涉及无障碍功能的人工智能,这可能需要有相关残障人士参与评估,若涉及语言方面的可及性,还需有该语言社群中具备资质的成员参与。其目的并非象征性的参与,而是证据层面的话语权。能够识别出重大故障的人,必须拥有某种机制,使该故障能够真正影响采购决策。否则,参与就只是形式,而无治理之实。
5. 故障与后备机制架构
每一项人工智能采购都应包含对一个问题的书面回答:系统失灵时会发生什么?“人工介入监督”并不是一个足够的答案。记录中应明确指出负责的人员、触发条件、授权范围、响应时间,以及受影响人员可获得的替代途径。
对残障用户而言,后备机制本身也必须是无障碍的。一个失灵后要求聋人拨打电话的人工智能沟通系统,并未真正提供后备方案。一个变得不可及、却仍要求盲人用户使用同样不可及界面来完成操作的自动化数字流程,也并未在任何实质意义上将该用户转交给人工监督。
备用机制只有在需要的人真正能够使用它时，才称得上是一种保障。
Heather Grizzle
6. 性能边界与已知的未知
采购文件通常会记录产品能够做到什么。治理记录同样需要说明信心止于何处。人工智能的表现是有条件的,可能因语言、方言、口音、手语风格、光线、摄像头位置、残障类型、设备、环境、专业术语、交互时长、人口特征以及无数其他变量而有所不同。机构应要求供应商披露已知的性能边界,并另行记录尚未经过评估的领域。
这一区分至关重要。“未经评估”与“已经失败”并非同一种结论,但它同样也不等同于“安全”。如果不确定性被识别并加以治理,它就不构成采购上的缺陷。未被记录的不确定性才是缺陷。
7. 日志记录、可追溯性与事件重建
当人工智能介导的交互造成损害时,机构应当能够重建事件经过,而这需要在部署之前就对日志记录做出决定。当时运行的是哪个系统版本?接收到了哪些输入?生成了哪些输出?该输出是否被修改过?是否有人工审核过?审核人看到了哪些信息?随后采取了什么行动?机构能否在不保留本不应保留的数据的前提下,重现该事件?
可追溯性与隐私保护之间可能存在正当的相互竞争的要求。这种冲突应通过系统设计和治理加以解决,而不应在诉讼、无障碍投诉或内部调查过程中才被发现。采购文件应记录该冲突的解决方式。
8. 投诉、可争议性与救济
受人工智能影响的人所需要的,不仅仅是一个报告技术问题的机制。他们可能需要对机构因该系统而做出的行为提出异议,而这是一项不同的功能。如果人工智能系统错误翻译了沟通内容、错误刻画了行为、生成了不可及的信息、得出了错误的推断,或促成了不利的机构行动,受影响的人需要有途径对由此产生的决定提出质疑。
机构应在部署之前就明确:由谁接收异议、由谁进行调查、保留哪些证据、在审查期间受质疑的人工智能输出是否仍然有效、可采取哪些补救措施,以及机构必须在多长时间内作出回应。
9. 模型变更与重新验证
人工智能采购带来了一个传统软件合同并未特别针对性设计来应对的问题:当初经过评估的产品,未必仍是最终部署的产品。模型会更新,防护机制会改变,训练数据会改变,界面会改变,第三方依赖关系会改变,供应商会更换底层模型。即使采购机构自身未发起任何变更,系统性能也可能在某一领域有所提升,而在另一领域有所下降。
因此,采购文件需要制定变更控制规则。关键问题不在于供应商是否有权更新其产品,而在于哪些变更会使机构此前所依赖的证据失效。合同应明确哪些属于重大变更,须发出通知、重新评估、重新进行验收测试,或在特定场景下继续使用前须获得批准。否则,机构即便在采购阶段进行了严格的保障审查,六个月后仍可能发现自己正在用为前一版本系统所准备的证据,来治理一个实质上已然不同的系统。
10. 暂停与退出权限
没有叫停权的治理只是一种建议。机构内部必须有人拥有相应权限,能够在证据不再支持继续使用时限制、暂停或终止某项人工智能部署,而触发条件不应等到危机发生时才临时制定。
- 反复出现的无障碍故障
- 未披露的重大模型变更
- 丧失所需的人工监督
- 与已验证性能出现重大偏差
- 未解决的投诉
- 出现针对特定群体造成伤害的新证据
- 未能提供合同要求的信息
- 超出已批准的使用场景
采购记录应同时明确触发条件与决策权限归属。
它还应涉及退出安排。合作关系结束时,机构数据归谁所有或由谁接收?哪些记录必须保留?哪些必须删除?机构如何恢复此前的服务途径?对于已经依赖该人工智能介导流程的人员将会怎样?退出规划不仅仅是供应商管理问题,它更是可及性延续的规划。
从人工智能政策到机构层面的证据
人工智能治理当前面临的挑战,并非原则数量不足,而在于如何转化落地。公平必须转化为评估标准。透明必须转化为披露要求。人工监督必须转化为明确授权的职责。无障碍必须转化为部署条件。问责必须转化为具名的负责部门和有据可查的补救措施。监测必须转化为触发行动的机制。而“负责任的人工智能”最终必须转化为采购官员能够归入档案的实际材料。
这一点在公共机构中尤为重要,因为采购正是抽象的机构承诺与资金、合同、供应商、法定义务,以及那些在技术对其不适用时无法简单地另选一个政府、学校、医院、法院或公共服务的人们相遇的节点。因此,采购文件所承担的功能远不止记录留存,它确立了该机构对于何为可接受风险的理论依据。
NCG政策立场
Novara Consulting Group 认为,影响残障人士的人工智能系统,不应仅仅因为满足了某机构的一般性人工智能治理流程就获得批准。采购记录应包含足够的证据,以重建并证明该具体部署决策的正当性。
该标准并非完美的认知。任何采购流程都无法消除不确定性。该标准所治理的是受控的不确定性:即明确哪些已经确立、哪些尚未确立、哪些证据支持在此情况下仍然推进,以及谁对这一决定承担责任。
结语立场
在人工智能发生失误之后,机构往往会追问供应商是否本应发出警示。有时答案确实是肯定的。但公共问责还要求另一个问题:机构在同意推进之前要求了哪些证据?这个问题不能外包。供应商可以提供证据,评估者可以对其进行评估,委员会可以提出建议,残障利益相关者可以识别他人看不到的失效之处,律师可以就合同风险的分配进行协商。但决定权始终在机构手中,其采购记录应当证明它清楚自己所做的是怎样的决定。
一个人工智能系统之所以受到治理,并不是因为某个组织制定了人工智能政策,而是当该机构能够说明,为什么在这些条件下,针对这些受影响的人群,出于这一目的,这一系统被准许运行。
Heather Grizzle
采购档案正是问责得以开始的地方。