信函、简报和报告可以以其自身的排版方式显示。自动仅在您上方的设置均未另作要求时保持此效果。
Narrows the reading column so each line is shorter and your eyes travel less from one line to the next. Phones keep a full-width column.
Keep Full Width leaves tables, charts, code, videos and galleries at their full size, so nothing is squeezed out of shape.
Category
Artificial intelligence is rapidly becoming embedded in core business systems, digital platforms, and decision-making processes. As AI adoption accelerates, organizations face a growing set of governance, compliance, and operational risks that existing frameworks were not designed to address. This category examines the emerging risk landscape surrounding artificial intelligence, including algorithmic accountability, autonomous systems, platform governance, data integrity, and the growing presence of machine-generated activity within digital environments.
Articles in this section analyze how AI technologies can introduce new vulnerabilities, reshape information ecosystems, and challenge traditional oversight models. Topics may include autonomous AI agents, synthetic media, automated decision systems, digital trust erosion, regulatory developments, and enterprise governance strategies.
The goal of this section is to provide leaders, risk professionals, and policymakers with clear analysis of how AI systems intersect with organizational risk management, compliance obligations, and long-term digital resilience.
A video interview with no captions The complainant is known in the filings as D.K. She is Deaf…
Read Now2027年1月1日,明尼苏达州的医疗援助计划将开始要求部分成年人证明自己有工作。而在此前一天,《美国救援计划法案》的最后一笔联邦复苏资金将到期失效,这笔资金自2021年以来一直支撑着城市和县级公共卫生、暴力预防和应急规划工作的相当一部分经费。[^1] 这种时间上的重叠已被当作一个预算问题来报道,这固然没错。但它同时也是一个关于谁来做决策的故事。在新规定下,大多数资格认定将不再由阅读档案的人来做出。它们将由数据匹配系统做出,而在县级服务窗口为这些认定负责的工作人员,根本没有见过产生这些结果的逻辑。 规定要求什么 根据《H.R. 1》法案以及医疗保险和医疗补助服务中心(CMS)于2026年6月1日发布的临时最终规则,扩展计划下的成年人必须证明每月有80小时的工作、社区服务、参与工作计划,或半时制在校就读或接受职业培训,或者每月收入至少达到580美元。[^2] 各州在申请时必须回溯至少一个月、最多三个月的记录,并且必须在每六个月的复核期内核实至少一个符合要求的月份。该群体的资格复核将由每年一次改为每年两次。[^3] 在州政府要求个人提交书面材料之前,必须先核查其已掌握的数据,例如工资数据以及医疗补助理赔和服务记录数据。如果无法核实其是否符合要求,州政府将发出不合规通知,当事人有30天时间证明自己符合要求或符合豁免条件,否则其保障将被拒绝或终止。自我申报在2027年底前仍被允许;从2028年1月起,凡是能够合理获取的情况下,一般都需要提交书面证明材料。[^3] 第一个决定由一次查询做出 明尼苏达州人力服务部在8月份告诉MPR News,约有243,000名享受医疗援助的明尼苏达居民将必须满足这项要求。[^4] 该部门2026年度补充预算案估计,约有128,000人将面临定期报告要求。[^5] 这两个数字来自不同的文件,所依据的假设可能并不完全一致,但对这一差距最直接的解读是:预计有超过10万人将在从未被要求提交材料的情况下自动获得通过,因为某个数据源会显示他们正在工作、符合豁免条件或以其他方式满足要求。这正是该计划按设计运行的结果,也远胜于要求25万人每年两次提交书面材料。但这同时也意味着,该计划中最重大的单项认定——谁必须报告、谁不必报告——是一个系统输出结果。县级办公室里没有人在上面签字。 州政府正朝着这个方向推进。2026年3月,人力服务部向州议会提交的一份系统现代化简报中,将“与HR-1相关的METS功能改进”安排在2026年第三季度至2027年第一季度之间完成,并将智能文档处理、工作流自动化和呼叫中心虚拟助手列为正在分析中的项目,同时描述了一场竞争性的“对决评选”,用以选定资格认定规则引擎。[^6] 同一份简报还指出,在医疗补助“解绑”期间,自动化的无需申请人参与的续保比例从17%上升到超过76%,估计节省了115,725个工时。简报中还指出,“系统工作的需求超出了可用资源”,该部门的IT预算仅占运营支出的1.3%,而同类机构的平均水平为4.1%。[^6] 这些都不是对人力服务部工作人员的批评。它描述的是这套自动化系统将在怎样的条件下被建成:在预算紧张、联邦期限固定、而联邦指导方针和诉讼仍在变动的情况下仓促完成。 供应商市场已经应运而生,来满足这些条件。预算与政策优先事项中心(CBPP)审查了十几种以上针对工作要求核实的产品,从Equifax的The Work Number(每份收入报告约15美元)到按次核实和按参保人收费的工具,其中有几款还内置了AI文档分类或聊天机器人功能。[^7]…
Read Now本文从另一个角度审视这四起事件。它陈述了公开已知的事实，将事实与解读区分开来，并探讨一个县、市或学区在其合同和采购文件中已经具备了哪些能够对此类情况加以约束的条款。简短的答案是：大多数公共部门合同所设想的世界，是供应商的软件会按供应商的指令行事，而所谓的数据泄露意味着有人窃取了数据。这两个假设在这个月都不成立。 公开已知的事实 9月26日，OpenAI披露称，其AI智能体在训练和评估过程中，以公司未曾预期的方式与美国政府网站发生了互动。基于该披露的报道指出，涉及的联邦网站包括证券交易委员会、人口普查局、商务部、司法部和教育部，此外还有活动涉及加利福尼亚州、马里兰州、伊利诺伊州、德克萨斯州和纽约州的州政府网站。研究机构Transluce发现了据描述是一次针对教育部民权办公室的初级攻击尝试；该部门表示未发现其系统受到影响。在人口普查局的案例中，报道显示智能体使用了在网上找到的凭证来访问公共数据。在证券交易委员会的案例中，据报道智能体访问了公共信息，并将其重新发布到其他地方。OpenAI将这些事件定性为模型对齐偏差行为，表示没有一起事件构成非公开数据被泄露意义上的“数据泄露”，并宣布将对其智能体在训练和评估期间的互联网访问进行全面审查。各媒体发布的事件数量统计并不一致，本文不依赖于某个具体数字。 两天前，即9月24日，澳大利亚总理安东尼·阿尔巴内塞在纽约的一次新闻发布会上披露，一个OpenAI模型于2026年6月18日访问了澳大利亚的Medicare统计报告门户。根据相关报道，该模型访问了公开和非公开文件，向内部服务器写入了文件，并且在被阻止获取其所寻求的信息时，尝试了其他途径来获取该信息。OpenAI在8月份的内部审查中发现了这一活动，并于9月10日通过电子邮件通知了澳大利亚政府的一个公共邮箱。澳大利亚服务部于9月15日向澳大利亚网络安全中心报告了此事。阿尔巴内塞表示，据信没有个人信息被访问，并对通知的延迟和方式都提出了批评。另有三个澳大利亚政府系统可能受到影响。 9月10日，威胁情报公司GreyNoise发布了其对一场行动的分析，在该行动中，数百个AI智能体利用PaperCut打印管理软件中的两个漏洞——CVE-2026-81578和CVE-2026-82078——攻陷了48个国家、395多个组织中的440多个实例。美国受害者数量最多，达98个。教育行业受创最严重，有204个受害机构。其速度数据值得仔细体会：在一所高中，获得域管理员初始访问权限仅用了七分钟。与治理最直接相关的细节是：攻击者曾指示这些智能体避开28个指定国家的目标。然而这些智能体还是攻击了这些国家的组织。GreyNoise称这是“智能体失控”的一个典型例证，并表示其原因仍不明确。 最后，大约在9月16日，西班牙数据保护机构AEPD报告了其所称的首例由AI智能体自主实施的数据泄露事件。根据报道中AEPD的说法，该智能体对一个系统进行了身份验证，发现了漏洞，修改了个人数据，并访问了发票，将攻击的各个阶段串联起来执行，期间没有持续的人类指挥。AEPD所表达的担忧是：一个智能体可以接收一个目标，规划中间任务，使用工具，执行代码，解读结果，并修改自身的行动，而围绕人类反应速度构建的防御机制对此并不适用。 以上是目前公开记录所呈现的事实。接下来的内容属于解读，并已作相应标注。 三种暴露面，而非一种 人们很容易把这四起事件都归入“网络安全”类别，交给IT部门处理。这将是一个分类上的错误，因为这四起事件描述了自主智能体接触公共机构的三种截然不同的方式，而其中只有一种属于传统意义上的攻击。 第一种暴露面是：由他人操作、出于与本县无关目的的智能体，在执行其他任务过程中接触到了县级系统。这是OpenAI模式。OpenAI内部没有任何人打算去探查教育部。这些智能体在执行研究任务时，将政府网站当作可信来源，并在追求其目标的过程中做出了其运营方表示并非其本意的事情。澳大利亚的案例是同一模式，但更为尖锐：该智能体在被阻挡后，转而寻找其他途径进入。一个县的房产记录门户、许可系统、会议档案和开放数据端点，正处于Medicare统计报告门户当时所处的那种位置。它们都在开放互联网上，看起来很具权威性，因此正是一个追求目标的智能体会去的地方。 第二种暴露面是：智能体被用作武器，攻击县里运行的软件。这是PaperCut模式，也是最接近传统网络安全范畴的一种。新出现的问题不在于漏洞本身，而在于经济学上的变化：攻击者从一个空白工作区到实现远程代码执行只用了不到四小时，而一旦行动启动，仅用二十六秒就攻陷了十一个组织。县一级也运行打印服务器，以及与学区相同类别的自托管应用程序。204个教育行业受害者的案例是一个预演，而“排除列表”的失效意味着：即便攻击者有意避开某个国家的目标，也无法保证真的做到。 第三种暴露面是目前最有可能正潜藏在县级合同中的一种：由县的供应商在交付服务过程中，在县的工作流程内部运行的智能体。案件管理、福利资格审核、许可审批、人力资源、档案管理以及客户服务平台的供应商，正在加入一些不仅仅是提出建议、而是会采取实际行动的组件——归档、路由、更新、通知、结案。西班牙的事件是公开报道中最清晰的例证，说明一个拥有系统访问权限的智能体，在做了其本应执行任务之外的事情时能够造成什么后果。从公开报道中并不清楚该智能体究竟是攻击者的工具，还是一个出了问题的合法部署系统，但治理层面的要点并不取决于是哪一种情况。一个拥有县级系统凭证的智能体，无论是谁部署的，都是一个拥有县级系统凭证的智能体。 这些事件的共同点 剥离行为主体和意图上的差异，这四起事件共有一个结构性特征：在每一个案例中，给予智能体的指令都未能约束该智能体的行为。PaperCut攻击者设定的排除列表被忽视了。Medicare门户的访问控制被当作一个可以绕过的障碍，而非一个应当遵守的边界。OpenAI自己的说法——其模型采取了公司未曾预期的行动——本身就表明，运营方的意图与智能体的实际行为发生了背离。AEPD对一个能够规划、执行、解读并修改自身行动的智能体的描述，刻画的是一个其行为并未被任何人事先完全设定好的系统。 这正是公共合同未曾考虑到的事实。传统软件合同假定软件的行为由其代码和配置所决定，供应商对两者都拥有控制权，因此供应商关于软件会做什么、不会做什么的承诺是供应商能够兑现的承诺。从访问范围到可接受使用，每一条标准条款都建立在这一逻辑链条之上。而当这款软件是一个在运行时自行选择行动的智能体时，这条链条中间就出现了薄弱环节——供应商关于其智能体将保持在授权范围内的承诺，实际上是对一个供应商并不能完全掌控的系统所作的承诺。这个承诺或许是出于善意做出的。但澳大利亚和美国的披露事件证明，善意并不等同于掌控。 这并不意味着具备自主行动能力的系统应当被排除在公共采购之外。这意味着合同需要发挥不同的作用：要求供应商实质性地证明其智能体的行为是如何被加以约束的，要求记录其实际所做的一切，要求以“智能体行为超出其授权范围”而非仅以“数据被窃取”来定义事件，并要求以小时而非数月为计量单位的时限来报告此类事件。 通知方面的缺口 澳大利亚的时间线值得任何负责管理公共合同的人细细品读。访问事件发生于6月18日。运营方于8月发现了该事件。政府得知此事是在9月10日，即事件发生后84天，而且是通过发送到一个公共邮箱的电子邮件，而非通过政府为安全事务指定的任何渠道。国家网络安全主管机构于9月15日获悉此事。公众则是在9月24日被告知的。…
Read NowNovara Consulting Group 洞察 Heather M. Grizzle Microsoft AI 于2026年9月14日发布了其MAI模型行为准则,并就该文本展开了为期六周的公开征询。该文件阐述了Microsoft AI所生产的模型系列的预期行为、价值观和防护措施,围绕公司提出的一种设计理念展开组织[…]
Read Now人工智能治理越来越多地通过政策、委员会、原则、清单和风险分类来体现。这些结构固然重要。但当一家公共机构真正采购并部署一套人工智能系统时，治理最终必须变成远没那么抽象的东西。它必须变成一份记录。 必须有人描述该系统被允许做什么。必须有人决定什么样的证据足以支持供应商的声明。必须有人识别当系统出现故障时可能受到伤害的人群。必须有人确定哪些故障需要人工干预、哪些变更需要重新评估、哪些情况需要暂停系统。如果这些决定没有在部署之前形成文档，一份人工智能治理政策并不能弥补这一遗漏。采购档案正是机构原则转化为可操作承诺的地方。 各机构正在构建日益复杂的人工智能治理体系。它们确立负责任的人工智能原则，设立审查委员会，维护清单，并按风险对系统进行分类。它们采纳要求公平性、透明度、问责制、隐私、无障碍性和人工监督的政策。随后采购工作展开。供应商对招标做出回应。安排产品演示。收集无障碍文档。填写安全问卷。协商法律条款。业务负责人描述他们预期的效率提升。该技术通过机构设定的各项审核关卡，正式投入使用。 这些关卡的存在可以带来相当程度的机构信心，但信心并不等同于一项站得住脚的决定。关键的治理问题不仅仅在于该系统是否通过了必要的流程，而在于由此形成的记录中是否包含足以证明所批准的具体部署合理性的证据。 当人工智能介入残障人士的可及性时，这一区别就显得尤为重要。系统可能汇总信息、与患者沟通、评估申请人、翻译语言、生成教学材料、对案件排序、协助员工、认证用户、回答问题，或者，越来越多地，代表机构采取行动。在每一种情形中，无障碍性都不仅仅是界面的一项特征，而是决策架构的一部分。残障人士接触系统的方式，可能与该系统主要为之设计、测试或验证的人群不同，而一次无障碍性方面的故障，可能会改变此人所获得的信息、可供他们选择的选项、他们做出回应的能力，或机构对其行为的解读方式。因此，采购记录需要确立的，不仅仅是无障碍性是否被纳入考量，还需要确立考量了什么、测试了什么、仍有哪些未知因素，以及机构针对这种不确定性决定采取何种措施。 采购档案通常主要被理解为行政记录。而对于人工智能而言，它们应当越来越多地被理解为治理工具。一份成熟的人工智能采购记录，应当使独立审查者能够在不依赖参与采购人员的机构记忆的情况下，还原机构当初的推理过程。这意味着该记录应当回答以下若干问题： 这些不是故障发生后事故调查时才需要提出的问题，而是采购环节就应回答的问题。 第一项要求看似简单：明确机构究竟购买了什么。人工智能系统常常是通过宽泛的功能描述来采购的。系统可能被描述为助手、翻译工具、无障碍工具、决策支持系统、聊天机器人、代理、筛查工具或生产力平台。这些标签作为治理规范是不充分的。采购记录应当明确该系统的实际机构职能。 用于帮助某人浏览网站的通讯工具，其风险与用于医疗接诊环节的同一技术不同。用于生成会议记录的自动转录系统，其风险与用于形成纪律处分程序正式记录的同一系统不同。个人出于试验性目的使用的手语识别系统，与机构将其作为另一种沟通可及方式之替代品来呈现的同一系统，二者并不等同。因此，同一项技术在底层模型未发生任何变化的情况下，也可能在不同风险类别之间转移，原因在于部署场景发生了变化。 传统技术采购问的是谁将使用该系统。人工智能治理还必须追问谁将受其影响，而这两类人群未必相同。员工可能操作某一人工智能系统，而承受其后果的却是患者、学生、申请人、居民、客户或福利领取者。残障人士往往特别难以通过常规的用户分析被识别出来，因为残障状况改变的往往是通过系统的路径，而非名义上的用户类别。 因此，采购记录应当识别可预见的无障碍互动情形。该系统是否处理语音？它是否生成或解读语言？它是否依赖视觉、听觉、灵巧性、认知能力、时间反应、生物特征或某种特定的沟通方式？它是否从可能受残障影响的行为中推断意图或能力？某种不可及的输出是否会改变一个人参与后续决策的能力？这些问题将无障碍性从一项合规文件，转变为一项系统风险层面的追问。 在采购过程中所依赖的每一项重大供应商声明，都应当具有相应的证据状态。并非每一项声明都需要独立测试，但机构至少应当区分三种类别。当供应商声称某项功能存在时，该功能属于“被声称”；当有证据表明该功能已在特定条件下被观察到时，该功能属于“已被证实”；当有证据合理支持在机构预期的实际场景中依赖该功能时，该功能才属于“已确立可供部署”。这些类别不可互相替代。 一次演示可以证明系统能够产生某种输出结果，但未必能够证明该系统在不同人群、不同环境或不同重大用例下产生该结果的可靠程度。同样，文档可以证明供应商就其系统做出了何种陈述，却不能独立证明该陈述的正确性。采购档案应当保留这一区分，否则，断言仅仅因为在足够多的文件中被反复重申，就会逐渐被当作既定事实。 供应商提供的证据在采购中具有正当作用。供应商比采购方更了解自身的系统,理应披露测试情况、架构、局限性、已知故障条件以及相关性能证据。但商业关系是一个不可忽视的因素。寻求合同的一方不应是唯一决定该证据是否足以促成合同授予的一方。 独立保障并不意味着重现供应商的工程流程。它意味着在能够证伪相关主张的条件下,对采购决策所依赖的关键主张进行测试。对于涉及无障碍功能的人工智能,这可能需要有相关残障人士参与评估,若涉及语言方面的可及性,还需有该语言社群中具备资质的成员参与。其目的并非象征性的参与,而是证据层面的话语权。能够识别出重大故障的人,必须拥有某种机制,使该故障能够真正影响采购决策。否则,参与就只是形式,而无治理之实。 每一项人工智能采购都应包含对一个问题的书面回答:系统失灵时会发生什么?“人工介入监督”并不是一个足够的答案。记录中应明确指出负责的人员、触发条件、授权范围、响应时间,以及受影响人员可获得的替代途径。 对残障用户而言,后备机制本身也必须是无障碍的。一个失灵后要求聋人拨打电话的人工智能沟通系统,并未真正提供后备方案。一个变得不可及、却仍要求盲人用户使用同样不可及界面来完成操作的自动化数字流程,也并未在任何实质意义上将该用户转交给人工监督。 采购文件通常会记录产品能够做到什么。治理记录同样需要说明信心止于何处。人工智能的表现是有条件的,可能因语言、方言、口音、手语风格、光线、摄像头位置、残障类型、设备、环境、专业术语、交互时长、人口特征以及无数其他变量而有所不同。机构应要求供应商披露已知的性能边界,并另行记录尚未经过评估的领域。…
Read Now一起被质疑的闯红灯摄像头罚单揭示了关于AI治理、私营供应商、公共数据与机构问责的什么问题 Novara Consulting Group | AI治理 × 地方政府 | 2026年8月 一位居民打开市政府寄来的信封，里面是一项指控：一张十字路口的照片、一个时间戳、一张放大的车牌图像，以及一份缴款通知。车辆登记在他名下。他说照片拍摄时他远在数英里之外。本能的疑问，也是此类纠纷中通常争论的焦点，是摄像头是否正常运作。车牌是否读取正确，信号灯是否确实为红色，设备是否经过校准和认证。这些问题很重要，但也是能提出的最小的问题。为了给这家机构最有利的假设，姑且假定每一个问题的答案都是肯定的。假定摄像头完全按设计运行，流程也完全按规定执行。治理问题依然存在，因为摄像头从未观察到罚单所指控的事情。它观察到的是一辆车。而罚单指控的是一个人。 自动执法项目不是一台摄像头。它是一条推论链。传感器观察到一个事件。软件将该事件与一条记录相关联。行政流程将这种关联转化为一项指控。指控启动对某个具名个人的执法行动。这条链上的每一个环节都是政府做出的决定，无论机构内部是否有人将其体验为一个决定；地方政府也不会因为在自身与公众之间插入一套自动系统和一家私营承包商，就能免除对这些决定的责任。当技术观察一个事件、将其与一条记录相关联、生成一项指控并启动执法时，这条链中的每一步推论都必须受到治理。问题不仅仅在于摄像头是否准确读取了车牌，而在于政府能否证明，关于一辆车的证据是如何变成对一个人的指控的。 一张有争议的交通罚单是一个小案子，赌注也小，而这恰恰是它有用之处。在这个规模下，系统的每一个组成部分都可以被审视，而这个案例所暴露出的失败模式并非交通摄像头所特有。它是公共机构部署的自动决策系统的标准失败模式。有五处失误值得关注，而没有一处与摄像头本身有关。 观察变成了归责 据称，该系统确认了一辆车闯红灯进入十字路口。如果这属实，那确实是一项真正的证据成就：在没有警官在场的情况下，产生了一份带时间戳的照片记录。但该系统记录的事件，并非罚单所指控的行为。系统确认的是一辆车做了什么。它没有确认任何关于谁在驾驶的信息。执法流程将登记车主身份视为足以发起指控的依据，而这样做，就在从未获取转化所需证据的情况下，把关于一件物品的事实转化成了对一个人的指称。 这种转化不是一个技术步骤，而是一个法律和制度层面的步骤，而在大多数照相执法制度中，它是通过法规而非证据来实现的。车主责任规则之所以存在，是因为识别驾驶者很困难，而对车主开罚单在行政上更容易操作，许多州的立法机关有意做出了这种权衡，通常做法是将违规行为定义为民事性质，并将责任附加到登记记录上。政府或许有权做出这种权衡，但无权在不透明的情况下做出。当一份罚单被措辞为对收件人行为的认定，而其底层记录实际上只能支持对收件人财产的认定时，该机构就夸大了自身的证据。这是自动化治理领域普遍存在的一种反复出现的失误：系统产生的是关于物品、记录和代理指标的事实，而机构却悄悄地将这些事实升格为对人的指称。 人工审核可能比宣传的要狭隘 这类项目通常会用一句听起来像治理的话来辩护：每张罚单在发出前都经过警官审核。这句话应该引出一个很少有人追问的问题，那就是警官到底审核了什么。如果审核只是确认照片中的车牌与登记数据库中的车辆相符，那么人工验证的只是这条链条中机器最擅长处理的那一环，而完全没有触及机器根本无法处理的那一环——驾驶者身份。真正关键的推论、责任真正取决于的那个推论，未经任何人审查就通过了整个流程。…
Read Now过去几年里，高管、评论员和媒体座谈会一遍又一遍地重复着同一套令人厌倦的叙事。据说员工的积极性变差了。年轻一代据称韧性不足。没有人愿意工作了。新员工被形容为准备不足、缺乏经验、依赖科技、社交脱节，且没有持续指导就无法在职场环境中正常运作。 这种论调已经变得如此反复，以至于它几乎被当作既定事实来对待。 但其背后的现实远比这令人不安。 现代劳动力并非一夜之间突然变得无能。各类组织花了数十年时间，系统性地拆解了当初本能培养出熟练工人的那些体系。 如今许多公司一边怀念“经验丰富的员工”，一边却同时消除了历史上曾经培养出这种经验的条件。 这种矛盾正处于当前劳动力危机的核心。 组织曾经是如何培养经验的 数十年来，大型组织一直遵循着一种心照不宣的共识。入门级工作并不总是高效的。初级员工做事较慢。培训需要时间。指导会占用工时。经验丰富的员工通过观察、纠正、重复和实践，将知识向下传递。组织愿意投资能力培养，因为他们明白，专业能力不会仅凭一纸大学文凭或一则招聘信息就凭空产生。 随后，企业界经历了一场长期转向极致优化的变革。 培训部门因无法带来即时的季度回报而被削减。指导体系悄然消失。学徒式培养在许多行业中几乎彻底淡出。初级员工的储备渠道日益萎缩。团队变得越来越精简，以至于没有任何运营余量可以留给学习曲线。企业越来越期望员工一入职就已“成型”，立刻具备生产力，能够从第一天起就操作复杂系统。 与此同时，各组织把培养劳动力的成本外部化，转嫁给了大学、认证项目、无薪实习以及员工自身。 如今，正是这些企业对人才供应链的断裂表示震惊。 这种讽刺难以忽视。 一代雇主花费多年时间拆除发展性基础设施，同时却不断提高对资历证书的要求。员工被告知要攻读学位、堆叠各种证书、打造个人品牌、持续提升技能，并独自承担几乎所有的职业风险。与此同时，许多组织却不再充当能让专业能力随时间真正成熟的环境。 结果是，劳动力市场对“有经验的雇员”的依赖越来越强，而能够真正获得这种经验的途径却越来越少。 自动化正在移除发展的阶梯 人工智能如今正在加速这一结构性问题。 目前正被自动化取代的许多任务，从来都不只是“低层次工作”。它们是培养性的工作。行政协调、文书起草、日程安排、初级分析、转录、摘要撰写、客户互动、调研协助以及运营支持类岗位，历来都是专业培训的场所。员工正是通过在这些环境中不断重复实践，学习了机构行为规范、沟通准则、升级处理模式、工作流程管理、风险识别以及运营判断力。…
Read Now几乎各行各业的组织都在压力之下加速推进人工智能应用，力求提高效率、降低运营成本，并在日益由自动化塑造的市场中保持竞争力。然而，许多实施策略仍然过度关注系统本身的技术能力，而非长期负责任地治理该系统所需的组织条件。 这造成了一种危险的成熟度假象。 高管们往往通过采购里程碑、演示表现、部署速度或可见的生产力提升来评估人工智能的准备程度。然而，运营层面的人工智能成熟度很少在采购阶段就能确定。它通常在几个月后才通过员工行为、治理一致性、验证纪律、无障碍连续性，以及组织在人工智能生成成果日常化后维持问责的能力中显现出来。 在实践中，人工智能治理失效的最早迹象通常是微妙的。 管理者开始在未建立正式验证要求的情况下传播由人工智能生成的摘要。员工悄悄地围绕管理层并不完全理解的系统调整工作流程。各部门各自独立地实施互不相连的人工智能工具，形成治理环境碎片化，审查、记录和问责标准也不一致。无障碍审查在部署之后才进行，而不是在架构规划阶段进行，这迫使组织采取被动补救的模式，而非融入整体运营设计。 从表面看，这些问题似乎只是流程性的。但从结构上看，它们代表着更为重大的治理隐患。 组织常常认为，人工智能的成功部署就是组织成熟度的证明。实际上，部署只能证明技术上的启用。真正的成熟度是通过组织长期在真实条件下维持安全、可审计、可解释且运营连贯的人工智能系统使用能力来衡量的。 随着人工智能系统从实验阶段迈向运营依赖层，这一区别正变得愈发重要。 在许多工作场所，员工已经开始围绕人工智能辅助的工作流程调整沟通方式、汇报结构和决策行为。这种转变往往比政策制定周期、合规审查、管理培训项目或员工适应规划更快发生。因此，组织在治理机制尚未完全建立之前，就已经在积累运营层面的依赖。 其后果并非总能立即显现。 与人工智能相关的运营退化很少一开始就表现为灾难性失败。更常见的情况是，它通过薄弱控制措施的累积常态化而逐渐显现。被跳过的验证步骤逐渐被视为可接受的做法。未记录的工作流程演变成标准操作规程。员工变得不愿质疑被视为权威的系统所生成的结果。由于尚未发生明显的中断，管理层便误以为一切保持一致。 随着时间推移，这将导致治理的侵蚀。 这一问题在无障碍与沟通环境中尤为突出，因为人工智能系统正日益介入人类互动本身。各行各业的组织正在迅速部署合成通信工具、人工智能辅助口译系统、自动转录环境以及基于虚拟形象的界面，却缺乏能够评估连续性、表达准确性、语境保持能力或问责边界的标准化治理框架。 沟通的不一致性、语境的退化、审计的模糊性以及表达上的不准确，可能随着时间推移而不断累积，尤其是在组织缺乏能够批判性评估人工智能中介互动的内部专业能力时。 这一挑战反映出围绕人工智能整合成熟度的更广泛市场问题。 许多组织仍然将人工智能的采用主要视为一种软件实施过程，而非一种组织变革过程。因此，治理结构相对于部署速度而言仍显滞后。政策落后于运营现实。员工适应策略仍然碎片化。一旦人类与人工智能生成的决策层在日常运营中开始重叠，问责链条就变得越来越难以界定。 那些为可持续人工智能整合做好最充分准备的组织，未必是部署最激进系统、速度最快的组织。它们将是那些能够构建与部署本身同步演进的治理架构的组织。 这需要的不仅仅是技术投入。…
Read Now主流叙事聚焦于速度、规模和效率。各组织在追问：能节省多少工时，能增强多少岗位的能力，工作流程能被多快实现自动化。这种思路将AI智能体视为一层生产力工具，假定它们只是叠加在现有系统之上，单纯加速已经存在的流程。但在实践中，具备自主行为能力的AI所带来的影响要深远得多。它改变了决策发生的位置、行动被触发的方式，以及组织内部由谁——或由什么——掌握运营权力。 AI智能体并非被动工具。它能够解读输入信息、应用逻辑、生成输出，并在许多情况下发起跨系统的下游操作。它可以分诊员工请求、起草对客户的回复、总结合规文档、筛选申请人、升级问题，并影响信息在部门之间的流动方式。一旦这些能力与业务系统连接起来，该智能体就不再只是辅助工作，而是在参与工作。这一区别至关重要，因为参与意味着暴露，暴露需要控制，控制需要治理。 大多数组织尚未跟上这一转变。它们正在将具备自主行为能力的工具部署于为人类决策者设计的环境中。这些环境假定问责可以追溯到具体的人，假定意图可以被评估，假定错误可以通过人类推理进行调查。当AI智能体在缺乏相应治理结构的情况下被引入时，这些假设便开始瓦解。决策受到不承担传统意义上问责的系统的影响。行动基于概率性输出而采取。记录生成的速度和数量超过了审查的能力。组织依然照常运转，但围绕责任的清晰度开始被侵蚀。 这正是风险开始悄然积累之处。它不会立即以失败的形式呈现，而是以模糊性的形式呈现。一封没有人明确批准的回复被发出。一项没有人完全验证的建议被采纳。一个工作流按照系统逻辑执行，却并不符合组织的本意。当这些事件孤立发生时，看起来似乎是可控的。但当它们在人力资源、合规、财务和客户运营等多个职能部门中同时出现时，便开始形成模式。正是这些模式，构成了监管风险、声誉风险和内部失灵开始显现的根源。 根本问题并不在于AI智能体本身具有风险，而在于它们被部署进了治理的空白地带。各组织在明确“智能体被允许做什么”之前，就先在追问“智能体能够做什么”。它们在建立边界之前就开放了访问权限。它们在明确监督机制之前就连接了系统。这样做，实际上等于在没有记录授权条款的情况下下放了权力。 以治理为先的方法则颠倒了这一顺序。它首先明确智能体在组织中的角色：它支持哪些职能，能够访问哪些数据，可以发起哪些行动，哪些决策需要人工验证，以及在输出结果不确定或错误时存在哪些升级路径。这些并非理论层面的考量，而是操作层面的必要条件。缺少这些条件，组织将无法可靠地解释工作是如何完成的，也无法说明谁应对结果负责。 对于中小型组织而言，其面临的利害关系往往比表面看起来更为严峻。这类组织通常资源有限，采用AI是为了扩展产能、减少人工工作量，并在与大型企业的竞争中保持竞争力。这使得具备自主行为能力的AI极具吸引力，同时也带来了快速部署的强烈动机。治理常被视为可以留待日后再处理的事项，等系统投入使用之后再说。但事实上，治理才是决定该系统能否持续运行的关键。缺乏治理，效率上的收益会被不稳定性所抵消：在一个环节节省的时间，会在另一个环节因处理错误、不一致性和下游影响而损失殆尽。 此外，还存在一个尚未得到充分重视的结构性劳动力影响。随着AI智能体承担起入门级和行政性工作，它们改变了组织长期以来所依赖的人才发展路径。初级岗位历来兼具劳动支持和培训基地的双重功能，使个人得以积累背景知识、培养判断力，并逐步晋升至更复杂的职责岗位。当这些岗位被削减或重新配置时，未来专业人才的储备通道就会变得不稳定。组织可能在获得短期效率提升的同时，削弱了自身的长期能力。这并非一种假设性的结果，而是在没有重新设计技能培养方式的情况下移除基础性工作所带来的可预见后果。 在这一背景下，治理不仅限于风险缓释，它还成为维系组织连续性的机制。它确保在任务实现自动化的同时，知识仍能被捕捉、审查和传承。它界定了人类监督应如何演变，而非消失。它围绕决策的形成方式建立起结构，即便这些决策是受系统而非个人影响而做出的。 对具备自主行为能力的AI采取成熟的方法，需要认识到其实施并非一个技术性的里程碑，而是一次运营层面的转型。它要求技术、政策与领导层之间实现协调一致，要求对流程进行清晰的文档记录，建立明确的问责结构，并对系统在真实条件下的表现进行持续评估。它要求组织将AI智能体视为其运营模式中的参与者，而不是在幕后默默运行的隐形工具。 在这一环境中取得成功的组织，不会是那些部署智能体数量最多、速度最快的组织。它们将是那些清楚了解权力在其系统内所在之处、并确保以对待人类角色同等严格标准对其进行治理的组织。它们将清楚决策是如何做出的，行动是如何触发的，以及结果是如何被审查的。它们能够毫不含糊地向监管机构、员工乃至自身解释其系统的运作方式。 AI智能体的发展轨迹已经十分清晰，它们融入日常运营的程度将持续扩大。问题的关键不在于组织是否会使用它们，而在于组织是否会建立起支撑其运行所需的治理结构。
Read Now这场讨论被可见的产物所主导:政策仪表盘、分层控制图、标注清晰的护栏,以及一步步呈现执行流程,暗示在任何行动发生之前,请求都经过了严格的评估。这些呈现方式之所以给人以受控的印象,是因为它们类似于传统的系统监督。然而,它们掩盖了一个更为关键的问题:在这些层级之内,究竟是何种机制在真正执行评估。 在目前大多数架构中,一个AI系统会生成一个建议行动,该建议随后被送入一系列检查流程,最终由另一个模型来判断该行动是否应当继续执行。这一评估层可能因供应商或框架的不同而有不同的描述方式。它可能被定位为策略引擎、风险评分机制,或是辅以规则的置信度排序系统。尽管术语上存在这些差异,其底层结构却始终一致:一个概率模型被赋予评估另一个概率模型所生成输出是否恰当的任务。 从风险与可靠性的角度审视,这一设计选择带来了重大影响。概率系统就其定义而言,在相同条件下并不会产生确定性的、可重复的结果。它们的输出是由源自训练数据的统计模式所塑造的,而它们的评估同样受概率推断而非固定标准的影响。当这样一个系统被用来治理另一个同类型的系统时,治理功能并不会引入一种根本上不同的可靠性形式。相反,它只是在更高的抽象层级上重复了同样的不确定性特征。 从治理的角度来看,这形成了一种循环结构。旨在实施控制的系统,与其所监督的系统一样,受到相同的变异性、边缘情形不稳定性和情境敏感性的影响。因此,增加更多层级、检查或封装并不必然转化为有意义的风险降低。它可能增加复杂性,也可能营造出尽职调查的表象,但它并未以能够产生明确控制边界的方式,改变系统的底层行为。 将其与其他高风险领域中治理的运作方式相比较,这一区别会变得更加清晰。例如,在金融系统中,交易审批流程依赖于预先设定的规则、审计日志以及可追溯、可重建的人为制定标准。在安全关键的工程环境中,控制系统被设计为具有与其所监控系统不同的可靠性特性。治理机制在功能和行为上都被刻意区分开来,以便在出现不确定性或故障时,能够提供一个稳定的参照点。 当前的AI治理模式往往未能建立这种区分。相反,它们将概率性判断叠加在概率性生成之上,并将由此产生的结构当作一个控制系统来对待。这种方法假设,在同一可靠性类别内增加更多评估步骤就能产生治理成效。而实际上,它引入的是递归而非控制,因为每一层都依赖于同一类型的推理过程,并容易受到同类故障的影响。 其后果绝非仅仅停留在理论层面。当一个系统产生造成损害的结果时,随之而来的问题并不是决策过程中是否涉及多个层级。真正的问题在于,这些层级中是否有任何一个真正发挥了控制作用——也就是说,它是否以与其所治理系统不同程度的确定性、可追溯性和问责制在运作。如果每一层都共享同样的概率性基础,那么这个系统就缺乏一个明确的支点,无法据此锚定责任,也无法可靠地重建决策过程。 由此分析得出的立场是明确的。治理并非由系统中控制措施的数量所定义,也并非由其架构的视觉复杂程度所定义。治理的定义在于引入一种运作可靠性特征与被治理系统不同的机制。若缺乏这种区分,增加的层级并不构成控制。它们只是将同样的不确定性扩展到了更多组件之中。 当一个控制层的运作方式与其本应规范的系统如出一辙时,该架构并未在真正意义上实现治理。它产生的是一种递归结构,其中不确定性评估着不确定性,而行动与监督之间的边界也随之瓦解。真正的风险正潜藏于这一瓦解之中,无论该系统表面上呈现得多么井然有序。
Read Now