信函、简报和报告可以以其自身的排版方式显示。自动仅在您上方的设置均未另作要求时保持此效果。
Narrows the reading column so each line is shorter and your eyes travel less from one line to the next. Phones keep a full-width column.
Keep Full Width leaves tables, charts, code, videos and galleries at their full size, so nothing is squeezed out of shape.
Category
Artificial intelligence is rapidly becoming embedded in core business systems, digital platforms, and decision-making processes. As AI adoption accelerates, organizations face a growing set of governance, compliance, and operational risks that existing frameworks were not designed to address. This category examines the emerging risk landscape surrounding artificial intelligence, including algorithmic accountability, autonomous systems, platform governance, data integrity, and the growing presence of machine-generated activity within digital environments.
Articles in this section analyze how AI technologies can introduce new vulnerabilities, reshape information ecosystems, and challenge traditional oversight models. Topics may include autonomous AI agents, synthetic media, automated decision systems, digital trust erosion, regulatory developments, and enterprise governance strategies.
The goal of this section is to provide leaders, risk professionals, and policymakers with clear analysis of how AI systems intersect with organizational risk management, compliance obligations, and long-term digital resilience.
曝光实际所在之处 人工智能在人力资源领域受到的关注,大多集中在筛选环节:谁被筛查、排名、晋升,依据是什么。这种关注是有道理的,本机构对此已有大量论述。但这也使得增长最快的应用几乎完全未被审视。 生成式系统如今被用于起草、更新和本地化构成雇主法律立场的文件:员工手册、便利安排程序、休假政策、职位描述、纪律标准、调查模板、多州合规附录。宣传的说法是,这项历来缓慢且昂贵的工作,如今可以即时产出,并随法规变化持续保持更新。 Novara Consulting Group 的立场是,这一应用带来的风险比自动化筛选更大、更迫切,原因就在于文件本身的性质:政策不是一份操作性文件,它是证据。它会在诉讼中被提交,在监管机构调查中被引用,被员工所依赖,并被那些以寻找言行差距为职责的人拿来对雇主进行审视。一个在没有来源可查的情况下生成了自身法律立场的机构,实际上制造了大量关于自身的可采信材料,而机构内没有任何人能对此作出说明。 政策就是证物 在一场雇佣纠纷中,雇主的书面政策同时发挥着若干功能,而每一项都可能对雇主不利。 它确立了雇主向员工传达的内容,这关系到信赖利益,并且在许多州,视措辞和免责声明而定,还关系到合同的成立。它确立了雇主为自己设定的标准,雇主在具体案件中的行为将据此标准被衡量;一个未能遵循自身既定程序的雇主,处境要比一个程序本就含糊的雇主更为不利。它确立了雇主已知悉的内容,因为一项针对某法律要求所制定的政策,证明了雇主对该要求的知悉。它还确立了做法是否一致,因为对不同员工适用不同标准的政策,正是通向歧视认定的常见证据路径。 这些都不是新问题。新的是,这份文件如今可能是由一个以“看似合理”为优化目标的系统所生成,起草者并非律师,整个过程也没有留下任何记录,说明曾参考过何种权威依据、行使过何种判断。 当对方律师询问是谁起草了这项便利安排程序、某一条款依据什么被纳入、有何法律依据支持时,“是生成式系统写的,有人审校了语气”这样的回答并不是一个好答案。它不仅无济于事;它还证明了雇主在未确定其正确与否的情况下,便采纳了某一法律立场。 虚构的法律依据,以及人力资源部门为何比法务部门处境更糟 生成式系统倾向于给出自信满满、却完全虚构的法律引证,这一现象已有据可查且后果严重。2023年,纽约南区联邦法院对提交了一份包含并不存在的判例、由聊天机器人生成且未经核实的诉状的律师予以制裁。类似事件此后在众多司法辖区相继出现,这一模式如今对任何执业者而言都已不陌生。 这场讨论中值得注意的一点是,那些当事人本身就是律师。他们受过识别“引证必须核实”这一原则的训练,拥有核实所需的数据库访问权限,并承担着一旦失职便可能受到制裁的职业责任。即便如此,错误仍反复发生。 而一位负责起草多州休假政策的人力资源通才,并不具备这些优势。她往往无法判断某条被引用的条款是否真实存在,没有相应的研究工具去核实,其工作也不附带任何专业核实义务。生成的文本读起来流畅、结构清晰、措辞得当,与她读过的每一份合格政策别无二致。而流畅,恰恰是这些系统最擅长生产的东西,也恰恰是非专业读者用来判断准确性的替代标准。 最要命的错误往往也最不显眼。虚构的引证至少在有人想到要核实时是可以查证的。但一个被微妙曲解的标准却并非如此:一项将“互动流程”描述为始于员工提交文件之时、而非始于雇主意识到需求之时的政策,读起来完美无瑕,却会在两年后导致一项“未能提供便利安排”的认定。 持续对齐并非该技术的实际运作方式…
Read Now关于人力资源领域的人工智能案例研究已经形成了一种稳定的套路。 这一体裁 关于人力资源领域的人工智能案例研究已经形成了一种稳定的套路。某机构描述一次部署,报告百分之三或四的改善,加上一句关于消除偏见的说法,最后得出人才已成为竞争优势来源的结论。数字是具体的。方法论是缺失的。结论则邀人对话。 这种套路之所以延续,是因为它作为说服手段行之有效,而且没有人处于可以核实它的位置。供应商发布它,是因为它能促成销售。从业者发布它,是因为它能确立地位。买家接受它,是因为不接受就意味着承认自己没有依据做出即将做出的决定。链条中的每个人都对分子感兴趣,却没有人对分母感兴趣。 Novara Consulting Group的立场是:这些文件应当被当作广告宣传来读,而不是当作证据;最常被引用的那些具体数字,恰恰是最容易在没有任何实际改善的情况下被制造出来的;而一个能够提出四个问题的买家,大约十分钟内就能分辨出真实结果与被报告的结果。以下就是这套方法,应用于最常出现的四类说法。 说法一:招聘周期缩短 招聘周期(time-to-fill)是最常被报告的指标,也是最容易在不改变招聘本身的情况下被“移动”的指标。 这项测量需要一个明确的起点和一个明确的终点,并在对比期间内保持不变。但在实践中,起点因机构而异,常常还因职位申请而异:它可能是职位申请被批准的日期、发布的日期、寻源开始的日期,或者用人经理首次提出需求的日期。将起点后移会缩短所测量的时间跨度,却不会缩短任何人实际经历的时间。排除被取消或撤回的职位申请、排除耗时最长的岗位,或改变分母中岗位的构成,效果同样如此。 混淆因素比效应本身更大。招聘周期对劳动力市场状况反应强烈,而当前大多数案例研究所涉及的对比期,恰恰跨越了从劳动力急剧短缺到明显宽松的转变。一个什么都没改变的机构,在这段时间跨度内也会显示出改善。要把这种变化归因于期间部署的某个系统,需要一个反事实场景,而这一体裁的案例研究中从来没有出现过这种东西。 限定语同样值得注意。仅针对“关键岗位”而非“所有岗位”报告的改善,表明这只是一个子集;而当这个子集是在结果已知之后才被挑选出来的,该数字所描述的其实是这次挑选本身,而非系统的作用。 说法二:人工事务性工作量减少 这一说法需要一个人工事务量的基线测量,而几乎没有哪个人力资源部门拥有这样的基线。 如果确实存在某个数字,它通常是通过以下三种方式之一得出的:来自供应商的实施模型、来自员工自我估计时间分配的调查,或来自在引入新系统的同时定义发生变化的工单或事务计数。这些都无法支撑跨时间的百分比比较,因为测量工具本身在干预发生的同时也发生了变化。 这一指标还掩盖了一个范围问题。从人力资源部门消失的事务性工作,常常会在别处重新出现,最常见的是通过自助服务转移给员工和一线经理。人力资源部门处理的事务减少百分之六十,可能代表真实的效率提升,也可能只是把同样的工作转移给了未被计入工时的人,或者是两者的某种混合。要区分这些情况,需要测量整个组织的总工作量,而没有人这么做,因为这项指标存在的目的是为该部门的投入辩护,而不是描述组织的实际成本。 说法三:高潜力人才留任率提高 这是四项说法中最有意思的一项,因为产生这个数字的机制,往往就是部署本身。…
Read Now所有人给出的建议在机制层面上都是错误的 针对研究生使用人工智能的标准建议大致如下:把它当作工具而非替代品,自己动脑思考,并且要明白教师是敏锐的,最终会察觉到缺乏深度的作品。前两条主张是成立的。第三条是错误的,而这个错误至关重要,因为它描述的是一种人类判断的过程,而这种过程如今在很大程度上已被取代。 大多数院校检测人工智能使用,靠的并非经验丰富的阅读者的辨识力。它们依靠的——或者说自认为依靠的——是嵌入在提交平台中的自动分类器,这些分类器会为文档赋予一个概率分数,并将其纳入学术诚信审查流程。因此,研究生面临的问题不是教授是否会察觉到肤浅的思考,而是统计分类器是否会标记她的写作,以及一旦被标记,她将面临什么后果。 Novara Consulting Group 的立场是:高等教育中的人工智能检测是一种自动化决策系统,会对个人做出具有实质后果的判定;它被部署时所经历的验证,远低于院校对几乎任何其他影响学生地位的工具通常要求的水平;而且其错误分布对多语言写作者和残障写作者影响最为沉重。治理问题出在制度层面,后果却落在个人身上。 检测器所测量的对象 人工智能写作检测器并不能识别作者身份。它估算的是一段文本在统计意义上有多“不寻常”,主要通过两个指标:困惑度(perplexity),衡量在给定前文的情况下每个词的可预测程度;以及突发性(burstiness),衡量文档中句子结构和长度的变化程度。高度可预测且结构统一的文本,会被判定为更可能是机器生成的。 这就是整个机制,而将其如此直白地表述出来,问题便暴露无遗。检测器测量的并非某人是否写了某段文字,而是这段文字是否不寻常,并将“不寻常”当作“属于人类”的证据。谨慎、朴实、结构一致、用词保守的写作,会被判定为“像机器”,因为这正是该模型用来代替“机器特征”的替代指标。 这会产生一群特定且可预见的被误判者,而这绝非随机分布。 错误率,以及谁在承受它 Research published in Patterns in July…
Read Now没有任何成文法划定的边界 在就业领域,机构性AI治理已经高度一致地聚合于一条在现行法律中并无依据的边界。这条边界将招聘与发展区分开来。评估外部申请人的系统被视为决策技术,相应地配备了偏见审计、申请人告知、供应商文档和法律审查等机制。而评估现有员工内部晋升机会的系统,则被当作发展技术,按照适用于学习管理平台的审查标准进行采购。 这种区分在行政管理上颇具直觉性。外部候选人对组织而言是陌生人,组织对其负有程序义务。内部候选人已经受雇,已为组织所熟知,已身处雇佣关系之内。向其提供机会呈现为一种被授予的福利,而非作出的决定。这种区分在组织层面也得到强化,因为内部流动平台通常由人才发展部门主导,预算依照敬业度和留任目标编列,其评估标准是采用率而非决策质量。 无论是技术本身,还是成文法的措辞,都不支持这种区分。一个内部流动平台根据简历、项目履历、学习记录、绩效数据和行为信号推断员工能力,进而将员工与内部空缺职位进行匹配排名,这本身就是在生成一项会实质性影响晋升、薪酬和岗位分配的评估。这是一项关乎个人的重大决定。员工自愿使用该平台、组织将其输出描述为“建议”这一情形,并不能改变该决定本身的性质。 边界实际涵盖的范围 纽约市《第144号地方法》自2023年7月起已具可执行力,适用于被用来实质性协助或取代就业决策中自由裁量判断的自动化就业决策工具。该法规明确规定其适用范围涵盖招聘及晋升。其义务属于程序性而非实体性:须在前一年内完成独立偏见审计、公开发布审计摘要、并提前告知受影响个人。违规行为按次累计处罚,持续使用将被视为持续违规。 一个组织若已为其外部申请人筛选系统委托进行偏见审计,却将其内部人才市场平台视为不在适用范围之内,那么它所划定的界线并不为该条例所承认。只要内部系统对构成晋升的职位空缺进行员工评分或排名,审计义务即告适用。目前尚无公开证据表明执法机构在多大程度上已将执法触及内部流动部署,但迄今缺乏执法行动,并不能成为合规立场的可靠基础,尤其是在风险敞口每天都在累积的情况下。 这种模式并不局限于纽约。伊利诺伊州HB 3773法案于2024年8月颁布,定于2026年1月1日生效,该法案修订了《伊利诺伊人权法》,禁止使用对受保护群体产生歧视性影响的人工智能,禁止将邮政编码用作受保护特征的替代指标,并要求在招聘、雇用、晋升、惩戒或解雇相关决定中使用人工智能时予以告知。该告知义务因“使用”而触发,而非因“结果”而触发。歧视条款可通过《人权法》予以执行,该法赋予了私人诉诸救济的途径。 科罗拉多州SB 24-205法案于2024年5月颁布,定于2026年2月1日生效,该法案将就业决定认定为重大决定,并对部署者施加了防范算法歧视的合理注意义务,同时要求建立风险管理方案、开展影响评估并履行披露义务。该法案签署时附有州长的一封信,敦促在实施前对其进行立法修订,并且此后持续面临修订压力。其最终形态尚不确定。这种不确定性本身是一项治理考量因素,而非推迟行动的理由,因为一个将内部管控标准向最薄弱监管体制看齐的组织,将不得不在每届立法会期都重新校准其管控措施。 加利福尼亚州民权委员会一直在制定涉及就业领域自动化决策系统的法规,该立法的方向与上述模式一致。在欧盟,(EU) 2024/1689号条例已于2024年8月生效,将用于就业、劳动者管理和自雇准入的人工智能系统指定为附件III项下的高风险系统,明确包括用于影响晋升、任务分配和工作绩效评估决定的系统。相关系统的义务定于自2026年8月起适用。附件III的措辞针对的是系统所执行的功能,而非其所营销的产品类别,而内部流动引擎恰恰执行了所列举的这些功能。 证据问题 支持人工智能驱动的内部流动的商业论据,其流传形式经不起采购审查的检验。那些声称此类平台可将员工流失率降低三分之一,或敬业度工具可在特定年份内将留任率提升四分之一的数字,通过供应商内容的层层聚合传播,每项说法所标注的来源最终都指向另一则聚合内容。若追溯其原始研究,通常根本不存在。 第二种、也是更为严重的失真,涉及对真实研究的误读归因。领英《职场学习报告》及其相关的“职业发展指数”发现,在职业发展成熟度评分(以明确承诺、职位发布用语、领导技能普及程度和内部流动水平衡量)位居前五分之一的组织中,晋升至领导层的比例、员工任职年限以及学习者参与度,均显著高于位居后五分之一的组织。这是一项关于组织对职业发展投入程度的研究发现。但它在供应商材料中常被改写为关于人工智能工具效果的研究发现,而这既非该研究实际测量的内容,也非比较组之间所区分的内容。 可信记录所支持的结论要有限得多。包括联合利华、汇丰银行和施耐德电气在内的几家大型企业公开将自愿离职率的显著下降归因于内部人才市场平台的部署。分析师预测认为大型企业的采用率将大幅提升。案例证据显示内部职位填补速度加快、承包商支出减少。这些都是自我报告的运营结果和预测估计,而非受控评估,在任何可能被审计人员、监管机构或对方律师审阅的商业论证中,都应如实标明其性质。组织在部署后观察到的结果,与可归因于该系统的效果,二者之间的区别,正是治理存在的意义所在。 偏见主张需要证据,而非保证…
Read Now该系统是什么 一种人工智能内部人才流动平台被描述为一种人才激活工具。它将员工技能与内部空缺职位相匹配,从绩效数据中挖掘个性化的成长路径,支持继任计划,并通过帮助员工在不离职的情况下找到下一个职位来降低离职率。这种定位是发展性的,其初衷通常是真诚的。 该系统同时也是一种晋升筛选系统,理应按此进行治理。它决定哪些员工能看到哪些机会,哪些员工被认定为“准备就绪”,以及在考虑内部候选人时向招聘经理推荐哪些人选。未获晋升和未获调动,是《第七章》(Title VII)、《雇佣年龄歧视法》(ADEA)和《美国残疾人法》(ADA)项下已确立的责任理论所涵盖的情形。《雇员选拔程序统一指南》按其条款适用于影响招聘、晋升及其他就业机会的选拔程序,而不仅限于外部招聘。纽约市《144号地方法》的适用范围涵盖用于评估员工晋升资格的自动化就业决策工具,而不仅是用于筛选候选人的工具——这一点常常被部署内部流动平台的组织所忽视,因为他们把这部法律当作一部“招聘法”来看待。 Novara Consulting Group的立场是:内部人才流动系统所承担的治理风险高于外部筛选系统,原因在于其作用对象群体的特殊性,而“发展性”的定位正是导致这一风险被忽视的原因。 无人记录的不利行动 外部招聘会留下记录。候选人提交申请,雇主收到申请,做出决定,发出拒绝通知。双方都知道发生了什么。 内部人才流动的运作方式则不同。系统决定哪些空缺职位会出现在某位员工的信息流中。一名未被匹配到某职位的员工不会收到拒绝通知,因为她从未申请过。她从未看到过该职位发布信息。没有申请记录,没有决定记录,没有通知,也没有任何东西可供她提出异议。从她的角度看,似乎什么都没发生——而这正是问题从未被审视的原因。 从雇主的角度看,一项选拔决定确实已经做出。某个算法依据雇主未曾编写的标准、使用雇主未曾为此目的验证过的数据,判定该员工不是该机会的候选人。拒绝记录的缺失并不会使该决定变成“非决定”。它只是把决定变成了雇主无法重建的决定。 当员工档案中存在受保护特征或受保护行为记录时,这一点尤为重要。设想一名员工在十八个月前申请过便利安排,或曾休过受保护的假期,或曾提出过投诉。如果她此后一直未被推送相关机会,她便拥有报复性诉讼的依据,而报复性诉讼正是EEOC受理案件中最常见的类别。判断标准是该行为是否会使一名理性员工不敢从事受保护行为,而剥夺晋升机会显然符合这一标准。雇主的抗辩需要说明她为何未被匹配。如果答案是某个模型生成了排名而分数未被保留,那么雇主将无从抗辩,只剩下一片空白。 绩效数据是错误的输入项,而且它是雇主自己的产物 这些平台从绩效数据中挖掘成长路径。这一输入项理应受到比目前更多的审视,因为绩效数据并非对客观世界的观察记录,而是管理者所写下内容的记录。 经理评分因评分者、关系亲疏及群体差异而存在已被充分记录和研究的波动性。将其输入到流动模型中并不能消除这种波动性。它只是把主观判断转化为数字化输入,并将其传播到该员工此后是否被展示的每一个未来机会上,同时为结果披上了分析客观性的外衣。该组织并没有用数据取代管理者偏见,而是给管理者偏见赋予了分数,并延长了其影响范围。 本文所关注的员工群体还存在一个更深层的问题。绩效记录会反映出因残疾相关休假、缩减工时、便利安排、分阶段返岗、病假或照护责任而产生的时期。涵盖能力受限时期的评分会较低,而作为对该时期的描述而言,这种较低评分本身是“合理”的。一个训练用来从绩效历史中判断“准备就绪程度”的模型,将系统性地把档案中包含此类时期的员工排名靠后,而且系统中不会出现任何标注为“残疾”的变量。雇主无需推断出残疾这一事实,结果便已与之吻合——因为绩效记录本身已经将其编码在内。 调岗是一种便利安排,而该系统如今横亘其前 这一点是内部人才流动区别于本系列所讨论的其他所有应用场景的关键所在,也是最有可能引发雇主始料未及的诉讼的一点。…
Read Now主张 目前关于人工智能在招聘中应用的最实质性主张是,它能够实现按技能而非关键词招聘,并且这样做能产生更公平的结果、更广泛的机会和更多元化的团队。这是现有论点中最有力的一个,因为它不同于关于效率或参与度的说法,它指出了它所要取代之物的一个真实缺陷。关键词匹配是粗糙的。它奖励的是简历措辞而非能力,过滤掉了那些用不同语言描述同样工作的人,并编码了排除以非常规途径获得技能的候选人的资历代用指标。 以上所述皆属实,但这并不能证明这种替代在所声称的方面确实是一种改进。Novara Consulting Group的立场是:用推断的技能取代匹配的关键词,改变了这一工具的性质,而这种改变在治理层面具有重要意义;这些改变中的大多数使雇主的立场更难辩护而非更易辩护;并且与此相关的一项常见说法根本不应公开发表。 证据揭示的实践情况 在审视这项技术之前,值得先看看那些将基于技能的招聘作为政策采纳的机构中实际发生了什么。 2024年2月,哈佛商学院“未来工作管理”项目(Project on Managing the Future of Work)与Burning Glass Institute联合发布了一项研究,针对大型企业的11300个职位,考察了取消学位要求前后至少一年的招聘情况。取消该要求使无学士学位员工的招聘率平均提高了约3.5个百分点,但由于该变化仅适用于取消要求的一小部分职位,其对整个劳动力市场的净影响仅相当于每七百次招聘中不到一次。研究涵盖的近半数企业属于作者所称的“有名无实”类别,即宣称的承诺并未在招聘行为上产生可衡量的变化。 这一发现并非表明基于技能的招聘行不通。那些真正改变了招聘流程而不仅仅是招聘启事的企业确实出现了变化。这一发现表明的是,宣示与实践几乎完全脱节,而这种脱节之所以未被察觉,是因为没有人在衡量后者。打算采用这种方法的机构应当假定,除非进行衡量,否则自身的结果将与平均水平相似;并应将其言辞与招聘数据之间的差距,视为未来争议中最有可能被拿出来质疑的事项。 推断并未消除代用指标…
Read Now企业级人力资源技术已经普及到那些以前根本负担不起它的组织手中。治理层面的问题在于,伴随它一同到来的东西并没有到来。 “民主化”论点说对了什么 企业级人力资源技术已经普及到那些以前根本负担不起它的组织手中。一个二十人的非营利组织如今可以以每月订阅的形式运行申请人排名、结构化评估、参与度分析、技能推断和个性化学习交付,使用的是与规模是其千倍的雇主所部署的相同底层产品。这是一个真实的变化,人们对此的热情并非没有道理。曾经集中在大型企业手中的能力,如今已被广泛分散。 伴随这一观察通常提出的论点是,被分散的不仅仅是能力,还有优势,而且规模较小、以使命为导向的组织实际上可能比企业更有能力善用这些系统,因为它们更精简、更灵活,没有大型人力资源部门所背负的官僚性开支。Novara Consulting Group 的立场是,最后这一说法颠倒了实际的风险,而这种颠倒正是该行业治理问题的核心。 开支就是问责。在大型雇主的人力资源职能中,在那些看似低效的层层结构之下,存在着一整套控制机制:工具部署前的法律审查、供应商管理流程、记录保存制度、会追问系统衡量了什么的合规官,以及一位其职责包括在决策看起来不对劲时留意到这一点的业务伙伴。大型企业是在这层机制已经存在的环境中采用这些工具的。而以使命为导向的组织在采用同样的工具时却没有这层机制,并且还被告知这种缺失正是优势所在。 盒子里没有附带的东西 软件是一样的。软件周围的一切都不同,体现在四个相互叠加的方面。 没有人对它进行配置。小型组织沿用供应商的默认设置。它没有选择筛选标准,没有设定阈值,而且往往不知道哪些特征正在为候选人打分,因为有几项功能是在实施时启用的,此后从未被审查过。最终会到来的那个问题——是谁设定了标准、依据是什么——没有答案。 没有人审查过它。没有法律顾问去追问衡量沟通风格的评估是否与工作相关,没有隐私职能部门去追问推断结果存储在哪里,也没有采购部门去索要验证证据。这项采购是由执行主任根据同行组织的推荐而做出的。 没有人能就它进行谈判。真正保护雇主的控制机制是合同性质的:分数保留、版本识别、还原历史决策的能力、获取验证证据的权限、在调查中的配合义务。这些都是在采购时确定的。一个签署标准订购单的二十人组织没有任何筹码去争取这些条款,这意味着最有效的那道防线,恰恰是在这种规模下最难获得的。 而法律底线并不会因此移动。《第七章》(Title VII)和《美国残疾人法案》适用于雇员达十五人的企业,《雇佣年龄歧视法》适用于雇员达二十人的企业。不存在“复杂程度”这样的抗辩理由,也没有针对自动化工具的小雇主安全港条款,更不会因为系统是购买而非自行开发就减轻义务。正在发展中的判例法表明,供应商可能被追加为被告,而不是取代雇主成为被告;2024年7月,加州北区法院允许针对一家筛选软件供应商的诉讼请求继续进行,理由是该供应商充当了使用其工具的雇主的代理人。工具是现成打包购买的、组织里没有人真正理解它,这并不能成为抗辩理由,反而是一种自我认罪。 应当摒弃的说法 在人们通常提出的关于人工智能在以使命为导向的人力资源领域应用的各种说法中,有一种应当被彻底摒弃,而非有所保留地修正:即这些系统能够抵抗偏见,或者说它们能够减少无意识偏见、产生更公平的招聘结果。 没有公开的证据基础支持这一说法,而现有的证据恰恰指向相反的方向。基于以往成功候选人训练出来的系统,衡量的是对某种分布的符合程度,而它们最常用来打分的那些维度——沟通、流利度、情感表达和回应时长——恰恰是残障人士、带口音者和背景不熟悉者最容易被判定为“偏离”的那些维度。2025年3月,一名聋人及原住民员工向科罗拉多州民权司(Colorado…
Read Now该主张的假设前提 自适应无障碍的理由直接而诱人。与其建立一个统一界面并要求每位员工去适应它,不如部署能够持续地、无需请求地自行调整以适应每个人的系统。无障碍变得个人化、即时化、且不着痕迹。通常伴随这一理念而来的说法是:无障碍应当去适应人,而不是要求人去适应它。 作为一项原则,这一表述是正确的;但作为一项规范说明,它是误导性的,因为它掩盖了“适应”所需要的东西。系统若未对某个人加以分类,就无法自行调整以适应此人。要为一名员工放大文字而不为另一名员工放大,要简化仪表盘、改变计时、更换输入方式,系统必须首先判定这个特定的人需要这样做。个性化即分类,而在职场中,所涉及的分类正是残障。 这是一个治理问题,而不是实施细节。一个雇主若部署了能够推断其员工中谁是残障人士的系统,所构建的东西与无障碍功能截然不同。它构建了一种机制,能够持续地、在未经请求、未经披露、且绕开法律为此专门设立的程序的情况下,生成关于其员工队伍的残障信息。 分类恰恰是就业法最为限制的事项 《美国残障人法》(ADA)限制雇主要求员工接受体检,或询问员工是否为残障人士,或询问该残障的性质或严重程度,除非该询问与工作相关且符合业务必要性。这项限制被有意设计得十分宽泛,美国平等就业机会委员会(EEOC)长期以来将其解读为涵盖那些可能引出残障相关信息的询问,而不仅仅是直接提问。 推理引擎是否构成该法规意义上的“询问”,是一个悬而未决的问题,应当被标注为悬而未决,而非已朝任何一个方向解决。一个监测缩放级别、停留时间、错误率、输入方式、更正频率或导航模式,并由此推断用户可能患有视觉、运动或认知障碍的系统,并没有提出任何问题。它是在没有提问的情况下获得了答案——这要么在该条款的文字之外,要么正是该条款旨在防止的祸害本身,而目前尚无法院对此作出裁定。 不确定的是这一点是什么,但确定的是雇主最终所持有的东西。无论这种推断如何定性,其输出结果都是一份记录,与一名具名员工相关联,表明其可能患有残障。ADA要求,雇主所获取的关于员工的医疗信息必须保存在单独的表格和单独的档案中,并作为保密医疗记录处理。一个在通用产品分析管道内部生成残障相关推断、保存在供应商基础设施上、可被平台管理者查看的自适应无障碍系统,不太可能满足这一标准,而在大多数部署中,没有人考虑过这个问题,因为该系统是作为用户体验功能采购的,而非作为员工医疗信息的来源。 还要注意员工失去了什么。合理便利程序的存在,是为了让当事人掌控:是否披露、披露什么、向谁披露,以及提出什么请求。一个自适应系统替员工做出了这四项决定,却从未告知她这一点。相比一个悄悄判定她需要什么的系统,一份简明的表格和一位具名的决策者更能服务于当事人。 EEOC关于这些问题的相关指导文件——2022年5月发布的关于ADA以及使用软件、算法和人工智能评估求职者和员工的技术协助文件——将“不被允许的残障相关询问”列为算法引发ADA损害的三种主要机制之一,与“未能提供便利”和“筛除”并列。该文件已于2025年1月从该机构网站上撤下。其撤下改变的是这一解释的可获得性,而非法规的内容。 市场刚刚被告知了会发生什么 在本文写作前三个月,美国联邦贸易委员会(FTC)宣布了一项投诉及拟议命令,要求accessiBe支付一百万美元,以了结有关其歪曲其人工智能驱动的网页无障碍工具能力的指控。该公司曾推销一款插件,声称能使任何网站符合《网页内容无障碍指南》(WCAG),部分内容可在四十八小时内通过自动化流程立即、全面实现合规,并持续重新扫描以在内容变化时维持合规。FTC指控该产品并未做到这一点,在菜单、标题、表格、图片和录音等基本组成部分上均存在缺陷,并且该公司还将付费背书包装成看似独立的评价。拟议命令禁止该公司声称其自动化产品能够使网站符合WCAG,或长期维持合规,除非有证据支持该声明。 无障碍叠加层是目前最接近自适应无障碍的先例,而其教训并非“自动化无法提供帮助”。而是:叠加在一个本身不具无障碍性的底层系统之上的自动化调整,产生的是“看似可访问”的表象,而非真正的可访问性,而部署它的组织获得的正是这种表象,作为其辩护。叠加层当年的营销话术恰恰与如今自适应无障碍的宣传如出一辙:不要止步于合规,要创新;技术会实时调整;无障碍将变得自动化。数百个使用叠加层的组织在网页无障碍诉讼中被起诉,而叠加层并未帮助他们,反而暴露了他们。 一个组织若仅凭供应商“它能适应每一位用户”的说法就采纳了一套个性化系统,其所做的购买与此如出一辙,只不过在这种情境下,受影响的是员工而非网站访客,而适用的法规还赋予了个人诉权。 “适应”正被当作“合理便利”的替代品来推销,而这一点目前正处于诉讼之中 实际的危险不在于自适应系统会失败,而在于它们的存在被当作已经履行了提供合理便利的义务。 2025年3月,美国公民自由联盟(ACLU)、科罗拉多州ACLU分会、Public Justice以及Eisenberg…
Read Now不对称之处 关于人工智能监管与小型组织的传统说法是：合规负担最沉重地落在最无力承受的一方身上，而阈值和豁免的存在正是为了纠正这种失衡。这种说法说对了一半，而说错的那一半恰恰才是要害所在。 小型雇主和非营利组织确实被豁免于正在兴起的相当一部分监管体系之外。但它们几乎完全被豁免错了方向。这些豁免适用于披露、评估和记录制度——也就是本该促使组织仔细审视其已在使用的自动化工具的那部分框架。它们并不适用于底层的就业歧视法规，这些法规在雇员达到十五人时即生效，且赋予个人诉权、个案责任理论，并不要求原告证明雇主具备专业知识。 最终的净效应是：一个组织被豁免于本可发现问题的程序，却完全暴露于未能发现问题所带来的后果之中。Novara Consulting Group 的立场是，对于雇员人数大致在两百人以下的组织而言，这种不对称而非成本，才是治理风险的决定性因素，而通常给小型雇主的建议——等到越过某个阈值再说——几乎是可选策略中最糟糕的一种。 小型组织实际上被豁免于什么 阈值结构是真实存在的，值得梳理，但需附带说明：这些规定大多是新近出台的，有几项尚未生效，还有一项仍处于规则制定阶段，因此适用性应以具有法律效力的正式文本为准进行核实，而非依据包括本文在内的任何概述。 科罗拉多州参议院第24-205号法案于2024年5月签署，预计于2026年2月1日生效，该法案对用于就业等重大决策中的高风险系统的开发者和部署者施加义务，并对雇员不足五十名全职员工的部署者给予有条件豁免。《加州消费者隐私法》适用于达到其覆盖标准的企业，主要是年总收入超过两千五百万美元，或处理大量消费者数据的企业，其对“受覆盖企业”的定义以营利性运营为前提，这使得大多数非营利组织完全不受其约束。加州隐私保护局已将关于自动化决策技术的拟议法规推进至正式规则制定阶段，若按草案通过，这些规则将延续相同的覆盖阈值。在联邦层面，《雇员甄选程序统一指南》为雇员不足一百人的使用者提供了简化的记录保存要求。 综合来看，一个三十人规模的组织在大多数司法管辖区使用现成的求职者跟踪系统，并无义务进行影响评估、公布偏见审计、提供使用前通知，或维持大型雇主必须维持的组件级影响记录。它不会被审查。没有人会过问。 它们未被豁免于什么 《民权法案》第七章和《美国残疾人法》适用于雇员十五人及以上的雇主。《雇佣年龄歧视法》的适用门槛是二十人。这些法规不设“专业能力”抗辩，不为使用自动化工具的小雇主提供安全港，也没有任何条款因雇主是购买而非自行开发产生决策的系统而减轻其义务。 购买行为同样不会转移责任。雇主始终是做出就业决策的一方，而不断发展的判例法表明，供应商可能被追加为被告，而非取代雇主成为被告。2024年7月，加州北区联邦地区法院允许针对一家筛选软件供应商的诉讼继续进行，理由是该供应商在使用其工具的雇主中充当了代理人角色，这一判决动摇了“责任可以干净利落地分配给编写代码一方”的假设。工具是“开箱即用”的产品，组织内无人真正理解它，这并非抗辩理由，而是一种自认。 残疾相关的法律理论尤其值得强调，因为这些恰恰是小型组织最可能面对、也最没有能力抗辩的情形。当候选人要求对评估进行调整而未获提供时，即产生“未提供合理便利”的诉讼理由。当某项甄选标准倾向于排除残疾人士，而雇主无法证明该标准与职位相关且符合业务必要性时，即产生“筛除”诉讼理由。这两者都不需要跨申请人群体的比较统计数据，也不需要专家重建模型。两者都可通过由请求、回应和结果组成的个人记录来证明——而这正是雇主自己制作并保存的记录。2025年3月向科罗拉多州民权司和美国平等就业机会委员会（EEOC）提交的一份投诉，代表一名聋人及原住民雇员，涉及一次自动化视频面试和一项被拒绝的字幕请求，其情形正与此完全吻合。两家公司均否认相关指控，但无论结果如何，该诉讼的形态都具有启示意义。 提起这类诉讼成本低廉，而应诉成本并不会随被告规模缩小而相应降低。EEOC在2023年与iTutorGroup达成的同意令，解决了关于软件被设置为拒绝超过特定年龄申请人的指控，最终以365,000美元和解。这一数额对大型雇主而言尚可承受，但对大多数非营利组织来说却可能是致命的。 小型组织为何在结构上更为暴露 规模不仅无法提供保护，反而会主动恶化处境，原因有四项，且会相互叠加。…
Read Now2025年1月23日,第14179号行政命令《消除人工智能领域美国领导地位的障碍》撤销了上届政府的人工智能行政命令,并指示联邦机构审查并撤回与人工智能相关的政策。数日之内,这一实际后果就波及到了就业领域。 什么发生了变化,什么没有变化 1月27日,平等就业机会委员会从其网站上撤下了人工智能指南,包括2022年5月发布的关于《美国残疾人法》以及使用软件、算法和人工智能评估求职者和员工的技术协助文件、其配套的《劳动者提示》摘要,以及2023年5月发布的涉及第七章的技术协助文件。联邦合同合规项目办公室撤下了其面向联邦承包商的人工智能与平等就业机会指南。劳工部指出,由就业与无障碍技术合作组织于2024年9月发布的《人工智能与包容性招聘框架》,以及其自身于2024年10月发布的人工智能最佳实践,可能已不再反映当前政策。 大量评论将这些撤销解读为雇主风险的降低。这种解读混淆了指南与法律。技术协助文件是解释性的。它们说明的是某一机构如何理解某项法规,以及打算如何行使其执法裁量权。它们并不创设义务,其撤回也不会消灭该义务。《美国残疾人法》制定于1990年,至今未作修订。第一章仍然禁止在雇佣条款和条件中基于残疾进行歧视,仍然要求在不构成过度负担的情况下提供合理便利,仍然禁止使用会筛除残疾人的资格标准和筛选标准,除非该标准与工作相关且符合业务必要性,并且仍然限制在有条件录用之前进行与残疾相关的询问和体检。29 C.F.R. 第1607部分的《雇员甄选程序统一指南》仍然要求甄选程序的使用者保留影响记录,并在存在影响的情况下保留有效性证据。29 C.F.R. 第1602部分的记录保存条例仍然要求保留申请记录,一旦提起指控,还须保留相关记录直至最终裁决。 1月份撤销的并非责任,而是通知。雇主失去的是那份用通俗语言告诉他们哪些做法被该机构认为存在问题及其原因的文件。风险依然存在,而地图已经消失。 为什么残疾风险的运作方式不同于偏见风险 招聘中针对算法风险的主流应对方式是偏见审计,而主流指标是五分之四规则,该规则比较不同群体之间的录用率,并将低于百分之八十的比率视为不利影响的证据。纽约市第144号地方法自2023年7月起生效,要求对自动化就业决策工具进行年度独立偏见审计,并公开发布结果。供应商越来越倾向于将审计结果作为保证进行营销。 这套体系并不适用于残疾问题,而这种不匹配是结构性的,而非审计质量的问题。基于群体的统计影响测试需要稳定、已知、相互排斥的类别,且每个类别中要有足够数量的成员以支持比率比较。种族和性别大致符合这些条件。残疾则不然。它的异质性达到了单一类别几乎没有分析意义的程度,因为聋人申请者、盲人申请者、有运动障碍的申请者以及有精神障碍的申请者在便利需求和互动模式上几乎毫无共同之处。它也常常未被披露,因为申请人没有义务表明身份,而且有强烈的动机不这样做。在任何单一职位招聘中,它往往发生率较低,即使存在身份识别信息,这也会使子群体比较缺乏统计效力。而根据《美国残疾人法》,分析的基本单位是个人而非群体,因为筛除主张所询问的是某一标准是否倾向于排除某位残疾个人,而拒绝提供合理便利的主张所询问的是当某个人提出某一请求时发生了什么。 这一后果值得明确说明。一个自动化甄选系统可以通过其所接受的每一项偏见审计,在所测量的每个类别上都发布明显高于五分之四阈值的影响比率,却仍然可能逐一排除残疾申请人,这种排除在个案层面可诉,却在统计层面不可见。审计结果并不是符合《美国残疾人法》的证据。如今供应商普遍将其呈现为这种证据,这就形成了一份记录在案的文件,证明雇主依赖了一种并未针对相关风险的保证。 这也是为什么那种被广泛重复的说法——设计良好的算法能减少人为偏见,从而为残疾候选人创造公平竞争环境——应被视为缺乏证据支持。这一说法对某些形式的偏见或许成立。但目前没有公开的证据基础证明其对残疾问题同样成立,而这些系统运作的机制反而暗示了相反的结论。模型对与从以往成功候选人中习得的分布的一致程度进行评分。而残疾,在这些系统最常测量的维度上,恰恰体现为对该分布的不一致。 2025年3月的投诉揭示了什么 2025年3月19日,美国公民自由联盟、科罗拉多州公民自由联盟、公共正义组织以及Eisenberg and Baum…
Read Now