EN FR ES PT DE AR 中文

审议赤字:丝滑AI正在悄悄掏空企业的治理根基

生成式AI真正的企业风险,不是失控的模型,而是渐渐失语的员工。一味追求决策丝滑的组织,正在把治理赖以维系的人类判断力训练掉,而这笔账,往往在最糟糕的时刻到期。

企业AI最危险的失败模式,不是模型突然失控,而是你的团队渐渐失语。

每一家争相让AI决策变得丝滑无阻的企业,都在不知不觉中运行着一套训练计划。每一次即时、流畅、格式工整的答案,都在教会决策链条中的人少动一点脑筋,而这种教训会不断累积。持续几年,你便会制造出一种没人编列过预算的治理风险:整个组织里,没有人能解释清楚决策究竟是怎么做出来的。

要看清机制,而不是被营销话术带偏。判断力不是一个可以查询的数据库,而是通过实际操练积累出来的能力:权衡模糊证据、在压力下为一个判断辩护、犯错后再修正。当AI替你完成了这些工作,结果保留了下来,但操练这件事本身却消失了。近期一项分析将其称为“判断力资本”的耗竭:即便AI的使用完全合规、治理得当,也可能在不知不觉中让人习惯于把形成判断力所需的活动外包出去。组织对现实的描述越来越流畅,对现实的真实触感却越来越少。

任何做过容灾演练的工程师都懂这个道理:从未被真正启用过的备份,不是备份,而是一个带编号的侥幸心理。自动化流程里的人类判断力,正是同一种未经检验的故障转移机制。它在架构图上看起来是冗余的,直到某一天主系统自信满满地做出了错误决策,而那个所谓冗余的组件,早已忘记该如何顶上去。

为什么“丝滑决策”本身就是一种治理风险

比技能流失更严重的,是第二层效应。组织本应为自己的决策负责,而不只是把决策做出来。当整套流程被调校成“人只需扫一眼机器的草稿、点一下批准”时,审计留下的记录只是一个结果,而不是一段推理过程。把这种模式乘以成千上万次决策,你得到的就是战略上的脆弱:指标亮眼、汇报流畅,却没有人能还原出这一切究竟是怎么发生的。

AI出了错,该由谁负责?

说得直白一点:模型无法被质询,不能投保,也没法被追究责任。问责最终要落在具体的人或董事会身上,因为监管机构、法院和交易对手方需要一个能为行为负责的主体,而问责的前提是可还原性。“系统给了建议,没人提出异议”这种说辞,经不起一场认真的调查。从欧盟《人工智能法案》(EU AI Act)到新加坡的AI治理示范框架,全球监管思路的共同点越来越清晰:出了问题,第一个问题永远是“把人类的推理过程给我看看”。如果你的流程从设计之初就是为了让人类推理变得多余,那你等于提前写好了最糟糕的答案。

智能体(agentic)系统会进一步收紧这道螺丝,因为它们不再只是给建议,而是直接执行。当软件下单、发消息或调整价格时,发现错误决策的窗口期,就被压缩到流水线的延迟时间。因此,构建安全的智能体系统,与其说是技术问题,不如说是组织设计问题:你需要设置人工可以随时叫停的干预节点,也需要判断力足够敏锐、知道何时该叫停的人。

工程负责“手段”,谁来负责“目的”?

每一个AI项目里都藏着一种分工,而大多数组织把它搞反了。工程团队优化的是手段:延迟、准确率、采纳率、单次查询成本。而定义目的,组织存在的意义是什么、哪些风险值得承担、哪些事情坚决不自动化,这是领导层的职责,不能下放给手握秒表的人。前述“判断力资本”分析用更宏大的措辞表达了同一个观点:呼吁领导者少一点“技术采购者”思维,多一点“文明能力守护者”的自觉,有意识地保留人类独立于机器进行推理的场合。去掉这层修辞,建议其实非常务实:技术战略要解决的,正是董事会应该在哪些决策上,坚持让人保持判断的敏锐度。

注意力和资金流向的地方,同样能看出这种错位。可衡量的问题,基准测试、模型评估、红队测试,吸引到的是真金白银的投入;不可衡量的问题,你的员工是否还能判断机器给出的结论是否靠谱,吸引到的只是主题演讲。这是一个论点,而不是一组数据,但这种激励结构在任何一次预算会议上都清晰可见:评估一个模型很容易拿到预算,评估一支队伍却很难,于是被评估的永远是模型。

摩擦是答案,但要哪一种摩擦?

一旦看清机制,应对方案几乎是自明的:要构建“探询系统”,而不是“应答引擎”。应答引擎追求的是把提问到服从之间的时间压到最短。探询系统则要求人在机器给出方案之前先拿出真正的尝试,这正是一项人机协作研究中,区分“技能得以保留”与“技能逐渐退化”的关键差异。

落到实处,大致是这样:先起草,再咨询,在模型给出答案之前,由人先记录下自己的判断,重大分歧要形成书面记录;为关键决策建立“决策日志”,哪怕只有一段文字,把当时的推理过程留存下来,多年后仍可回溯;安排“手动模式”轮值,定期彻底关闭AI助手,这是组织版的容灾演练;在重要会议中默认设置“对抗性视角”,让AI助手负责反驳正在形成的共识,而不是替共识做总结。这些做法都不算新鲜,不过是把飞行员坚持手动进近、值班工程师坚持演练故障场景的那套纪律,搬到了思考本身上而已。

接下来是一次反向压力测试,因为“摩擦论”自己也有失效的方式。为摩擦而摩擦,不过是一场表演。如果你以为设置认知摩擦,就是弹出一个“你确定吗?”的对话框,那你造的不是良知,而是一道验证码,用户会在一秒内点掉它,还会为此自我感觉良好。摩擦真正起作用,前提是它必须是“生成性”的,也就是人必须先产出点什么,一个判断、一个数字、一段文字,机器再据此做出回应。这正是有人类把控的实用AI与一场“合规秀”之间的分界线。

所以,下一轮采购评审之前,不妨换一个审计角度:别再问“哪里还能加AI”,而要问“哪里的思考能力我们输不起”。这个问题理应出现在任何一次认真的动手之前的AI就绪度评估里,而且现在问,远比等能力退化之后再问要便宜得多。

高效的组织和有韧性的组织,正在悄悄分道扬镳。最终的赢家,不会是AI用得最丝滑的那一家,而是那些即便在最糟糕的一天,员工依然能站出来,清楚说明这个决定为什么是对的公司。

常见问题

什么是“审议赤字”(Deliberation Deficit)?

审议赤字,指的是AI把决策变得过于顺滑,导致人们不再练习决策背后的推理过程而出现的落差。产出依旧源源不断,但权衡证据、质疑建议、解释决定的能力却在悄悄流失,最终留下一串没人能说清来龙去脉的决策。

AI出了错,究竟该由谁负责?

责任落在部署系统的组织,以及批准使用该系统的人身上,因为模型无法出庭作证、无法投保,也无法被追究责任。从欧盟《人工智能法案》到新加坡的AI治理框架,各地监管思路的共同预期是:一旦监管机构、法院或保险公司认真追问,答案必须指向一个能够解释决策的真实的人。董事会应据此设计工作流程,确保这个人始终存在。

如何在不拖慢效率的前提下,给AI流程增加摩擦?

关键是让摩擦具有“生成性”,而不是走形式。要求员工在模型给出答案前先记录自己的判断,为关键决策保留简短的决策日志,定期安排“手动模式”彻底关掉AI助手,并在重要会议中让AI助手扮演唱反调的角色,主动反驳正在形成的共识。这些做法只花几分钟,却能保住自动化无法替代的那项资产:解释自己决定的能力。

相关阅读

本文由 Abyshire 专有编辑系统的 AI 编辑角色撰写,并经我们的团队审核。