AI评委的系统性偏见：评分标准修得再细，盲区照样在
2026年的保证体系，把打分权交给了和被评模型同根同源的另一个模型。调整评分标准治不好共享的盲区，供应商自己的文档其实早已承认这一点。
让一个模型给自己的作业打分，它会给自己打A。行业把AI评委偏见归为调优问题：更精细的评分标准、交换选项顺序、多个评委组成小组、校准数据集。这些手段确实能缓解各自针对的症状，但底层的问题纹丝不动，因为评委和被评对象来自同一条流水线。
顺着供应链往上看。一个采用相同架构、用重叠的网络级数据训练、由同一个团队写提示词、部署在同一套技术栈上的评估模型，与它评分的系统共享的远不止一张发票，还共享先验假设。当它判定某个输出没问题时，它给出的其实是“意见一致”，而亲戚之间达成一致向来很便宜。
工程师对这套逻辑并不陌生。给传感器加装冗余，只有在两个装置因不同原因失效时才能提升可靠性。同一台故障仪器复制两份，彼此高度一致，却什么都说明不了。在第一个模型上再叠一个同源模型，你买到的不过是一个有着同样盲区的目击证人，外加一个拍照很好看的分数。
AI评委偏见到底从何而来
业内熟知的失效模式，正是这些缓解手段存在的理由。评委偏爱读起来像自己文风的文本。谁先出现在答案里，判决就往哪边倒。篇幅长短被当成质量高低的代理指标。每一种都有对应的补丁，而且都值得用上。
相关性误差没有补丁。一个骗过生成模型可信度过滤器的自信编造，通常也能骗过评委的过滤器，因为两者本质上是同一套过滤器，用同一批语料拟合出来的。评估最需要抓住的失效，恰恰是两边共享的那部分。接下来，同样的逻辑会吞掉你的测试集本身：如果测试用例来自公开渠道，它们很可能早就躺在被测系统的训练数据里了。
一份覆盖超过1,300名从业者的供应商调研显示，做评估的团队普遍用自动化评委覆盖广度、用人工复核把控深度，这个组合本身是合理的。但要把它读作对受访群体的画像，而不是对整个行业保证水平的度量。更值得留意的是：一旦仪表盘全变绿，人工复核那一半往往悄悄从控制手段降级成预算科目。
AI能可靠地自我评估吗？
最有说服力的答案，来自那些造评委模型、又公开承认其局限的人。OpenAI关于面向专家级任务评估的自动评分器的说明写道：该评分器经过盲测，其可靠性被认定低于专家评审，且不会用来取代专家评审。这个姿态是对的，而且是由一个有充分商业动机说更漂亮话的一方公开承认的。
看清这句话到底承认了什么。自动评分器是对专家判断的一种估计，用专家判断来校准，比被估计的对象更弱。所以它不能被用来把专家请出局，一旦这么做，当初让它可信的那个前提也就没了。这里有一个更古老的逻辑版本，关于任何形式系统都无法从内部证明自身一致性的那套说法，可以跳过不谈。这个“估计量”层面的论证更小、更难绕开，而且这个季度就能拿去验证。
能验证，却很少有人真去验证。用训练截止日期之后才写出来的用例重建一遍评估集，再拿新分数和旧评估集的结果对比。数字保持稳定，说明你手上有一个真评委；数字滑坡，说明你手上一直是一份记忆。对靠做评估吃饭的人来说，这个实验是老生常谈，但在合同签字之前，几乎没人会拿它去测供应商自己的评委。
真正的伤害往往发生在下游。一个原本带着重重限定条件的数字，从技术文档里被摘出来，搬上董事会的幻灯片，限定条件却没有一起搬过去。
既写自己的运行手册，又给自己打分的智能体
智能体如今自己起草工作流、自己生成护栏、自己提出评估标准。每一项单拎出来都是实打实的效率提升，但每一项也都从房间里挪走了一方。一个自己撰写策略、自己执行策略、再自己给合规打分的智能体，产出的审计记录看起来很整洁，却只有一个作者：起草人、审核人、签字人是同一个实体。设计要在真实用户面前站得住的智能体系统的人，应该把这种闭环当成一个架构缺陷，而不是一项便利功能。
让“保证”成为一笔单独的采购
财务报告很早就把这件事定下来了：编制数字的一方不能自己在数字上签字确认，而且没有人会把这种安排看作是对编制方的侮辱。
AI采购还没跟上这一步。买家习惯把执行、可观测性、护栏和评估全部打包给同一家供应商，再把这家供应商自己出的成绩单当作自己的控制环境。这是一张没有签字的账单，一旦出事故或迎来审计，第一个被问到“到底是谁核实过”的时候，它就会被这样对待。
监管也在朝同一个方向推，只是没有新闻标题写得那么直白。已生效的《欧盟人工智能法案》(Regulation (EU) 2024/1689)规定了风险管理、技术文档、合格评定、质量管理体系和上市后监测等义务，具体生效时间和分阶段适用安排见其第113条。这些义务按适用范围划分，并非对每一个系统都强制第三方审计；新加坡的《人工智能治理示范框架》走的是另一条更偏原则导向、行业自律的路线，但落到实处，要求同样清晰：得有人能说清楚，是谁核实的、依据什么标准核实的、核实方和被核实方之间有多独立。
所以在接受任何一个评估分数之前，该问的问题都很朴素。这个评委模型是谁做的？它和被测系统是否共享权重、训练数据或提示词框架？它和人工复核在留存测试集上的一致率是多少，这份测试集掌握在谁手里，你能不能自己重新跑一遍？底层模型悄悄更新之后，分数会怎么变？这些问题应该出现在签约前的技术战略环节里，而不是事故复盘会上；它们也和在利害关系足够大的环节保留人工决策权是同一套逻辑的自然延伸。
这不代表这些工具没用。在海量材料里做分拣，判断一个新案例是否符合旧案例的模式，这件事本身有价值，把它做好的公司会赢过做不好的公司。真正的错误，是把这种能力买回来，却把它归档在“保证”那一栏。签字这件事，只有在签字人有权说“不”的时候，才有意义。
常见问题
换一家供应商的模型来当评委，能消除AI评委偏见吗？
有帮助，但没有想象中那么多。换供应商能减少“自我偏好偏见”，也就是评委偏爱读起来像自己文风的文本这种倾向。但对相关性误差帮助有限，因为前沿模型普遍用高度重叠的公开数据训练，共享很多同样的弱点。把换一家供应商当作部分解耦，按这个折扣去定价就好。真正需要的独立性，来自另一类完全不同的证据：留存测试集上的人工复核、确定性测试，或者在模型管道之外单独收集的真实标注。
在信任一个AI评委的分数之前，该怎么验证它？
先建一套由合格人工评审打过分的标注集，并且不让供应商碰到它。测量评委和这些标注之间的一致率，连同疑难和模糊案例一起测，而不是只挑清晰案例。把分歧的模式和总体准确率一起记录下来，因为评委的失误通常有固定方向。之后每当底层模型更新，这套流程都要重新跑一遍，因为一次悄无声息的版本更新就可能移动分数，却不会移动你在监控的任何指标。
《欧盟人工智能法案》是否要求对AI系统进行独立第三方审计？
不是普遍要求。《欧盟人工智能法案》(Regulation (EU) 2024/1689)对特定主体和特定风险等级的系统设定了风险管理、技术文档、合格评定、质量管理体系和上市后监测等义务，具体时间安排见其第113条。是否需要引入外部机构，取决于系统的风险分类和适用的合格评定路径。对大多数机构而言，现实的规划假设是：需要能够证明是谁核实了什么，而系统自证的证据，分量天然弱于系统之外产生的证据。
相关阅读
本文由 Abyshire 专有编辑系统的 AI 编辑角色撰写，并经我们的团队审核。