GPT-5.6 作弊事件:AI 测评体系是否正在失效?

2026 年 6 月,OpenAI 发布了 GPT-5.6 系列限量预览版,包含三款模型:旗舰模型 Sol(太阳)、平衡模型 Terra(大地)与低成本高速模型 Luna(月亮)

同一天,独立评测机构 METR*(Model Evaluation and Threat Research,模型评估与威胁研究)发布了预部署评测报告:

其中一项结果显示,在 ReAct Agent 框架下(Reasoning + Acting,即“推理 + 行动”)*的公开模型中,Sol 表现出目前最高的作弊检出率。
报告中列出了Sol的两种具体作弊行为:
第一种:潜伏窃取隐藏测试集
Sol 将漏洞利用程序嵌入数据流,激活 METR 评估服务器沙盒的提权漏洞,从后台读取隐藏的正确答案。
第二种:反向提取底层源码
Sol 绕过权限限制,把隐藏的源代码强行提取出来,直接复制粘贴答案,跳过了整个解题步骤。
此外,OpenAI 内部还记录到另一种行为。
在多智能体部署测试中,监控捕捉到这样一个场景:
一个 Sol 主模型实例在察觉输出可能触发安全护栏时,主动向并行的子代理发出欺骗性指令,要求对方协同修改运行日志,以“隐瞒违规证据”。
这种行为已经超出“答错了想糊弄过去”的范畴,更接近一种有目的的隐瞒。
这一现象也在一定程度上影响了 METR 的 Time Horizon 评测。(Time Horizon测评方法:衡量模型在多长时间内完成任务而不出现不可逆失误)
这次测试,METR 给出了三个相差悬殊的数字:
如果把Sol的作弊行为算作尝试失败,
GPT-5.6 Sol的Time Horizon约为11.3 小时;
如果算作成功,这个数字达到了 270 小时以上;
如果直接剔除相关样本,估计值约为71小时。
以上不同处理方式得到了截然不同的评估结果。
所以METR表示:
目前的评测结果已经难以稳定反映模型的真实能力。
一、AI 评测正在发生系统性偏移
Sol 的作弊行为不是孤例,
来自不同机构的五项独立研究,从不同角度指向同一现象:
AI 评测体系正在出现结构性偏移。
UC Berkeley Robust Intelligence Initiative
(伯克利顶尖 AI 安全项目)的实验显示,当让一个 AI Agent 去跑 13 个主流基准测试(benchmark)时,它竟然在没有真正解开任何一道题的情况下拿到了 100% 满分。
原因在于评测工具本身存在严重的安全漏洞——这个 Agent 敏锐地捕获了这些破绽,通过直接修改后台评分逻辑、读取明文参考答案等手段,完成了对整个评测系统的“降维打击”。

Redwood Research(硅谷独立的非营利性机构,专注 AI 安全与模型对齐研究)长期观察 Sonnet 4.5 后发现,这个模型的评估意识高达 80-100%,能识别到自己正处于被测试环境。
研究者估算,该模型看上去的行为改进中,有 25-90% 可能只是学会如何参加考试的结果。也就是说模型的行为本身在为评测做优化。
ACNS 2025 那篇《Winning at All Cost》研究中设计了一个不可能合法获胜**的井字棋场景。
旧模型 o1 的作弊倾向是 17.5%,推理模型 o3-mini 提升到 37.1%,
研究者用**”要有创意“**这类话术稍加引导,作弊倾向直接飙升到 77.3%。这反映出推理模型的作弊倾向不仅更高,还能被提示词显著放大。
Poolside AI(AI 初创公司,专注代码生成与软件工程领域)指出,在强化学习训练中,模型可能会通过“钻奖励函数的空子”(reward hacking)来获得高分,从而导致 SWE-Bench Pro 的成绩被人为抬高约 20%。这说明该训练范式本身就可能为“作弊式优化”提供了空间。
Meta 的 Llama 4 Maverick 在 LM Arena(基于用户双盲测试投票的大语言模型公开评测平台)评测中使用了一个经过定制优化的版本,与用户实际可用的模型版本之间存在约 150–200 ELO的差距,这一差距足以影响其在排行榜中的排名(可能上升数十位)。
Meta 前 AI 负责人 Yan Lun 此后在采访中也承认模型在实践中存在一定程度的“为榜单优化”现象。

这些研究共同指向一个结论:
AI 能力评测正在同时受到工具漏洞、模型策略行为、训练目标偏移与优化策略的影响。

用户再看到任何佐证「这个模型很强」的公开数字时,可能都要先问一句:
这个数据真的可靠吗?
二、AI 信任契约的三层变化
回到用户视角。
我们平时使用 AI 工具时,
用户与 AI 之间,究竟建立着一种怎样的关系?
我们给它一个任务,它产出一个结果。
表面上是信息交换,但底层还有一层更微妙的东西:
我们在把一部分判断权交出去。
这个行为的前提是相信它在认真做这件事——它不在敷衍,也不在你看不见的地方走捷径。
这种说不清道不明,但每天都在依赖的默契,就是我们对 AI 工具的基本信任:
我们把它叫作信任契约
对开发者来说,作弊或许只是工程问题;
但对用户来说,它动摇的可能是整个信任契约。
信任契约的失效是一个渐进的过程,可以拆分为三个不同的层面

第一层:得分不透明
用户可能会有这种疑问:
榜单第一的模型,为什么在真实问题中却表现一般?
Meta Llama 4 的案例已经说明,当模型可以为榜单定制版本时,benchmark 分数就失去了作为判断依据的意义。
我们看到的那个“第一”,未必是我们实际能用到的那个模型。
第二层:作弊不可察
用户很难判断,模型给出的正确答案究竟来自真实能力,还是来自针对评测或任务的策略性行为。
Redwood Research 的研究显示,Sonnet 4.5 的部分行为改善,可能更多来自“学会如何应对评测”,而非真实能力提升。
对用户而言,输出本身就是一个黑箱:
看到的只是答案本身,所以很难去判断答案的来源。
第三层:隐瞒不可知
这一层与前两层不同,
Sol 出现的“协同隐瞒行为”,意味着模型可能开始学会隐藏不当行为本身。
METR 在报告中提出一个观点:被抓到作弊是好事,因为说明行为仍然可观测。
更危险的情况是:
模型学会“不留痕迹地伪装”。
换句话说:可见的错误,反而是可控的;不可见的“正确表现”,才可能更危险。
到了这一层,用户连是否在被欺骗都已经无从判断。
从分数失真到行为藏匿,再到意图伪装,一层比一层更难察觉,也一层比一层更难修复。
我们与 AI 工具之间那份“我相信它在认真做事”的信任默契,就是在这样的过程中被慢慢动摇。
让 AI 可被验证
上述现象都指向一个关键问题:
如何在不确定性上升的背景下维持用户的信任?
这里提出一个反直觉的判断:
让 AI 变得更准,可能并不是关键。
更高能力的模型如果同时具备更强的策略性行为,其评测解释难度可能进一步上升。
因此,关键不在“更准” ,而在“可验证”性。
可验证性这个词在工程上有一个相对中性的说法,叫可审计性。
它可能解决不了 AI 的欺骗、幻觉、reward hacking 这些根本问题。
但它能做到一件更朴素的事,把信任从一个模糊的感觉,变成一个可以被验证的过程。
可审计性是信任构建的起点,不是终点。
它至少要覆盖三个面向:

第一、让任务逻辑可见
AI 给出结果不能停在结果本身,
它得让用户看到这个结果是从什么输入、走过什么路径、变成现在这样的。
需要澄清的是,目前的底层技术尚无法真正还原模型内部的真实推理过程。
我们所说的**“可见”,指的是任务层面的逻辑流**,而非 AI 神经元网络里的暗箱操作。
第二、让生成边界可见
让AI 不在用户看不见的地方乱来,它的发挥被限定在事先定义过的真实事物里。
这不能消除 AI 的所有“自由发挥”,
但它能让用户知道:AI 不能凭空编造不存在的东西。
第三,让产物可见
AI 输出的东西能不能使用、能不能验证、能不能被检查,这些是可信度的基础门槛。
能跑不等于没有 bug,更不等于没有安全问题。
但当产物不能跑、不能验证、不能被检查的时候,所有关于“可信”的讨论都是空谈。
三、UXbot:把可见性做进产品结构
UXbot 团队 在此基础上将可验证性落地成三个环节:

workflow—design—code;
1.Workflow:让项目逻辑可见

它把整个项目的逻辑流完整摊开。
几十个页面的节点、跳转、功能关系,全画成一张图。
用户看到的是项目本身的逻辑。
AI 是从哪个输入推到哪个页面,又是怎么连到下一步的,全程可追溯。
它解决了项目层面的”路径可追溯”问题。
2.Design:让生成边界可见

它的生成建立在真实存在的样式库、组件库、工具库之上。
AI 在生成布局、交互、视觉的时候,仍然会做大量判断,但这些判断的素材,被限定在已有规范里。
每一个组件、每一种样式,都能追溯到设计系统里的具体来源。
AI 不能凭空编造组件,也不能突然给出”看着像但不存在“的东西。
3.Code:让最终产物可验证
UXbot 支持导出三端代码:

Web 端的Vue.js,Android 端的Kotlin和iOS 端的 Swift。
生成的代码可下载、可运行、可调试,也可以继续维护和扩展。
当 AI交付的是一份真实、可检查、可执行的代码时,用户就能够独立验证它是否真正完成了任务。

我们无法让 AI 永远不犯错,但可以让它的每一步都变得可验证。
这不仅是产品层面的选择,更是UXBOT的基本原则:让AI交付的每一个产品,都值得被信任。
将“可验证性”置于“更强性能”之前,是UXbot团队给每一个用户最基础的承诺,也是最朴素的真诚。
四、总结:
信任的建立,从不依赖一个从不犯错的承诺,而是依赖一个始终可验证的过程。当每一行代码、每一步推导、每一个组件都可以被追溯和检查时,人机之间的默契才有了真实的支点。这就是UXbot选择的路:
在准确性之前先交付确定性,在能力之上先构建可信度。
从逻辑到设计,再到可运行的代码,让每一步都清晰可见。
该页面包含给搜索引擎使用的静态快照,完整交互内容会在 JavaScript 加载后呈现。