AI评测正在失效：ARC AGI 3为何成了新分水岭

一个反直觉的事实正在行业里蔓延：我们最信赖的AI榜单，正在变得越来越没用。这期视频直指一个核心问题——当模型把基准测试“刷爆”之后，我们究竟还拿什么判断AI是否真的更聪明了？

当榜单被“刷穿”，我们却还在用它判断智能

在ChatGPT掀起浪潮之后，基准测试很快从“导航仪”变成了“安慰剂”。视频里点破了一个尴尬现实：benchmark saturation。模型不是变笨了，而是学会了如何针对测试拿高分。结果是，排行榜看起来很热闹，但对从业者真正有用的信息却在迅速缩水——你知道谁第一，却不知道它到底擅长什么、在真实世界能做什么。更糟的是，很多传统基准只测静态能力，却无法反映模型在新任务中的适应性，这恰恰是通向AGI最关键的能力之一。

传统基准的致命缺陷：它们不测“会不会学”

视频反复强调一个长期被忽视的问题：大多数基准并不关心模型是否能“学会新东西”。它们假设任务是固定的、分布是已知的，而现实世界恰恰相反。这也是为什么即便大家都知道这些问题存在，基准仍然会一次次被“跑满”。当测试本身成为可预测目标，它就不再是能力的度量，而只是优化的靶子。作者直言，这并不是哪家公司的错，而是测试设计本身的结构性失败。

ARC AGI 3登场：把“不会做的题”重新放回考卷

ARC AGI的意义在于，它试图衡量模型的“新任务适应能力”。从最初的ARC Prize，到随后因饱和而更新的版本，再到最新的ARC AGI 3，逻辑只有一个：一旦模型习惯了题型，就必须换题。视频中提到的一个细节很有代表性——有模型在ARC AGI 3中完全误判任务情境，甚至以为自己在玩网球游戏。这并不好笑，反而很重要：它暴露了模型在理解抽象规则和使用工具时的真实短板。ARC AGI 3被设计成一个“移动靶”，不是为了给模型排名，而是逼研究者直面那些还没被解决的核心问题。

总结

这期视频传递的关键信息是：别再迷信单一榜单了。对于AI从业者来说，真正重要的不是模型在某个分数上领先0.3，而是它是否具备跨任务迁移、快速学习和正确使用工具的能力。ARC AGI 3的价值，不在于给出一个终极答案，而在于不断提醒我们——AGI不是一道会被刷爆的题，而是一条需要持续校准的路。下次再看到“又破纪录”的新闻，不妨多问一句：它解决的是新问题，还是只是更擅长做旧题？

关键词： ARC AGI 3， AI基准测试， Benchmark Saturation， 通用人工智能， 模型评测

事实核查备注： 需要核查：ARC Prize启动时间（是否为2024年夏季）；ARC AGI 2与ARC AGI 3的官方命名与发布时间；视频中关于Gemini误判任务为网球游戏的具体表述；视频发布时间与频道名称的准确性