机器之心编辑部在大模型「卷生卷死」的今天大家似乎已经习惯了模型在各大榜单上刷出逼近满分准确率。然而在一项名为 ARC-AGI-3 的基准测试中堪称当下「最红炸子鸡」的两款顶尖模型 ——OpenAI 的 GPT-5.5 和 Anthropic 的 Claude Opus 4.7却双双「折戟」……近日ARC Prize 官方发布了针对这两款顶级模型的详细分析报告结果令人震惊在面对未见过的逻辑任务时两者的表现得分均低于 1%GPT-5.5 得分 0.43%Claude Opus 4.7 得分 0.18%。这意味着即便拥有千亿级参数和近乎无限的算力这些模型在处理「全新逻辑环境」时的表现甚至不如一个 6 岁的儿童。这是怎么一回事ARC-AGI-3智能的「真伪试金石」为了更好理解这一成绩首先我们来了解一下 ARC-AGI-3这是由 Keras 之父 François Chollet 创立的基准测试系列的最新一代于今年 3 月分布。François Chollet 当时称当一个 AI 系统在首次接触所有环境时其行动效率能够达到或超过人类水平才算真正「攻克」ARC-AGI-3。而根据团队进行的大量的人类测试结果来看在没有任何先验训练、没有任何说明的情况下人类在第一次接触时可以 100% 解决这些环境中难题与此同时目前所有前沿的 AI 推理模型在这一测试上的表现都低于 1%。彼时OpenAI 的 GPT-5.5 和 Anthropic 的 Claude Opus 4.7 还没有发布如今来看这两个模型也同样难逃这一结果。具体来看ARC-AGI-3 是由 135 个全新环境组成的测试集每个环境都由人类手工设计用来测试模型面对「未知」的能力。对于测试者来说无论人类还是 AI进入环境中将不会获得任何的玩法说明要前进取得进展必须做到以下几点探索未知界面 从稀疏反馈中推断规则构建世界模型 提出并验证假设 从错误中恢复 将经验迁移到下一关持续学习。每个环境的构建都缺乏模型通常依赖的文化知识只保留「抽象推理能力本身」。换句话说可以把 ARC-AGI-3 理解为一个在「新颖性、模糊性、规划、适应性」上的最低共同测试集合而这些正是现实世界任务对智能体的核心要求。因此ARC-AGI-3 也被公认为目前最接近「人类智能本质」的测试。顶尖模型纷纷「败北」背后的三大失败模式此次GPT-5.5 和 Claude Opus 4.7 的表现得分均低于 1% 的成绩固然令人「心痛」但比起成绩知道背后的失败原因似乎更重要。ARC Prize 研究团队通过分析 160 组完整运行轨迹包括模型的每一步操作和推理过程总结出了导致模型「崩溃」的三大核心失败模式一、真实的局部反馈虚假的世界模型模型能够理解哪一步动作产生了变化局部反馈但无法将这种因果效应转化为一套通用的全局规则。这是一个最为明显的原因。比如在一个需要旋转物体以匹配插槽的任务中模型能够识别出「我按下这个键物体可以旋转」这一局部规律但它无法将此逻辑上升为全局目标进一步推理出「旋转会影响结果因此我需要在行动前调整物体方向以匹配目标。」换句话说模型失败不是因为它们「看不见」而在于无法把观察的事物整合成一个完整的世界模型。比例Claude Opus 4.7 在运行任务 「cd82」 时在第 4 步已经意识到执行 「ACTION3」 可以旋转容器随后在第 6 步也观察到执行 「ACTION5」 可以倾倒或蘸取油漆。然而它始终无法将这些碎片化的认知转化为一个完整的逻辑策略即「先调整桶的方向然后再蘸取油漆以还原左上角的目标图像」。Claude Opus 4.7 理解 ACTION3 旋转物体但未能理解游戏的概念。或者在任务 「cn04」 中Claude Opus 4.7 虽然发现了一个成功的「旋转后放置」交互逻辑这是正确的假设见第 23 步但随后却陷入了追求「整体形状重叠」的误区错误假设并为了追求「顶行进度」的假象而偏离了目标见第 60 步。二、被训练数据「绑架」的抽象思维模型对当前环境产生了误判由于受到训练数据的影响它们会将一个全新的「ARC-AGI-3」任务误认为是在玩另一种已知的游戏。这种失败模式源于模型对训练数据的「错误抽象」在多次运行中模型反复尝试通过将其映射到已知游戏来解释陌生的机制这些游戏包括「俄罗斯方块」「青蛙过河」「推箱子」「粉末游戏」「填充颜色」「打砖块」等。虽然从核心先验知识中提取抽象概念在理论上有助于解决问题但这些来自训练数据的字面类比反而「绑架」了模型的动作选择从而演变成局部视觉相似、导致被误认为完整的游戏规则、行动方向被带偏。比如在任务 「cd82」 中GPT-5.5 的思维被锚定在了流沙、物理模拟或 「填充颜色」的游戏机制上而在任务 「ls20」 中它将本应是按键组合的逻辑误判为了「打砖块」。三、通关了关卡却没学会规则模型侥幸通过了某个特定关卡却无法利用那个成功的奖励信号来强化并执行正确的后续操作。这说明「通关并不等于理解」。Claude Opus 4.7 的两次记录很好地说明了这一点。在任务「ka59」中Claude Opus 4.7 用 37 步完成了 Level 1但它对「点击」这一操作的理解其实是错误的 —— 它认为点击是在「传送当前角色」。虽然结果看起来像是一次干净利落的胜利但本质上只是对底层机制的误读恰好碰上了一个比较宽容的关卡。因此当进入 Level 2需要真正的机制形状匹配与推动时Opus 将这种错误理解进一步固化为「点击每个目标来填充它」结果可想而知整个过程彻底偏离、崩溃且无法恢复。Opus 4.7 正在运行任务 「ka59」陷入了「盲目点击Click-fishing」的死循环游戏得分2.04%。在「ar25」任务中也是如此。Opus 在 Level 1 通过对「镜像移动」的正确解读成功通关见第 4 步随后在 Level 2它实际上已经发现了新的「可移动轴」机制见第 227 步但紧接着它又陷入了幻觉开始臆想出诸如「打孔」或「需要翻转」等并不存在的规则。在这两种情况下Level 1 的成功掩盖了模型对底层机制的缺失或扭曲这种「局部胜利」反而为错误的 Level 2 策略提供了一个看似自信的支撑框架。这也说明早期关卡的推进并不能可靠反映模型是否真正理解了任务。如果没有明确检验模型「为什么能过关」它就会把错误的认知带入下一关并在此基础上不断放大偏差。GPT-5.5 vs Opus 4.7不同的「翻车」姿势有意思的是虽然 GPT-5.5 和 Opus 4.7 的得分成绩都不尽如人意但研究团队通过对比两者的运行记录发现它们的失败方式完全不同。简单来说就是Claude Opus 4.7 的问题是「压缩错了」而 GPT-5.5 的问题则在于「压缩不了」。具体来看Opus 4.7 在短周期的机制发现方面表现更强。例如在任务「ar25」中它几乎立刻识别出镜像结构并顺利通过 Level 1在任务「ka59」中即便世界模型并不完整它也能读出「双角色、双目标」的布局并完成较短的 Level 1 操作序列。但问题在于它也更容易抓住一个错误的「恒定特征」并坚定执行下去。比如在任务「cn04」中它构建了一套「进度 / 计时 / 转换」的错误理论并在这一假设下不断尝试操作第 60 步。它确实形成了一套「可运行的解释」只是这套解释是错的。GPT-5.5 则是另一个极端。它的「假设生成」更广泛这使得它更有可能说出正确的思路但同时也更难将其转化为具体行动。比如在任务「ar25」中它识别出了镜像效应但不断重新打开「可能的游戏类型空间」在「俄罗斯方块」「青蛙过河」「乒乓球」「汉诺塔」之间反复横跳始终无法坚定地执行镜像逻辑。而在任务「ka59」中它也构建出了正确的对象结构 —— 两个目标轮廓和一个可切换的第二角色 —— 但始终没有真正执行这一理解。换句话说Claude Opus 4.7 有点像「过度自信的直觉主义者」GPT-5.5 则像「思维发散的理论家」。而归根结底两者之间的这种差异在于「压缩」能力的区别Claude Opus 4.7 将观察压缩成了一个「自信但错误」的理论而 GPT-5.5 则几乎无法完成压缩始终停留在分散的可能性之中。不得不说此次 Claude Opus 4.7 和 GPT-5.5 双双在 ARC-AGI-3这一堪称目前最接近「人类智能本质」的测试上的低分表现揭示了一个事实AGI 之路「道阻且长」啊。你呢如何看待 AI 的这一成绩欢迎在评论区留言、交流参考链接https://x.com/fchollet/status/2050328852107612559https://arcprize.org/blog/arc-agi-3-gpt-5-5-opus-4-7-analysishttps://x.com/GregKamradt/status/2050262126120632554© THE END转载请联系本公众号获得授权投稿或寻求报道liyazhoujiqizhixin.com