近日杨立昆与其团队在新发布的论文《LeWorldModel基于像素的稳定端到端联合嵌入预测架构》中介绍了一种新的世界模型LeWorldModel(LeWM) 这一模型可以端到端的训练无需任何技巧同时拥有15M参数、能在单GPU上训练且推理规划时间低于1s。AI教父、图灵奖得主、前Meta首席科学家杨立昆Yann LeCun带着自己的世界模型新作来了当下AI领域最热门的LLM知道物理定律、能写数学公式但却无法预测真实的物理轨迹。在通往通用人工智能AGI之路上对于AI缺乏物理常识这一关卡世界模型正在全力突破。近日杨立昆与其团队在新发布的论文《LeWorldModel基于像素的稳定端到端联合嵌入预测架构》中介绍了一种新的世界模型LeWorldModel(LeWM) 这一模型可以端到端的训练无需任何技巧同时拥有15M参数、能在单GPU上训练且推理规划时间低于1s。一个参数只有15M的世界模型只花数小时便能在单GPU上训练完毕推理规划时间低于1s比基于基础模型的世界模型快了整整48倍还自发涌现了对空间结构和物理规律的理解。这简直是机器人的天选大脑。X上有人硬核评论“太棒了我很高兴地看到感知矫正再次被证实是捕捉潜在动态的伟大模型的涌现能力”还有人说道“这意味着你可以在边缘硬件上部署这些功能实现实时机器人规划。”也有可爱的朋友评价“JEPA看起来很有希望从像素到端的世界模型无需启发式正是该领域所需要的。干得好”世界模型的“偷懒”什么是表示崩溃LeWM的模型架构JEPA联合嵌入预测架构是由杨立昆于2022年提出的他将其视为通往AGI的关键。但 JEPA 非常容易崩溃因此在四年间备受诟病。而这篇论文的工作正是解决了JEPA在训练时出现的“表示崩溃”Representation Collapse这一顽疾。世界模型的核心目标是最小化“预测状态”与“实际状态”之间的预测误差MSE为了让预测误差最小模型产生了一种“表示崩溃”现象无论你给它看什么图片编码器都输出一串全为0的向量。既然输入是0预测也是0那误差不就是0吗就通过这种“偷懒”的方式模型希望骗过开发者。为了堵住这个漏洞以前的研究者不得不加上各种复杂的“补丁”搞出6个以上的超参数调得头皮发麻必须用别人练好的预训练模型不能自己从头学加入各种数学上的“偏方”如EMA、停止梯度更新等。ImageLeWorldModel引入SIGReg项治好AI的“偷懒”杨立昆团队发现通过在JEPA中引入SIGReg各向同性高斯正则化器这一防塌缩项对解决“表示崩溃”问题十分有效。这一项就像一个“教导主任”强制要求模型产出的向量必须符合高斯分布正态分布。你想缩成一个点崩溃不行你想乱成一团也不行 向量必须优雅地散开。这就逼着AI去认真提取图片里的物理特征。有了SIGReg项后不必要的超参数都可以去除JEPA简化到极致只具有2个损失项MSE预测误差和SIGReg防塌缩项。与同类模型相比可调超参数从 6 个减少了到 1 个即公式中λ。因此首个能够直接从原始像素进行“稳定端到端”训练的 JEPA 模型就出现了而且不需要复杂的训练技巧或预训练的编码器。只因将JEPA简化到其本质LeWorldModel便获得了前述中轻量、易训练、快速的优异性能它开始自发懂了物理“惊奇量”评估LeWorldModel最神奇的地方在于研究者发现没人教它物理它自己领悟了。通过一种叫“探测Probing”的实验研究者发现即使不给标签LeWM的潜空间里也清晰地编码了物体的坐标、速度和角度。更独特的是“惊奇量surprise-quantification”评估。当你给这个模型看一段违背物理常识的视频比如球凭空消失它的预测误差会瞬间飙升。这意味着它“知道”正常的物理世界不该是这样的。这种能力正是机器人走向现实世界最需要的“物理直觉”。写在最后LeWorldModel的出现让我们看见了AI新的未来。他们的研究证明在不依赖大规模算力和复杂预训练模型的情况下也能训练出高性能的世界模型且在GitHub上分享了相关代码这对世界模型的研发普及化具有重要的意义。模型极快的规划速度1s更适合需要实时响应的在线模型预测控制MPC场景这意味着机器人能获得反应极快、懂物理的“小快灵”大脑提升自身的控制效率。此外这项工作消除了难以解释的训练技巧使用定义明确的统计目标高斯分布匹配为构建更稳定、更具解释力的生成式 AI 系统提供了新的思路。不过目前也仍存在部分局限性当下只能做到短期的决策规划方法依赖的离线数据集收集困难或成本高昂依赖于动作标签来预测未来状态而这种标签获取成本高。针对这些问题团队也指出了分层世界建模、在大规模且多样化的自然视频数据集上进行预训练、通过逆动力学建模来学习未来动作表征的解决方向。但是一个稳定、不崩溃、且能高速演算未来的世界模型让我们对世界模型的发展更加充满期待参考链接https://arxiv.org/abs/2603.19312https://github.com/lucas-maes/le-wm