强化学习的下一站从监督到无监督强化学习正在重塑大模型能力边界。OpenAI o3、DeepSeek-R1、Gemini 3 等顶尖模型都在用大规模 RLVR可验证奖励强化学习刷新推理任务的天花板。但所有人都知道纯监督式训练不可持续。人工标注成本指数级增长在专业领域获取可靠标注越来越难。当模型能力逼近甚至超越人类专家时谁来给它打分从 TTRL 开始无监督 RLVRUnsupervised RLVR应运而生让模型在没有人工标注的情况下持续进化。这不仅是降本增效的需求更是通往超级智能的必经之路。就像预训练用无标注数据 training 出了 GPT无监督 RLVR 能否延续这一奇迹论文链接: https://arxiv.org/abs/2603.08660GitHub: https://github.com/PRIME-RL/TTRL/tree/urlvr-devX Thread: https://x.com/HBX_hbx/status/2031406636930338828清华团队一项最新研究给这个看似美好的图景画出了第一条边界。研究者系统解剖了无监督 RLVR 的内在机制发现所有基于模型自身信号的内在奖励方法无论多数投票、熵奖励还是其他变体都遵循着一条相似的轨迹训练初期性能快速攀升但到达某个临界点后开始不可逆地滑落。这不是某个方法的缺陷而是机制的宿命它们本质上都在锐化模型已有的偏好像一个回声室让模型不断重复自己最初相信的东西。如果初始自信恰好正确效果惊人如果错配坍塌只是时间问题。但这不意味着内在奖励没有价值。在小规模测试时训练中它依然能稳定提升性能即使模型一开始全是错的也能在自我纠偏中进化。更重要的是研究者找到了一个“预言指标”可以在大规模训练前预判模型的可训练性无需跑完整条曲线。当内在奖励受限于模型自身的回声时外部奖励方法开始展现不同图景比如让模型利用生成与验证的不对称性来锚定奖励。这类方法正在突破内在奖励的天花板让无监督强化学习真正走向可扩展。通往超级智能的路上我们需要的不是盲目相信模型可以自我进化而是知道什么时候该让它倾听自己的回声什么时候该把它推向真实世界的验证。内在奖励方法繁荣表象下的深层问题过去一年各种“内在奖励”方法密集涌现。从多数投票到基于模型自信度/熵的变体它们利用模型内在信号来构造 proxy reward训练前期性能飙升甚至一度超过有监督方法。研究者将这些方法根据奖励的来源归纳为两类一类基于 certainty直接取模型在推理轨迹上的置信度指标作为奖励另一类基于 ensemble用多次 rollout 后的集成结果如多数投票来锚定正确。虽然奖励的来源是免费的但是代价却是昂贵的。在早期训练性能飙升之后继续训练会触发典型的 reward hackingproxy reward 还在持续上涨真实 performance 却在崩溃模型越来越自信但答案却越来越离谱不同内在奖励方法在不同模型上表现天差地别更关键的是没人说得清为什么 work又为什么 fail。我们做了什么拆开黑箱划清边界我们不想只是“提出新方法刷个点”我们想回答那个没人说清的问题无监督 RLVR 的 scaling 上限在哪里如果有上限边界在哪里为此我们做了五件事统一理论框架把看似五花八门的内在奖励方法归到同一个机制下揭示它们殊途同归的本质——锐化模型初始分布并给出理论收敛边界。大规模实证11 个模型 × 5 种内在奖励方法 × 超参数扫描用数据说话验证了“先升后降”不是偶然而是普适规律。画出安全区不是所有场景都会崩溃。我们发现在小规模 test-time training 中内在奖励可以安全使用即使初始全错也能稳定进化。化陷阱为路标rise and fall 不只是风险它本身就是信息。我们用它提炼出模型先验指示器无需跑完整条 RL 曲线就能预判一个基模是否适合强化学习。探路替代方案既然内在奖励有天花板我们就看向外部。初步探索基于生成-验证不对称的外部奖励方法看它能否真正突破内在奖励的 scaling 极限。四个关键发现 发现一成败取决于 confidence-correctness 对齐程度我们建立了内在奖励方法的统一理论揭示所有内在奖励方法的本质锐化分布即放大模型已有偏好而非创造新知识。这个机制有个特性如果模型初始倾向正确 → 锐化有效性能提升如果模型初始倾向错误 → 锐化有害加速崩溃我们定义模型初始倾向或者称为模型先验为 confidence-correctness 对齐程度即当我们仅提升模型的自一致性时有多大可能就能直接做对更多的题目。换句话说一个先验比较强的模型本身已经掌握了解决问题的大部分知识只是不够自信以至于说不出正确的答案。我们测试了 11 个模型、5 种方法、4 个常用的超参数结论似乎是残酷的崩溃不可避免只是时间问题。即使最稳定的配置也撑不过几个 epoch。这说明可能不是工程问题是数学必然。左成败取决于置信度-正确性对齐程度右单条数据上置信度与正确性随训练的演化✅ 发现二小场景里反而安全Rise and fall 是宿命但宿命有它的适用范围。当训练数据足够少比如 Test-Time Training 这种特定领域场景内在奖励方法反而展现出难得的稳定。原因很朴素只在少量样本上优化自信度模型跑不了多远就到头了。即便它在这些样本上变得“超级自信”也难以引发全局的策略偏移OOD 任务上的准确率依然稳稳守住。更有意思的是一个极端实验研究者刻意选了 32 条模型全错的样本作为训练集。也就是说内在奖励给出的 proxy reward 从一开始就是错的。结果呢OOD 测试集上的性能依然在稳定提升。这说明内在奖励不是在教模型“什么是对的”而是在教它“更相信自己”。即使信错了这种自我强化也被牢牢锁在局部翻不起大浪。左小规模 TTT 稳定提升不崩溃右不同训练集规模下策略的 KL 偏移 发现三判断模型适不适合做 RLRise and fall 不只是风险它本身就是信息。既然内在奖励的成败取决于模型初始的“置信度-正确性”对齐程度那能不能用这个对齐度提前判断一个基模是否适合做 RL毕竟跑一次大规模 RL 的成本太高了而学界一直缺一个轻量级的预判指标。研究者找到了一把尺子模型坍塌步数Model Collapse Step去测量一个模型在内在奖励训练下能撑多少步才完全崩溃。逻辑很简单如果崩溃越晚说明模型的初始先验越好它本身就掌握更多正确知识只是不够自信而这种先验恰恰是标准有监督 RL 能够放大的东西。换句话说内在奖励的崩溃点就是模型“RL 可训练性”的天然指示器。结果也印证了这一点。Qwen 这种公认“适合 RL”的模型系列在内在奖励下撑得更久。更有意思的是这个指标无需任何 ground truth 标注预测准确率超过传统的 passk。把失败变成路标把昂贵的试错变成轻量级的预判。左不同基模在无监督内在奖励训练下的模型坍塌步数中对应基模有监督 RLVR 的性能提升。无监督内在奖励下崩溃越晚有监督 RLVR 之后效果越好预测准确率超过传统的 passk。 发现四外部奖励才是 scalable 的方向如果内在奖励注定有天花板那路在何方问题的根源在于奖励的来源。内在奖励方法用模型自己的置信度来训练模型自己这就像一个闭环回声室奖励信号永远受限于模型已知的东西。你无法用它教会模型真正不知道的知识。但无监督 RLVR 不止于此。我们把外部奖励方法归纳为两类利用无标注数据从海量语料中挖掘奖励信号。数据越多奖励信号越丰富不会因为模型变强而枯竭。利用生成-验证不对称性让模型自己生成答案再用外部工具编译器、证明助手、模拟器验证并提供环境反馈。这些验证器不会因为模型变强而失效它们的判断永远客观。我们初步测试了自验证方法结果展现出一条截然不同的曲线持续改进没有崩溃。原因很朴素奖励不来自“模型有多自信”而来自“答案能否通过客观验证”。想出解法可能很难但检查对错往往简单这种不对称性把模型的进化锚定在真实世界的铁律上而不是自己的回声里。内在奖励追问“你相信自己吗”外部奖励追问“这是真的吗”。通往 scalable 的无监督强化学习答案或许就在后者。写在最后边界之外我们花了许多篇幅去描绘无监督强化学习的边界。但这张地图的价值从来不在于告诉你此路不通而在于回答在什么条件下哪条路通。一个系统能否通过审视自己而变得更好取决于它最初的判断有多准确。内在奖励方法失败的原因恰恰是它们成功的原因都是同一个机制自我强化。区别只在于被强化的是真理还是偏见。当我们认清内在奖励的宿命才真正看清外部奖励的星辰大海。通往 scalable 的无监督强化学习需要的不是盲目相信模型可以自我进化而是知道什么时候该让它倾听自己的回声什么时候该把它推向真实世界的验证。内在与外部不是对立而是工具箱里的不同工具。认清边界不是为了止步而是为了在边界内自由创造在边界外寻找新的可能。