大模型圈子里有一个心照不宣的秘密传统的 LLM 其实都是“快思考”的奴隶。无论你问 GPT-4 还是 Claude 一个复杂的数学题它们本质上都是在做一件事——凭借庞大的参数记忆“脱口而出”下一个概率最大的 Token。这就像让一个没有草稿纸的学生做微积分全凭直觉。直到 DeepSeek-R1 的出现它向世界证明了一件事不需要极其庞大的神秘算力也不需要修改 Transformer 的底层架构只要用对“强化学习RL”和“思维链CoT”大模型就能自己学会“在草稿纸上慢慢想”。今天我们就来扒开 DeepSeek-R1 的外衣重点聊聊它最核心的两个武器CoT思维链思想的演进以及GRPO群体相对策略优化这个堪称“四两拨千斤”的算法创新。一、 CoT 的进化论从“人工教”到“机器悟”要懂 R1先得懂 CoTChain of Thought。CoT 的鼻祖是 2022 年 Google 的那篇经典论文核心思想极其简单在 Prompt 里给模型打几个“分步推理”的样例模型的复杂推理能力就会飙升。但这带来一个致命问题“提示工程”是有天花板的。你在 Prompt 里教它分 3 步它就只走 3 步遇到需要 50 步的奥数题它还是会胡说八道。而且Few-shot CoT 极度依赖人工写的高质量示例成本极高。后来业界开始用 SFT监督微调把 CoT 灌进模型里但这又陷入了“数据飞轮”的陷阱——人类能写出来的推理过程上限就在那里模型永远无法超越人类的思考维度。DeepSeek-R1 的独特见解在于它彻底抛弃了“教”的思路转向了“悟”。在 R1 的早期实验版本 R1-Zero 中研究人员甚至没有给模型任何 CoT 示例只丢给它一堆数学题然后告诉它“做对了给奖励做错了扣分”。奇迹发生了——在纯强化学习的驱动下模型居然自己“涌现”出了长思维链。更震撼的是模型在思考过程中自发地写出了人类常说的话*“Wait, let me recalculate…” (等等我重新算一下)**“Hmm, this approach seems wrong, let’s try another way.” (嗯这条路不对换一种)*这就是 R1 对 CoT 思想的终极升华真正的思维链不应该是预先写好的剧本而应该是模型在探索未知时为了获得更高奖励而自发产生的“求生本能”。二、 破局点为什么 PPO 搞不定必须上 GRPO既然方向是强化学习RL那用现成的算法不就行了遗憾的是传统算法在这里碰了壁。目前业界做 RL 对齐的标准答案是 PPOProximal Policy Optimization。但 PPO 有个极其昂贵的部件Critic价值网络。你可以把 Critic 理解为一个“裁判”。在传统的对话场景里比如让模型说一句有礼貌的话Critic 只需要评估短短的一句话负担不大。但在 R1 的推理场景里模型会生成几千甚至上万个 Token 的推导过程你要让 Critic 准确评估“第 150 个 Token 到第 200 个 Token 的推导对最终结果有多大贡献”这简直比登天还难。训练这样一个能看懂长逻辑链的 Critic耗费的显存和算力甚至比主模型还要大而且极其容易崩溃。GRPOGroup Relative Policy Optimization就是 DeepSeek 在这里放出的“王炸”。它的核心哲学只有一句话不要去评估绝对价值去比较相对好坏。通俗理解 GRPO一场没有标准答案的考试想象你是一个高三班主任RL 算法你要判断班上 64 个学生模型生成的 64 个回答谁的学习方法好。传统 PPO 的做法是请一个极其昂贵的外教给每个学生的每一行草稿纸打分。GRPO 的做法是同题比较给这 64 个学生发同一道极难的压轴题。只看结果我不看草稿纸怎么写的我只看最终答案。做对的给高分做错的给低分。这就叫Rule-based Reward规则奖励完全不需要人类标注也不需要庞大的 Critic 模型。计算相对优势这 64 个人的平均分算出来比如是 60 分。学生 A 得了 90 分那么他在群体中的相对优势就是 30学生 B 得了 40 分相对优势就是 -20。奖惩机制回去复盘学生 A 在推导过程中写的每一个步骤都被打上“好”的标签以后多写学生 B 写的步骤被打上“坏”的标签以后少写。用数学语言来说传统 PPO 的优势函数是AR−V(s)需要价值网络而GRPO 的优势函数是Ari​−mean(r)​)/std(r)组内标准化。一招鲜吃遍天。DeepSeek 砍掉了庞大无比的 Critic 网络只用主模型自己就能跑起来。这意味着什么意味着极低的训练门槛和极高的显存利用率这也是为什么 DeepSeek 能用相对较低的算力训练出比肩 OpenAI o1 的推理模型。三、 R1 的四阶段马拉松天才的驯化如果你以为只有 GRPO 纯 RL 就能搞定一切那就太小看工程落地的难度了。R1-Zero 虽然聪明但它的 CoT 是“野生的”经常中英文混杂甚至输出不可读的乱码。为了把这匹“野马”变成“千里马”DeepSeek-R1完整版设计了一个极其精妙的四阶段管线第一阶段冷启动。找少量高质量的 CoT 数据进行 SFT。这就好比先教野马几个基本的口令比如“请一步步思考”、“最终答案是”让它知道输出长文本是安全的。第二阶段推理导向的 RLGRPO 出场。在数学、代码等“有绝对正确答案”的领域疯狂使用 GRPO 进行强化学习。这一步让模型的逻辑能力彻底爆发。第三阶段拒绝采样 通用 SFT。第二阶段的模型变成了“数学疯子”跟人聊天时会像个机器人一样疯狂列算式。于是DeepSeek 用这个聪明绝顶的模型去生成大量通用问答、写作的数据再进行一次 SFT把它的“情商”拉回来。第四阶段全场景 RL。再次使用 GRPO但这次不仅奖励“正确性”还加入了“格式奖励”和“语言一致性奖励”确保它既聪明又听话。这四个阶段体现了极高的工程哲学先用纯 RL 突破智力天花板再用 SFT 修补社会性缺陷。四、 笔者的独特见解R1 给我们留下的三个启示读懂了 GRPO 和 CoT 的共舞我们其实看到了大模型发展的三个深层趋势1. “思考预算”的动态化是未来的刚需传统的 LLM 是静态计算输入一个词跑一次前向传播出结果。计算量是固定的。而 R1 开创了“推理期计算”的先河——简单问题一句话回答复杂问题算一万个 Token。未来的 AI 应用比拼的不再是谁的模型大而是谁能最精准地分配“思考算力”。2. GRPO 的本质是“去中心化”的评估体系GRPO 之所以优雅是因为它放弃了对“绝对真理”的执念。在复杂的逻辑推理中连人类都无法准确评判中间步骤的价值GRPO 干脆用统计学上的“群体均值”代替“绝对标准”。这是一种非常具有东方哲学意味的算法不执着于完美的裁判只在同辈的比较中螺旋上升。3. “蒸馏”才是开源界的核武器DeepSeek-R1 论文里有一个反直觉的结论直接把 R1 生成的长思维链数据拿来去 SFT监督微调一个毫无 RL 经验的小模型比如 Qwen 或 Llama小模型的表现竟然比直接对小模型做 RL 还要好这意味着什么这意味着“思考能力”是可以被直接“复制粘贴”的。大模型通过 RL 艰难探索出的“解题路径”对于小模型来说只是一堆普通的文本规律。开源社区完全可以站在巨人的肩膀上用极其低廉的成本让端侧手机模型拥有媲美云端大模型的推理能力。结语从 CoT 的提出到 DeepSeek-R1 中 GRPO 的大放异彩大模型正在经历一场从“直觉驱动”到“逻辑驱动”的蜕变。DeepSeek 并没有发明什么惊世骇俗的新架构他们只是把强化学习的底层逻辑抠到了极致把 CoT 从一种“Prompt 技巧”变成了一种“内生本能”。在这个算力被少数巨头垄断的时代GRPO 证明了聪明的算法依然能打败粗暴的算力。下次当你看到大模型在屏幕上缓缓打出“Let’s think step by step”并自我纠错时不要只觉得神奇。你要知道在那串文字背后是一个群体正在通过 GRPO 算法进行着亿万次的相对比较与自我进化。这就是 AI 学会思考的真正起点。