DeepSeek-R1：强化学习驱动的推理模型

news2025/5/11 17:22:03

1月20日晚，DeepSeek正式发布了全新的推理模型DeepSeek-R1，引起了人工智能领域的广泛关注。该模型在数学、代码生成等高复杂度任务上表现出色，性能对标OpenAI的o1正式版。同时，DeepSeek宣布将DeepSeek-R1以及相关技术报告全面开源。

技术报告链接：

https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

在这篇技术报告中，DeepSeek团队推出了第一代推理模型DeepSeek-R1-Zero和DeepSeek-R1，通过强化学习（RL）显著增强了模型的推理能力，同时开创了无需监督微调（SFT）即可发展的新路径。

以下文章将对报告的核心内容进行解读。

DeepSeek-R1-Zero：无需监督微调的强化学习

DeepSeek-R1-Zero是一个通过强化学习训练的模型，不依赖于监督微调作为初步步骤。具体而言，DeepSeek-AI团队使用了DeepSeek-V3-Base作为基础模型，并使用群组相对策略优化算法 (Group Relative Policy Optimization，GRPO) 作为RL框架来提高模型在推理中的性能。

在训练过程中，DeepSeek-R1-Zero自然涌现出许多强大且有趣的推理行为，例如自我验证、反思和生成长链推理（chain-of-thought，CoT）。这些行为的出现并非外部调整的结果，而是模型内部的自然发展。如图所示，随着RL训练的进行，DeepSeek-R1-Zero在推理任务中的平均响应长度逐渐增加。这表明模型通过扩展测试时的计算能力，自然地获得了解决越来越复杂的推理任务的能力。这种计算能力的范围从生成数百到数千个推理token，使模型能够更深入地探索和优化其思考过程。

在AIME 2024基准测试中，DeepSeek-R1-Zero的Pass@1得分从15.6%显著提升至71.0%，通过多数投票进一步提高到86.7%，与OpenAI-o1-0912的性能相当。这一成果证明了通过纯RL可以激励LLMs的推理能力，无需依赖SFT。

DeepSeek-R1：多阶段训练与冷启动数据

尽管DeepSeek-R1-Zero在推理任务上表现出色，但也存在一些问题，如可读性差和语言混用等。为了解决这些问题并进一步提升推理性能，DeepSeek-AI团队推出了DeepSeek-R1。该模型在RL之前引入了少量的冷启动数据，并采用了多阶段训练流程。

具体来说，团队首先收集了数千条冷启动数据来微调DeepSeek-V3-Base模型，然后执行面向推理的RL。在RL训练接近收敛时，通过拒绝采样生成新的SFT数据，并结合DeepSeek-V3在写作、事实问答和自我认知等领域的监督数据，重新训练DeepSeek-V3-Base模型。最后，经过微调的新检查点再次进行RL训练，考虑所有场景的提示。经过这些步骤，DeepSeek-R1在推理任务上的表现与OpenAI-o1-1217相当。

在多个基准测试中，DeepSeek-R1模型的表现如下：

教育导向知识基准测试：DeepSeek-R1在MMLU、MMLU-Pro和GPQA Diamond上的表现优于DeepSeek-V3，分别达到了90.8%、84.0%和71.5%的Pass@1得分。

编码相关任务：DeepSeek-R1在Codeforces上的Elo评级达到了2029，超过了96.3%的参赛者，在LiveCodeBench上的Pass@1得分达到了65.9%。

数学任务：DeepSeek-R1在AIME 2024上的Pass@1得分达到了79.8%，在MATH-500上的Pass@1得分达到了97.3%，与OpenAI-o1-1217相当。

其他任务：DeepSeek-R1在AlpacaEval 2.0上的长度控制胜率达到了87.6%，在ArenaHard上的胜率达到了92.3%，显示出其在处理非考试导向查询方面的强大能力。

知识蒸馏：赋予小型模型推理能力

为了使更高效的小型模型具备类似DeepSeek-R1的推理能力，DeepSeek团队直接微调了Qwen和Llama等开源模型，使用DeepSeek-R1生成的推理数据进行训练。结果表明，这种简单的蒸馏方法显著提升了小型模型的推理能力。例如，DeepSeek-R1-Distill-Qwen-7B在AIME 2024上的表现超过了QwQ-32B-Preview，而DeepSeek-R1-Distill-Qwen-32B在AIME 2024、MATH-500和LiveCodeBench上的表现明显优于以前的开源模型，并可与o1-mini相媲美。