1 VeRL介绍verlVolcano Engine Reinforcement Learning是由字节跳动火山引擎团队开源的一个灵活、高效且可用于生产环境的强化学习训练框架专门用于大型语言模型LLMs的后训练post-training。它同时也是学术论文《HybridFlow: A Flexible and Efficient RLHF Framework》的开源实现致力于解决传统大模型RLHF训练中流程复杂、GPU资源利用率低等问题。verl的核心定位是降低大模型强化学习RL训练与高效推理的门槛尤其适配企业级大模型落地场景1.1 verl 的主要特点verl的设计兼顾了灵活性与高性能其关键特点体现在以下几个方面1. 灵活的算法扩展性Flexible RL Algorithms verl采用独特的 “混合编程模型”Hybrid-Controller / HybridFlow 结合了单控制器和多控制器范式的优势。 易于扩展这种设计使得用户可以灵活表示并高效执行复杂的后训练数据流post-training dataflows。 快速构建开发者只需几行代码即可构建主流强化学习算法的数据流例如PPO近端策略优化、GRPO泛化近端策略优化和DAPO等。 2. 与现有LLM基础设施的无缝集成Seamless Integration verl通过模块化的API设计成功解耦了计算与数据依赖这使得它可以与现有的大模型生态无缝衔接。 多框架支持verl能与PyTorch FSDP、Megatron-LM、vLLM、SGLang等主流训练和推理框架无缝集成。 易于扩展用户可以轻松地将verl扩展到其他LLM的训练和推理框架灵活性极高。 3. 灵活的设备映射与并行策略Flexible Device Mapping verl支持将不同的模型如Actor、Critic、Reward模型灵活地放置在不同的GPU集合上。 高效利用资源这种设计允许用户根据实际需求精细调配硬件资源实现高效的资源利用。 良好扩展性支持在不同规模的集群上实现良好的扩展性无论是在单机多卡还是大规模集群环境下都能高效运行。 4. 与HuggingFace模型的便捷集成Ready Integration verl支持Qwen、Llama等多种流行的开源模型能够方便地与HuggingFace模型进行集成方便用户直接使用预训练模型作为训练的起点。 5. 高性能吞吐量State-of-the-Art Throughput verl通过无缝集成现有的SOTAState-of-the-ArtLLM训练和推理引擎实现了极高的生成和训练吞吐量。 6. 高效的Actor模型重分片3D-HybridEngine verl引入的 3D-HybridEngine 机制能够高效地完成Actor模型的重分片。 减少内存冗余消除了不必要的内存占用降低了硬件门槛。 降低通信开销在训练和生成rollout两个关键阶段进行转换时显著减少了节点间的通信开销从而提升了整体训练速度。1.2 verl 的核心优势除了上述技术特点verl还具备以下显著的核心优势降低使用门槛verl的本质是通过封装主流的深度学习框架如PyTorch、Megatron-LM和推理引擎如vLLM让开发者无需手动解决复杂的环境依赖和分布式配置问题从而可以更专注于模型优化与业务逻辑。支持多样化的RL算法verl原生支持PPO、GRPO、DPO等多种强化学习优化算法便于开发者进行算法研究和对比。高效的生产就绪性verl设计之初就考虑了生产环境的需求提供了模型引擎、rollout引擎、检查点引擎等模块能够直接应用于企业级的大模型训练任务。活跃的开源社区verl由字节跳动火山引擎团队发起并得到了社区的积极维护。项目在GitHub上活跃为研究者和开发者提供了良好的支持。1.3 ppo算法与verl计算流程解析ppo流程如下1、准备一个 batch 的 prompts 2、将这个 batch 的 prompts 输入给 Actor通过 rollout 得到 responses 3、将 prompts responses 输入给 critic / reward / reference 进行 inference 分别计算得到 values、reward score 和 log probs 将这些统称为experiences 4、根据 experiences 多轮计算 actor loss 和 critics loss 并更新 Actor he Critic Policy - actor SFT Model - reference Reward Model - reward Value Model - critic 我们将 actor 的推理特定称为 rollout 其它模型推理为 inference Rollout 过程是 auto-regressive decoding是进行训练数据生成为了性能提升会使用 vllm 或者 sglang inference 过程只会 prefill 为了精度回使用训练框架FSDP、Megatron的前向进行 训练会使用fsdp、megatron 小结 4个模型之间相互配合共同完成ppo的训练 Actor 模型在推理和训练阶段使用了不同的框架流程图2VeRL的设计介绍verl 的核心设计思想——HybridFlow本质上是将RL训练任务拆解为“指挥”与“干活”两个层次巧妙地平衡了算法实现的灵活性和大规模分布式计算的高效性。它的设计精髓在于“分而治之”用一个中心大脑Single-Controller掌控全局逻辑用一群执行团队Multi-Controller高效完成各自的计算任务。核心设计为什么是Single-Controller Multi-Controller在大模型时代RL训练如RLHF面临着“既要又要”的挑战算法逻辑复杂多变需要高灵活性而模型动辄千亿参数又对分布式计算效率要求极高。纯Single-Controller (单控制器)算法逻辑清晰、易于开发但中央节点易成为性能瓶颈难以调度大规模分布式任务。纯Multi-Controller (多控制器)分布式效率高但各模块独立导致算法逻辑分散开发和维护复杂难以复用。verl 的 HybridFlow 正是为解决这一矛盾而生它通过分离控制流与计算流结合了两者的优势2.1 多个模型之间是怎么调度的数据是怎么流动的verl 中模型间的调度和数据流动清晰体现了“一总多分”的模式。宏观调度控制流由 Single-Controller如 RayPPOTrainer全权负责。它作为一个单进程依据PPO等算法逻辑顺序调度 generate_sequences, compute_advantage, update_policy 等高阶任务扮演着“总指挥”的角色。微观执行计算流Single-Controller 将具体任务通过 WorkerGroup API 分发由 Multi-Controller即各种 Worker执行。这些 Worker 以 SPMD 模式在 GPU 上并行计算内部通过 NCCL 等高速通信。数据载体Controller 和 Workers 之间通过 DataProto 协议传输数据它封装了张量、元数据等确保了通信的标准化。2.2 多个模型是怎么进行资源分配的verl 通过抽象层和动态调度实现灵活的 GPU 资源分配。资源抽象verl 提供了 ResourcePool 和 WorkerGroup 两大抽象。ResourcePool定义了一组硬件资源如8张H100 GPU。WorkerGroup则是在特定 ResourcePool 上启动的一组进程负责执行具体任务。灵活放置通过配置verl 可以将不同的模型WorkerGroup映射到同一组或不同的 GPU 上。例如对于资源消耗大的 Actor可以独占一整个节点而轻量级的 Reward 模型则可以共享资源。动态负载均衡verl 能监控各 GPU 的实时利用率并通过 Dispatch.DP_COMPUTE_PROTO 等调度模式在下一轮迭代中动态调整任务分配以平衡负载。这使得在70B模型训练中节点内 GPU 负载的标准差能从 25% 降至 8%。2.3 Actor模型在训练和推理阶段是怎么做权重更新的Actor 模型需在训练追求精度和推理Rollout追求速度两种模式下切换权重更新机制是其核心难点。verl 用3D-HybridEngine 机制优雅地解决了这一问题。模式切换Actor 在训练阶段使用 FSDP/Megatron 等分布式训练框架模型权重被分片以节省显存在推理阶段则切换为 vLLM/SGLang 等高效推理引擎并可能重组权重如采用张量并行以最大化吞吐。权重同步完成一轮训练后必须将更新后的权重从训练引擎同步到推理引擎以用于下一轮的数据生成。这是保证“策略”持续优化的关键。核心机制3D-HybridEngine 通过高效的重分片技术在模式切换时动态重组权重显著减少了内存冗余和通信开销。ActorRolloutRefWorker在同一进程中管理这两套引擎并通过FSDPVLLMShardingManager等管理器实现权重的“无感”切换。小结verl 通过 HybridFlow 设计以 Single-Controller 的简洁性实现算法逻辑同时以 Multi-Controller 的高效性完成分布式计算并通过 3D-HybridEngine 等机制解决了 Actor 模型在训练与推理间切换的核心工程难题。这种设计使得 verl 成为了一个兼具灵活性、高效性和生产可用性的 RL 训练框架。3 结果参数说明3.1 核心训练过程指标指标名称含义正常范围/健康值异常处理建议actor/loss (pg_loss)PPO 裁剪后的策略损失指导模型优化方向应随训练推进而收敛波动减小若持续为 0检查优势函数计算与采样逻辑actor/loss_no_clip未裁剪的策略损失用于对比通常略高于裁剪后损失差异不应过大若远大于裁剪损失说明裁剪过于激进actor/kl_divergence (kl_loss)新旧策略间的 KL 散度控制更新幅度0.01~0.1 为健康0.05 附近稳定较理想过大 (0.1) 减学习率过小 (0.01) 可尝试增加 KL 系数或步长actor/entropy策略的熵反映探索 - 利用平衡应缓慢下降但保持正值收敛时稳定过早降至 0 则模型可能陷入局部最优可适当调低entropy_coeffactor/clip_ratioPPO 裁剪比例反映策略更新幅度健康区间 10%~20%过低可增加clip_ratio过高则反之actor/grad_norm策略网络梯度范数监控梯度状态随训练稳定在合理区间过大 (10) 需加强裁剪或降学习率过小 (0.01) 则需警惕梯度消失critic/lossCritic 网络的 MSE 损失与优势尺度相关应平稳下降损失持续为 0 需检查价值预测与奖励计算是否异常critic/grad_normCritic 网络梯度范数应与actor/grad_norm同步稳定与actor/grad_norm类似critic/value_meanCritic 预测值的均值应与 reward 尺度相近与 reward 显著偏离时需检查价值模型拟合质量critic/value_stdCritic 预测值的标准差反映价值分布分散程度训练后期若仍过大需检查价值预测稳定性adv_mean优势函数的均值理想情况应接近 0长期接近 0 则优势估计失效需检查价值函数拟合质量reward环境反馈的即时奖励长期趋势应逐渐上升持续无改善则需检查奖励函数设计actor/reward_kl_penalty用于奖励惩罚的 KL 散度均值与kl_loss一致过大说明策略偏离参考策略过多actor/reward_kl_penalty_coeff当前 KL 惩罚系数自适应时应在目标 KL 附近动态调整若持续过高或过低检查自适应 KL 算法配置values/mean价值函数预测值均值应与 reward 均值相近相差过大则 Critic 估计不准response_mask_mean有效 token 比例均值越高说明生成效率越高过低时检查生成长度上限配置3.2 性能与效率指标指标名称含义正常范围/健康值异常处理建议rollout/tokens_per_secondRollout 阶段生成 token 吞吐量与硬件和模型规模相关吞吐过低可调低max_num_batched_tokens或禁用 CUDA graph 降低 KV cache 开销rollout/generation_timeRollout 阶段总耗时应占总训练时间主要部分若占比异常检查 vLLM/SGLang 配置是否合理rollout/response_length_mean平均响应长度token 数应稳定在max_response_length内均值接近上限时适当增加最大生成长度rollout/response_length_std响应长度标准差反映响应长度分散程度过大说明采样不稳定检查采样参数配置rollout/num_tokens本轮生成的总 token 数用于计算吞吐量数值越大越经济过小可能因 batch size 过小或响应过短导致 GPU 空闲actor/mfu模型 FLOPs 利用率40%~80% 为健康越低利用率越差MFU 过低时检查数据加载、通信和批处理配置GPU Memory UtilizationGPU 显存占用率50%~70% 较为安全vLLM 场景超过 90% 有 OOM 风险需调整micro_batch或启用梯度检查点3.3 任务性能指标指标名称含义正常范围/健康值异常处理建议Average Return一个 episode 内累计奖励均值随训练逐步提升并趋于稳定长期无提升需检查奖励函数设计和策略更新效果Success Rate策略成功达成目标的比例随训练逐步上升成功率停滞时可尝试降低采样温度以减弱探索3.4 日志输出解读与调参要点类别关键点说明与建议指标输出位置日志打印节点通常在第一个 Rank 节点打印可通过actor_rollout_ref.rollout.disable_log_statsFalse显式启用详细统计日志数据规模控制Batch Size 与采样确保data.train_batch_size能被总 GPU 数整除GRPO 中实际样本数会放大为batch_size × rollout.n需提前规划内存和负载指标联动分析多指标综合判断不要孤立观察单一指标。例如kl_divergence过大且clip_ratio偏高说明更新剧烈entropy快降但reward停滞说明过早收敛超参数调整动态配置策略初期可增加kl_loss_coef约束变化稳定后降低MFU 低优先查数据加载与通信reward停滞可尝试降低采样温度