训练环境决定 AI Agent 天花板:Harness 如何塑造 RL 训练循环

news2026/3/13 20:19:09
最近 Cursor 发布 Composer 1.5 的消息刷屏了。他们的 RL 训练规模直接扩大了 20 倍后训练计算量甚至超过了预训练阶段。更关键的是所有训练都发生在和生产环境完全一致的沙箱里——同样的代码编辑器、同样的语义搜索、同样的终端命令。这让我突然意识到对于现在的 AI Agent 开发来说训练用的 “Harness”训练环境已经不是一个可有可无的辅助工具而是整个系统成败的关键。很多实验室都在围绕 Harness 做文章今天就来拆解一下他们的做法以及为什么环境质量直接决定了模型的上限。什么是 Agent Harness先搞清楚核心概念强化学习RL大家都知道就是让模型在尝试中学习通过奖励好的结果、惩罚坏的结果来进步。传统的 RLHF人类反馈强化学习主要是单轮对话模型生成回答后让人打分训练步数也就几百步。而Agentic RL完全是另一个维度多轮交互一次 rollout完整尝试可能包含上百次工具调用动作空间极其复杂用哪些工具、什么顺序、并行还是串行奖励极其稀疏复杂任务成功率可能只有 1/1000每个 rollout 要消耗几十万到上百万 token还需要完整的沙箱操作系统环境但 Agentic RL 有一个巨大优势奖励可验证。测试能不能通过、代码能不能运行、linter 有没有报错这些都是客观的不需要人来主观打分。这让 RL 步骤能轻松做到上万次。Harness 指的就是这个训练环境。它包括可用的工具集合、反馈机制、沙箱系统等。模型只会学习环境允许它学的东西。打个比方给你十个精心设计的工具你就能熟练用好它们要是把一百个工具一股脑扔进去模型大概率就随机乱选了。正如 Phil Schmid 说的“竞争优势不再是 prompt而是你的 Harness 能捕获的 trajectories轨迹。”各大实验室的 Harness 实践拆解Cursor生产环境即训练环境20x RL ScalingCursor 的最大亮点是训练环境和生产环境完全一致。他们有三类服务器Trainer用 PyTorch 自定义 MXFP8 内核加速运算Inference Server基于 Ray 框架编排 rolloutEnvironment Server同时启动几十万的微 VM每个 VM 都是完整的 Cursor agent 环境里面跑全套工具因为生产服务器和训练服务器代码相同他们直接复用了现有的 Background Agents 基础设施。这让训练过程中自然涌现了很多能力模型学会了复杂代码库搜索、自主修复 linter 错误、写单元测试、逐步增加并行工具调用还从“疯狂编辑”转向“先多读文件”。他们甚至还跑了第二个训练循环用 agent 的 session traces 训练语义搜索 embedding 模型。分析哪些文件应该早点被检索用 LLM 打分然后训练 embedding 去匹配。结果代码库问答准确率提升明显大代码库的代码保留率也涨了 2.6%。Harness 产生数据 → 数据优化搜索 → 搜索再提升 Harness形成完美闭环。最终 Composer 1.5 在 Terminal-Bench 2.0 上达到了 47.9%超过了 Claude Sonnet 4.5。CognitionModel Harness 同步迭代GRPO 强健 RewardCognition 把 model、harness、工具、prompt 当成一个整体同时开发。他们采用了 GRPOGroup Relative Policy Optimization算法比传统 PPO 更省内存、更准不需要单独的 critic 模型。奖励设计也很讲究除了传统测试还有代码质量 rubric 和 agentic grading。他们专门做了 “reward hardening”让人类专家多轮攻击 grader来减少 false positive 和 “AI slop”功能能用但代码很烂。环境用 Otterlink VM hypervisor支持几万并发机器速度达到 950 tokens/s是 Haiku 4.5 的 6 倍接近 SOTA 编码水平。OpenAI Codex隔离容器 Calibrated HonestyOpenAI 在隔离云容器里训练每个任务预装真实代码和开发环境断网后开始 trajectory。他们特别训练模型学会“诚实”——不可能的任务上从训练前只有 15% 会说“我做不到”训练后提升到 85%。后面版本还引入 compaction让模型能跨多个 context window 总结自己的进度。他们 harness 团队的实证最狠3 个工程师、5 个月用纯 agent 建了一个 100 万行代码的产品、1500 个 PR全程没手动写一行代码——全靠精心设计的 Harness。Windsurf真实开发者工作流训练Windsurf 则另辟蹊径。他们用 “Shared Timeline Data Model” 捕获编辑器里真实的开发者操作包括中断、上下文切换、部分构建等。模型学的是“flow awareness”也就是开发者真实的编码节奏而不是孤立的完美任务。研究证实环境质量决定模型天花板2025年底到2026年初的几篇论文CSO、CARL、CORECRAFT、RAGEN 等都指向同一个结论模型在什么环境里训练就决定了它能学到什么。关键发现一只有约 16% 的步骤真正重要CSO 研究。大部分动作对最终结果影响极小。把 RL 更新聚焦在这些 critical steps 上能带来 37% 的相对提升。关键发现二真实高保真环境训练出来的能力更容易泛化。合成 benchmark 上表现相似的模型在真实复杂环境中差距会拉得很大。关键发现三坏环境会制造 “Echo Trap”。模型早期还会认真思考权衡训练后就退化成重复模板推理多样性消失。解决方案是设计更多样化的初始状态和合理的交互粒度。坏的 Harness 让训练信号被稀释好 Harness 则创造更多有价值的决策时刻。对开发者的启发与应用Harness 设计比 prompt 更重要。未来竞争的核心将是 trajectories 的质量而不是单纯的提示词。建立正反馈闭环。好的 harness 产生好的数据好的数据训练出更好的 model再反过来优化 harness。这个循环会持续 compound。关注可验证性和真实性。在构建自己的 agent 系统时要尽早设计好沙箱、验证机制和 reward 系统避免模型学到“自信地犯错”。实际场景应用企业内部代码助手、运维自动化 agent、复杂客服工作流等都可以借鉴这种思路——让训练环境贴近真实生产场景。这个趋势很明显model 和 harness 的界限正在模糊。谁能把这个循环跑得更快更稳谁就能在 AI Agent 赛道上领先一步。总结Agent Harness 不是训练后才加的“外挂”而是训练环境本身。它直接塑造了模型能学到什么、怎么学。Cursor、Cognition、OpenAI 等实验室的实战加上最新研究都在告诉我们要让 AI Agent 真正强大必须把精力花在打造高质量的训练环境上。这个 Harness 与 Model 相互强化的循环才是未来 AI Agent 能力持续进化的核心引擎。我是紫微AI我们下期见。完

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2408719.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站,会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后,网站没有变化的情况。 不熟悉siteground主机的新手,遇到这个问题,就很抓狂,明明是哪都没操作错误&#x…

网络编程(Modbus进阶)

思维导图 Modbus RTU(先学一点理论) 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议,由 Modicon 公司(现施耐德电气)于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…

UE5 学习系列(二)用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇,在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下: 【Note】:如果你已经完成安装等操作,可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作,重…

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周,有很多同学在写期末Java web作业时,运行tomcat出现乱码问题,经过多次解决与研究,我做了如下整理: 原因: IDEA本身编码与tomcat的编码与Windows编码不同导致,Windows 系统控制台…

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造&#xff0c;完美适配AGV和无人叉车。同时&#xff0c;集成以太网与语音合成技术&#xff0c;为各类高级系统&#xff08;如MES、调度系统、库位管理、立库等&#xff09;提供高效便捷的语音交互体验。 L…

(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)

题目&#xff1a;3442. 奇偶频次间的最大差值 I 思路 &#xff1a;哈希&#xff0c;时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况&#xff0c;哈希表这里用数组即可实现。 C版本&#xff1a; class Solution { public:int maxDifference(string s) {int a[26]…

【大模型RAG】拍照搜题技术架构速览:三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板&#xff0c;载入页面后&#xff0c;会显示引导弹窗&#xff0c;适用于引导用户使用页面&#xff0c;点击完成后&#xff0c;会显示下一个引导弹窗&#xff0c;直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…

龙虎榜——20250610

上证指数放量收阴线&#xff0c;个股多数下跌&#xff0c;盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型&#xff0c;指数短线有调整的需求&#xff0c;大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的&#xff1a;御银股份、雄帝科技 驱动…

观成科技:隐蔽隧道工具Ligolo-ng加密流量分析

1.工具介绍 Ligolo-ng是一款由go编写的高效隧道工具&#xff0c;该工具基于TUN接口实现其功能&#xff0c;利用反向TCP/TLS连接建立一条隐蔽的通信信道&#xff0c;支持使用Let’s Encrypt自动生成证书。Ligolo-ng的通信隐蔽性体现在其支持多种连接方式&#xff0c;适应复杂网…

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别,但在其他电脑上正常工作时,问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤,帮助你快速找到故障原因: 背景: 一个M-pard(铭豹)扩展坞的网卡突然无法识别了,扩展出来的三个USB接口正常。…

未来机器人的大脑:如何用神经网络模拟器实现更智能的决策?

编辑&#xff1a;陈萍萍的公主一点人工一点智能 未来机器人的大脑&#xff1a;如何用神经网络模拟器实现更智能的决策&#xff1f;RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战&#xff0c;在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …

华为云AI开发平台ModelArts

华为云ModelArts&#xff1a;重塑AI开发流程的“智能引擎”与“创新加速器”&#xff01; 在人工智能浪潮席卷全球的2025年&#xff0c;企业拥抱AI的意愿空前高涨&#xff0c;但技术门槛高、流程复杂、资源投入巨大的现实&#xff0c;却让许多创新构想止步于实验室。数据科学家…

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…