Harness Engineering 讲解

news2026/5/16 17:44:20
Harness 工程过去很长一段时间里大家一提到“大模型怎么用好”第一反应往往是Prompt 怎么写于是Prompt Engineering 成了很多人学习大模型的第一站。我们学习如何提问如何给角色如何写任务如何给示例如何让模型一步一步思考。但随着大模型从“聊天工具”逐渐变成“能写代码、能调用工具、能执行任务的 Agent”问题开始变得更复杂了。你会发现一个 Agent 做得好不好已经不只是 Prompt 写得好不好。它还取决于它能看到什么上下文它能调用什么工具它有没有记忆它有没有自动验证机制它犯错之后系统能不能让它不再犯同样的错这就引出了三个非常重要的概念Prompt Engineering、Context Engineering、Harness Engineering。它们不是互相替代的关系而是一层一层往外扩展的关系Prompt Engineering 研究怎么提问题。Context Engineering 研究怎么给信息。Harness Engineering 研究怎么搭系统。下面我们就从这三个概念开始系统梳理一下大模型 Agent 背后的工程方法论一、Prompt Engineering研究怎么提问题怎么把发给大模型的话说得更清楚、更准确让大模型更容易理解你的真实意图然后给出理想的结果。常用的Prompt Engineering 范式Instruction Prompting 指令式提示词核心是告诉模型你要做什么例如1写一个函数实现两个整数的加法输入两个整数输出它们的和。 2你是一个专业的代码审核员你需要审核这段代码是否符合规范。 这里已经包含了几个Prompt 的重要元素Role、Task、Input、Output。Example-driven 示例式提示词 LLM 最大的特点就是通过例子学习核心是给模型举几个例子让它理解你要做什么。例如英文hello 中文你好 英文goodbye 中文再见 英文thank you 中文Chain-of-ThoughtCoT范式核心是通过提示词强制模型显式展开中间推理而不是直接给出答案。让模型先分析再给结论。例如一个商品100块打8折再减少10块问最终价格是多少 普通prompt直接回答结果模型说70块。 Cot Prompt 请一步一步思考并给出最终答案。 模型会这样输出 原价100 打8折100*0.880 减少10块80-1070 最终价格70块。ReAct 范式核心是在思考的基础上让模型可以调用工具去行动。例如东京今天天气怎么样是不是和跑步 普通prompt直接回答结果模型说天气是晴的适合跑步。 ReAct Prompt 请一步一步思考并给出最终答案。 模型会这样输出 Thought:我需要获取东京今天的天气。 Action:调用天气API获取东京今天的天气。 Observation:返回天气数据 Thought:根据天气数据判断是否适合跑步。 Final Answer:适合跑步。二、Context Engineering研究的是怎么给信息具体来说就是怎么把最合适的内容在最合适的时机放到模型的Context 中。Context里面的内容不仅包括Prompt还有工具列表、对话历史等等。上下文工程的方法1.上下文压缩大模型的上下文窗口再大也不是无限的。如果把所有项目规则、历史对话、设计文档、代码片段一股脑全部塞进去结果往往并不好。因为信息太多时模型可能会抓不住重点忽略关键约束引用过时内容被无关信息干扰输出变得不稳定。所以上下文压缩非常重要。上下文压缩不是简单地“删短”而是把大量信息整理成更高密度的结构。比如把一段长长的会议记录压缩成项目目标 关键决策 未解决问题 接口约定 风险点 下一步行动这样模型看到的是“结构化知识”而不是一堆散乱文本。2.动态检索外部资料很多信息不需要每次都塞进上下文。更好的方式是用到的时候再检索。比如你有一个大型代码仓库不可能每次都把所有代码发给模型。正确做法是让模型根据当前任务动态检索相关文件。要改登录逻辑就检索登录模块。要查接口定义就检索 API 文档。要修数据库问题就检索 Repo 层代码和 schema。这就是 RAG、代码检索、文档检索背后的思路。模型需要的不是“所有信息”而是“当前任务最相关的信息”。3.渐进式披露渐进式披露的意思是不要一开始就把所有复杂信息都丢给模型而是随着任务推进逐步提供信息。比如做一个复杂功能时可以先让模型看需求文档产出设计方案。确认方案后再让它看相关代码。写完代码后再给它测试结果。如果测试失败再把错误日志给它。这个过程就像人类工程师工作一样先理解需求 再阅读代码 再动手修改 再运行验证 再根据反馈修复渐进式披露可以让模型始终聚焦在当前阶段而不是被所有信息同时轰炸。三、Harness EngineeringHarness 原意是马具用来控制大模型的系统。既然是控制大模型那么Harness 就不包含大模型。所以Harness Agent - Model。Agent 除了大模型剩下的所有部分都是Harness。Agent Model Harness五个组件Tools 工具是模型的手脚 Read、Write、Edit、Bash、Grep检索命令这些工具赋予模型予文件系统、终端、网络交互的能力没有工具模型就只能说不能做。Context上下文模型的记忆加载器 CLAUDE.md、系统提示词、对话历史、工具定义这些上下文在每一轮循环被注入模型决定模型看到什么、知道什么。上下文管理的精妙在于它不仅是被动的信息传递还包括主动的压缩和重新注入策略成长。Memory记忆模型的长期存储。跨会话的记忆持久化让模型能记住你的偏好、项目规划和历史决策。CLAUDE.md 显示记忆自动记忆 ~/.claude/memory 存下你的操作习惯没有memory每次对话都从0开始。Hooks 钩子模型的神经反射。事件驱动的自动化机制在工具执行前后发出自定义逻辑。在工具执行前后触发自定义逻辑。比如每次保存文件自动格式化每次提交代码自动测试代码。不需要模型主动决策某些行为会自动发生。Permissions 权限模型的权限管理。模型的安全围栏哪些工具可以自由使用哪些需要人工审核哪些完全禁止。harness 的安全底线。你希望Agent 足够自主以提高效率但又不希望它自主到失控。用Claude 来举例所有不属于Claude 模型的部分都是Harness。比如说写在CLAUDE.md 里面的规则可以使用的工具定时调度机制都是属于Harness 的一部分。Harness 知道了那么Harness Engineering 就是一门专门构建和设计Harness 的技术。换而言之就是除了大模型本身不研究其他什么都研究。具体来说就是研究如何围绕着大模型搭建一个完整可靠的Agent。核心理念就是只要Agent 犯了错你就去改造系统让它不再犯同样的错误。Harness Engineering 实战 来源于OpenAI文章来源https://openai.com/index/harness-engineering/具体内容大概如下。2025年8月OpenAI 内部启动了一项实验完全依靠 AI 从零到一开发一款真实软件产品全程不允许工程师手写一行代码。 依托 AI 自主开发这款产品最终规模达到100万行代码整体耗时约5个月团队仅7人整体开发效率约为传统人工开发的10倍。但这项实验初期进展并不顺利问题不在于大模型不够聪明而是Harness 工程体系没有搭建完善。工程师发现 Agent 很容易偏离目标方向还会反复犯同类错误。 想要让 Agent 稳定、可靠地工作真正的核心关键在于设计完善的 Harness 体系。为此团队做了大量优化工作并撰写专业文章完整记录整个落地过程文中梳理了大量 Harness Engineering 的优化要点。 所有优化方向大致归为三大类上下文管理、验证与反馈、技术债清理。1.上下文管理。如果把所有的项目规范和相关信息都塞进一个 AGENTS.md 文件这个文件体量会变得极其庞大并且会随着用户提问一同发送给大模型。这样会造成两个核心问题。第一个内容冗余过多实际使用效果反而变差。大模型容易淹没在海量信息里陷入迷失只能抓取零散碎片真正关键的核心内容反而被冗余信息覆盖埋没。第二个文件会逐步腐化失效。项目是持续迭代演进的但文件内的规范和信息无法同步及时更新久而久之就会沦为堆满过时信息的垃圾堆Agent 也无法甄别判断哪些内容真实有效。解决办法是把 AGENTS.md 精简压缩到 100 行左右只作为索引目录使用把各类配套规范、相关文档拆分出来和精简后的 AGENTS.md 放在同一目录下做到用到哪一块再单独给 Agent 读取对应板块内容精准度和执行效果会大幅提升。还有一个关键问题项目里很多重要信息其实并不在代码仓库内而是零散存放在历史对话记录、外部文档甚至只留存于个人认知里。但对 Agent 而言只能识别代码仓库内的内容仓库之外的所有信息对它都是不可见、不生效的。所以 OpenAI 强制要求必须把项目所有重要决策、团队约定、规范标准全部纳入代码仓库让代码仓库成为项目唯一的事实来源。2.验证和反馈。做好上下文管理Agent 就具备了编写代码的基础能力。后续核心重点是让 Agent 在写完代码后能够自主验证成果是否正确。如果只能生成代码却无法自我校验就根本没法保证输出正确率。OpenAI 的思路是给 Codex 配置足够完善的工具tools与技能SKILLs。依托这两者Codex 在执行任务的过程中可以随时对自己的输出做自检验证。比如将 Chrome DevTools 接入 Codex 运行环境Codex 就能自主截图、查看 DOM 结构、模拟用户交互操作以此校验 UI 表现是否符合需求。一旦发现问题可就地自查自纠、即时修复全程无需人工介入。同时 OpenAI 还为 Codex 接入了完整可观测性工具栈支持读取日志、追踪运行链路自主定位和排查运行异常。另外OpenAI 把待开发系统做了分层设计并制定严格的单向依赖规则。自上而下依次为UI视图层、Runtime运行时层、Service业务逻辑层、Repo数据访问层、Config配置层、Type类型定义层。上层只能依赖下层严禁反向依赖并通过 Linter 测试机制强制守住架构规范。整套形成闭环流程Agent 生成代码 ➜ Linter / 自动化测试检测 ➜ 发现违规或问题 ➜ 抛出报错 ➜ 把错误信息回传给 Agent 重新修改循环迭代往复直至检测无报错确认代码完全符合架构与编码规范全程自动化闭环无需人工干预。3.技术债务清理。Agent 在大规模生成代码时难免会引入糟糕的设计模式比如重复代码、命名不一致、偏离架构的写法等。这类问题长期累积会直接导致代码仓库变得混乱不堪。OpenAI 的解决方案是对技术债进行定期 “垃圾回收”为 Codex 设置后台定时任务定期扫描整个代码库自动识别偏离规范的代码自动修复并提交持续保证代码质量维持在较高水准。同时对项目文档执行相同机制通过定时任务扫描文档库自动清理过时内容、修正与实际代码不一致的文档保持文档时效性与准确性。结语大模型本身当然重要。模型越强Agent 的上限越高。但在真实工程场景里决定 Agent 是否可靠的往往不是模型一个因素而是整个 Harness 系统。Prompt 写得好可以让模型更懂你的需求。Context 管得好可以让模型更懂当前任务。Harness 设计得好才能让模型稳定、可控、可验证地完成复杂工作。未来的大模型工程不会只停留在“怎么写 Prompt”。它会越来越像软件工程、系统工程和自动化工程的结合。一个成熟的 AI Agent不应该只是“会回答问题”而应该是有工具的执行者有上下文的协作者有记忆的长期伙伴有权限边界的安全系统有反馈闭环的自我修复机器。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2618929.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站,会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后,网站没有变化的情况。 不熟悉siteground主机的新手,遇到这个问题,就很抓狂,明明是哪都没操作错误&#x…

网络编程(Modbus进阶)

思维导图 Modbus RTU(先学一点理论) 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议,由 Modicon 公司(现施耐德电气)于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…

UE5 学习系列(二)用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇,在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下: 【Note】:如果你已经完成安装等操作,可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作,重…

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周,有很多同学在写期末Java web作业时,运行tomcat出现乱码问题,经过多次解决与研究,我做了如下整理: 原因: IDEA本身编码与tomcat的编码与Windows编码不同导致,Windows 系统控制台…

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造&#xff0c;完美适配AGV和无人叉车。同时&#xff0c;集成以太网与语音合成技术&#xff0c;为各类高级系统&#xff08;如MES、调度系统、库位管理、立库等&#xff09;提供高效便捷的语音交互体验。 L…

(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)

题目&#xff1a;3442. 奇偶频次间的最大差值 I 思路 &#xff1a;哈希&#xff0c;时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况&#xff0c;哈希表这里用数组即可实现。 C版本&#xff1a; class Solution { public:int maxDifference(string s) {int a[26]…

【大模型RAG】拍照搜题技术架构速览:三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板&#xff0c;载入页面后&#xff0c;会显示引导弹窗&#xff0c;适用于引导用户使用页面&#xff0c;点击完成后&#xff0c;会显示下一个引导弹窗&#xff0c;直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…

龙虎榜——20250610

上证指数放量收阴线&#xff0c;个股多数下跌&#xff0c;盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型&#xff0c;指数短线有调整的需求&#xff0c;大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的&#xff1a;御银股份、雄帝科技 驱动…

观成科技:隐蔽隧道工具Ligolo-ng加密流量分析

1.工具介绍 Ligolo-ng是一款由go编写的高效隧道工具&#xff0c;该工具基于TUN接口实现其功能&#xff0c;利用反向TCP/TLS连接建立一条隐蔽的通信信道&#xff0c;支持使用Let’s Encrypt自动生成证书。Ligolo-ng的通信隐蔽性体现在其支持多种连接方式&#xff0c;适应复杂网…

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别,但在其他电脑上正常工作时,问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤,帮助你快速找到故障原因: 背景: 一个M-pard(铭豹)扩展坞的网卡突然无法识别了,扩展出来的三个USB接口正常。…

未来机器人的大脑:如何用神经网络模拟器实现更智能的决策?

编辑&#xff1a;陈萍萍的公主一点人工一点智能 未来机器人的大脑&#xff1a;如何用神经网络模拟器实现更智能的决策&#xff1f;RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战&#xff0c;在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …

华为云AI开发平台ModelArts

华为云ModelArts&#xff1a;重塑AI开发流程的“智能引擎”与“创新加速器”&#xff01; 在人工智能浪潮席卷全球的2025年&#xff0c;企业拥抱AI的意愿空前高涨&#xff0c;但技术门槛高、流程复杂、资源投入巨大的现实&#xff0c;却让许多创新构想止步于实验室。数据科学家…

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…