有朋友在前两天的文章《拆解 Hermes Agent开源 Agent 里唯一的闭环学习系统》下留言数据飞轮是不是指给有训练能力的环境使用才有用答案既是需要的也是可以不需要训练循环的。需要的途径如果你想要通过 RL 训练来改进模型权重确实需要有 GPU 训练环境。不需要的方法咱们日常使用就足够用Hermes Agent 的自我改进并不只有训练模型权重这一条路。这篇文章就来讲清楚 Hermes Agent 的两条自我改进路径改进提示与技能vs改进模型权重。两条路径的本质区别维度改提示/技能改模型权重优化对象文本制品prompts、skills、tool descriptions模型权重LoRA adapter依赖资源API 调用GPU24GB VRAM单次成本$2-10算力成本高数小时 A100执行速度分钟级小时级生效方式修改文件 重启合并权重 部署 API 服务改进提示是在改变给模型的输入上下文模型还是原来那个模型但你给它的指令更精确了。改模型是在改变模型的内在能力——模型学会了什么它变了。两条路不是替代关系而是分工。先用低成本方案把指令优化到极致再考虑是否需要昂贵的模型训练。路径一改进提示与技能快循环Hermes Agent 的快循环包含四个闭环学习机制。它们有一个共同特点不改动模型只改动文本。1. 定期自省Periodic Nudge机制每隔 N 轮对话Agent 自动审查自己的行为是否符合约束。实现位置gateway/run.py中的后台任务调度。Hermes 会周期性地触发一个nudge信号让 Agent 暂停当前任务回顾最近的对话历史检查是否有偏离目标的行为。触发条件可配置。默认每 10 轮对话触发一次或在会话超时前触发。学习成果Agent 会基于自省结果调整后续行为。比如发现自己频繁调用某个低效工具后续会减少调用或者发现某个约束被违反会在 system prompt 中强化该约束。依赖的记忆需要读取当前会话的对话历史SessionDB中的messages表。2. 自主技能创建Autonomous Skill Creation机制当 Agent 发现某种任务模式反复出现且自己已经有成功的解决方法时自动把这套方法沉淀为可复用的技能文件。实现位置tools/skill_manager_tool.py触发条件Agent 在对话中判断这个任务模式值得沉淀调用skill_manager工具的create动作。技能文件结构~/.hermes/skills/ ├── my-skill/ │ ├── SKILL.md # 技能说明书YAML frontmatter Markdown 正文 │ ├── references/ # 参考文档 │ ├── templates/ # 模板文件 │ ├── scripts/ # 脚本 │ └── assets/ # 资源文件SKILL.md 格式--- name: my-skill description: 一句话描述这个技能做什么 version: 1.0 author: agent --- ## 触发条件 什么情况下应该使用这个技能 ## 执行步骤 1. 第一步做什么 2. 第二步做什么 ... ## 注意事项 容易踩的坑、边界情况学习成果技能创建后后续对话中如果遇到类似任务Agent 会自动加载这个技能按照技能说明书执行避免重复探索。依赖的记忆需要读取当前会话的对话历史提取成功的任务模式。3. 技能自我优化Skill Self-Improvement机制当 Agent 发现某个技能执行失败或效果不佳时自动修改技能文件进行优化。实现位置tools/skill_manager_tool.py的patch和edit动作。触发条件技能执行后Agent 发现结果不符合预期用户给出负面反馈Agent 在自省中发现某个技能的缺陷优化方式patch针对 SKILL.md 或支持文件的局部修改类似 git diffedit完全重写 SKILL.md 的内容约束保护单个技能文件不超过 100,000 字符约 36K tokens支持文件不超过 1 MiB所有修改都经过安全扫描tools/skills_guard.py学习成果技能持续迭代质量逐步提升。依赖的记忆需要读取执行轨迹分析失败原因。4. 跨会话搜索与 LLM 摘要FTS5 Session Search机制Agent 可以搜索历史会话中的对话内容提取相关上下文并用 LLM 生成摘要。实现位置hermes_state.py中的SessionDB.search_messages()方法。技术细节使用 SQLite 的 全文索引Full-Text Search 5 虚拟表对所有消息内容建立全文索引支持 FTS5 查询语法关键词、短语、布尔操作、前缀匹配搜索示例# 搜索包含 docker deployment 的消息 db.search_messages(docker deployment) # 搜索精确短语 db.search_messages(exact phrase) # 布尔操作 db.search_messages(docker OR kubernetes) db.search_messages(python NOT java) # 前缀匹配 db.search_messages(deploy*)返回结果匹配消息 前后文上下文各 1 条消息 会话元数据。学习成果Agent 可以回忆起之前对话中的关键信息避免重复提问保持上下文一致性。依赖的记忆核心依赖就是 SessionDB 本身所有对话历史都存储在 SQLite 数据库中。昨天文章《告别盲目运行Hermes Agent Web 界面追踪Token消耗、记忆容量、技能进化》里提到的技能进化监控就是反映这部分的改进。Corrections Lessons Learned面板展示的是「错误修正与经验教训」记录数据来源2个渠道来源说明Memory 文件从~/.hermes/目录的记忆文件中提取category: correction类型的条目Session 会话从state.db数据库的对话记录中挖掘用户纠正 AI 的消息⚠️ 严重程度分级级别图标含义触发关键词示例Critical⚠用户直接发现具体错误caught me,verify beforeMajor✦陷阱/坑点被吸收gotcha,Read ... before makingMinor·限制/局限性被记录doesnt work,wont help,not yet confirmed 数据提取逻辑1. Memory 中的修正系统会扫描记忆文件中带有特定关键词的条目gotcha, don#39;t ... as a problem, caught me, verify before,Read ... before making, supersedes, not usable, doesn#39;t work...2. Session 会话中的修正从数据库查询用户消息中包含以下关键词的对话wrong, incorrect, verify, actually, not right,not correct, not true, push back最多展示最近 20 条。记忆系统快循环的基础设施上述四个闭环学习机制全部依赖于 Hermes 的记忆系统。存储位置~/.hermes/state.dbSQLite 数据库核心表结构-- 会话表 CREATE TABLE sessions ( id TEXT PRIMARY KEY, source TEXT NOT NULL, -- cli, telegram, discord 等 user_id TEXT, model TEXT, system_prompt TEXT, parent_session_id TEXT, -- 支持会话链压缩后续 started_at REAL, ended_at REAL, message_count INTEGER, tool_call_count INTEGER, input_tokens INTEGER, output_tokens INTEGER, title TEXT, ... ); -- 消息表 CREATE TABLE messages ( id INTEGER PRIMARY KEY, session_id TEXT, role TEXT, -- user, assistant, tool content TEXT, tool_calls TEXT, -- JSON 序列化的工具调用 timestamp REAL, reasoning TEXT, -- 推理过程支持 extended thinking ... ); -- FTS5 全文索引 CREATE VIRTUAL TABLE messages_fts USING fts5( content, contentmessages, content_rowidid );关键设计WAL 模式支持多进程并发读写gateway CLI cron 任务同时运行FTS5 索引毫秒级全文搜索会话链通过parent_session_id支持上下文压缩后的会话续接Token 统计自动追踪输入/输出/缓存命中的 token 数支持外挂记忆接口Hermes 还支持外挂记忆实现Memory Provider通过agent/memory_provider.py的抽象接口class MemoryProvider(ABC): def initialize(self, session_id: str, **kwargs): ... def prefetch(self, query: str) - str: ... # 每轮对话前预取相关记忆 def sync_turn(self, user, assistant): ... # 每轮对话后同步 def get_tool_schemas(self): ... # 暴露给模型的工具 def handle_tool_call(self, tool_name, args): ...内置的BuiltinMemoryProvider管理MEMORY.md和USER.md文件。可以接入外部记忆服务如 Honcho、Hindsight、Mem0。快循环的记忆依赖总结闭环机制依赖的记忆定期自省当前会话对话历史自主技能创建当前会话对话历史 成功模式提取技能自我优化执行轨迹 失败分析跨会话搜索全量会话历史FTS5 索引路径二改进模型权重慢循环当提示和技能已经优化到极致但模型本身的推理能力仍然不够时就需要考虑改进模型权重——也就是训练一个专属模型。这条路是传统的 RLReinforcement Learning路径Hermes 通过rl_training_tool.py提供了完整的基础设施。慢循环的完整链路五步Step 1: 收集轨迹数据 Step 2: 选择 RL 环境 Step 3: 启动 RL 训练 Step 4: LoRA 合并到基座模型 Step 5: 部署为新模型Step 1收集轨迹数据入口batch_runner.py命令python batch_runner.py \ --dataset_filedata.jsonl \ --batch_size10 \ --run_namemy_run \ --modelanthropic/claude-sonnet-4.6输出data/my_run/trajectories.jsonl每条记录包含conversationsShareGPT 格式的完整对话轨迹tool_stats工具调用统计reasoning_stats推理覆盖率metadata模型、时间戳、batch 编号断点续跑--resume会扫描已有 batch 文件按 prompt 内容去重跳过已完成样本。数据清洗自动过滤无效工具名模型幻觉丢弃没有推理过程的样本。Step 2选择 RL 环境入口rl_training_tool.py通过rl_*工具系列调用命令rl_list_environments() # 列出所有可用环境 rl_select_environment(name...) # 选择环境可用环境环境名用途HermesSweEnvSWE-bench 风格编码任务TerminalTestEnv内联文件验证自测用TerminalBench2EvalEnv89 个终端任务 benchmarkTbliteEnv100 个快速校准任务YC-bench长程战略 benchmarkStep 3启动 RL 训练命令rl_get_current_config() # 查看可配置项 rl_edit_config(field..., value...) # 调整超参 rl_start_training() # 启动训练训练启动后三个进程同时运行进程 1: run-api (Atropos 轨迹 API 服务器) ↓ 进程 2: launch_training.py (Tinker trainer SGLang 推理服务器) ↓ 进程 3: environment.py serve (RL 环境)硬性要求GPU从rl_training_tool.py的LOCKED_FIELDS配置可以确认openai: [ { model_name: Qwen/Qwen3-8B, base_url: http://localhost:8001/v1, # 本地推理服务器 server_type: sglang, # SGLangGPU 推理框架 } ]训练时模型会启动一个本地 SGLang 推理服务器这个服务器必须跑在 GPU 上。资源需求单卡 A100/A10G/4090 起步24GB VRAMLoRA 训练 近 9K token context 长度训练时长数小时监控rl_check_status(run_id...) # 每 30 分钟查一次限速返回 WandB 指标 rl_stop_training(run_id...) # 手动中断WandB 追踪指标reward_mean、percent_correct、eval/percent_correctStep 4LoRA 合并到基座模型RL 训练输出的不是完整模型权重而是LoRA adaptertinker-atropos/checkpoints/ ├── run_uuid/ │ ├── step_00025/ │ │ └── adapter.safetensors # LoRA adapter 权重 │ └── final/ │ └── adapter.safetensorsLoRA adapter 不能单独使用必须用merge_lora.py或类似脚本合并到基座模型产出新的 safetensors 权重文件。这一步是手工的Hermes 代码并没有自动完成这个合并。Step 5部署为新模型四步手工链路Step A: LoRA → 合并权重 adapter.safetensors Qwen3-8B base → merged_model.safetensors Step B: 合并权重 → SGLang/vLLM 服务 sglang or vllm serve \ --model /path/to/merged_model.safetensors \ --base-url http://localhost:8001/v1 Step C: 注册到 Hermes 模型目录 在 ~/.hermes/config.yaml 中添加 custom provider model: provider: custom base_url: http://localhost:8001/v1 model: qwen3-8b-hermes-v1 Step D: 运行时切换 /model custom:qwen3-8b-hermes-v1 或修改 config.yaml 的 default_modelHermes 本身不运行任何模型它只是 OpenAI-compatible API 的客户端。RL 训练出来的模型只要能通过 HTTP API 对话就能被 Hermes 使用。完全不需要改动 Hermes 代码只需要正确配置base_url和model字段。慢循环的断点分析环节状态1. 轨迹收集 → JSONL✅ 自动batch_runner.py2. JSONL → RL 训练✅ 需人工准备数据、手动调用工具3. RL 训练 → 新权重✅ rl_training_tool.py 实现4. 新权重 → 部署为新模型❌ 需人工操作5. 新模型 → 成为默认 base model❌ 需人工修改配置6. 新轨迹 → 重新训练❌ 无自动触发机制自动化的缺失在 Step 4→5 之间没有 cron job 或触发器自动把训练好的新模型纳入 Hermes 的模型池也没有自动将高质量轨迹重新喂入下一轮训练。整个慢循环靠人工判断节奏和质量阈值来驱动。两条路径的协作关系DSPy GEPA快循环的自动化升级前面讲的四个闭环学习机制还可以进一步自动化通过 DSPy GEPA 方法ICLR 2026 Oral 论文。运行流程读取当前技能/提示 ↓ 生成评估数据集 ↓ GEPA 优化器读取执行轨迹来理解为什么失败不只是知道失败 ↓ 生成候选变体 ↓ 约束门控测试套件 100% 通过 技能文件不超过 15KB 工具描述不超过 500 字符 语义不偏离原始目的 ↓ 选出最佳变体 → PR 提交 → 人工审核成本单次优化运行约 $2-10全部通过 API 调用完成。慢循环总结当前状态Phase 1技能文件优化已实现Phase 2-5工具描述、系统提示、工具实现代码、持续改进管线计划中从代码实现可以看出官方实现自我学习的思路先用 DSPy GEPA 把提示优化到极致分钟级迭代成本低再用快循环的四个闭环机制持续改进技能自动化程度高当提示已经最优但模型能力跟不上时才考虑 RL 训练小时级训练成本高大多数情况下步骤 12 就已经能解决 80% 的问题。真正需要训模型的时候往往是模型本身的推理能力瓶颈而不是指令写得不够好。数据飞轮需要训练能力吗数据飞轮有两种只有训练权重的慢循环需要训练环境。常人日常使用改进提示/技能足够用。飞轮层级需要训练环境成本速度改提示/技能快循环不需要低$2-10快分钟级改模型权重慢循环需要GPU高算力成本慢小时级附录Hermes Agent 自我改进机制清单机制类型优化对象资源需求自动化程度定期自省 Nudge快循环行为约束无自动触发自主技能创建快循环SKILL.md无Agent 自动调用技能自我优化快循环SKILL.md无Agent 自动调用跨会话搜索快循环记忆检索无Agent 自动调用DSPy GEPA快循环prompts/skillsAPI 调用半自动需人工审核 PRRL 训练慢循环模型权重GPU手工触发 手工部署基于 Hermes Agent v0.9.0 源码分析。-END-推荐阅读Hermes Agent 接入微信实战8小时从零构建Linux桌面 最强开源模型 GLM-5.1开源语音 AI3 秒克隆声音支持 9 种语言 — Voxtral TTS490万浏览量的方案用 LLM 构建持续更新积累的个人知识库Claude Code 源码泄露解读背后的技术细节给 OpenClaw 接入10000工具和数据为你盯盘给出独家策略让你的OpenClaw替你打工从0到1跑通小红书运营全流程实战教程AI 不是在抢我的工作Harness 正在重构软件工程让 Agent 完成任何复杂任务