深度拆解 HermesAgent二闭环学习系统 —— AI Agent 如何自我进化系列导读本文是 HermesAgent 深度拆解系列 的第二篇。我们将深入分析 HermesAgent 最核心的创新——闭环学习系统看看 AI Agent 是如何从经验中学习、创建技能、持续进化的。上一篇项目概览与核心架构 |下一篇工具注册与技能系统CSDN 分类人工智能 AI Agent 架构设计CSDN 标签HermesAgent, AI Agent, 闭环学习, 自我改进, FTS5, Honcho, 技能系统阅读量预计 8万 |收藏量预计 4000 |点赞量预计 1500一、为什么学习对 AI Agent 至关重要当前绝大多数 AI Agent 产品都有一个共同的问题无状态。每次你跟 Agent 对话它就像一个失忆症患者——要么从零开始要么仅依赖有限的上下文窗口。你能想象一个数字分身每次见面都要重新认识你吗HermesAgent 的 Nous Research 团队显然思考过这个问题。他们的解决方案是让 Agent 自己决定学什么、怎么学、什么时候学。这就是闭环学习系统Closed Learning Loop的核心思想。二、闭环学习全景先看完整的闭环流程用户发起任务 │ ▼ ┌─────────────┐ │ 执行任务 │ ← Agent 使用已有技能和知识 └──────┬──────┘ │ ▼ ┌─────────────┐ │ 观察结果 │ ← 任务成功失败部分完成 └──────┬──────┘ │ ▼ ┌─────────────┐ │ 提取经验 │ ← 这个任务的关键步骤是什么 └──────┬──────┘ │ ├──→ 创建新技能如果是新类型的任务 ├──→ 改进已有技能如果有更好的方法 └──→ 持久化知识如果有值得记住的信息 │ ▼ ┌─────────────┐ │ 下一轮任务 │ ← 使用更新后的技能和知识 └──────┬──────┘ │ └──────── 闭环 ────────┘与传统 Agent 的对比维度传统 AgentHermesAgent知识来源仅系统提示词 上下文窗口系统提示词 持久化记忆 自学技能能力增长需要人工更新 prompt/代码自动从经验中创建技能跨会话记忆无或极简FTS5 全文搜索 LLM 摘要用户理解每次从零开始跨会话用户画像持续深化技能演进静态动态改进三、Agent 策展记忆Agent-Curated MemoryHermesAgent 的记忆系统有一个非常独特的设计理念Agent 自己决定什么值得记住。这不是人类预设的记住这个关键词就触发那个规则而是 Agent 在每次交互后自主评估“这次交互中有哪些信息对未来有帮助”记忆的存储结构HermesAgent 的记忆存储在~/.hermes/memory/目录下~/.hermes/memory/ ├── short_term/ # 短期记忆近期会话摘要 ├── long_term/ # 长期记忆持久化的重要知识 └── user_model/ # 用户画像通过 Honcho 实现定期 Nudge 机制系统会定期通过 cron 调度向 Agent 发送Nudge——一种温和的提醒“你最近处理了一些任务有什么值得记住的经验吗”Agent 收到 Nudge 后会回顾近期的会话记录评估哪些信息有价值将重要的知识持久化到长期记忆这种设计避免了什么都记导致的信息过载也避免了什么都不记导致的遗忘。代码实现关键点在agent/memory_manager.py中记忆管理器负责构建记忆上下文classMemoryManager:defbuild_memory_context(self,user_id:str)-str:构建当前对话的记忆上下文# 1. 从 SessionDB 中搜索相关的历史会话relevant_sessionsself.session_db.search(user_id,query)# 2. 从长期记忆中加载相关知识long_term_memoriesself.load_long_term_memories(user_id)# 3. 从用户画像中获取偏好信息user_profileself.load_user_profile(user_id)# 4. 组装为系统提示词的一部分returnself.assemble_context(relevant_sessions,long_term_memories,user_profile)四、自主技能创建与改进这是闭环学习中最精彩的环节。4.1 技能是什么在 HermesAgent 中技能Skill本质上是一种结构化的经验文档使用 Markdown 格式存储--- name: deploy-to-docker description: 将 Python 项目打包并部署到 Docker 容器 tags: [docker, deployment, python] --- # 部署到 Docker ## 前置条件 - 项目目录下有 requirements.txt - Docker 已安装 ## 步骤 1. 创建 Dockerfile 2. 构建 Docker 镜像 3. 运行容器 ...这种设计非常聪明人类可读开发者可以直接查看和编辑技能文件LLM 可理解Markdown 是 LLM 最擅长理解的格式之一标准化兼容 agentskills.io 开放标准4.2 技能自动创建流程当一个复杂任务完成后Agent 会评估“这个任务的解决方法是否具有复用价值”如果是Agent 会回顾任务执行的完整轨迹提取关键步骤和决策点生成结构化的技能文件保存到~/.hermes/skills/目录4.3 技能自动改进更巧妙的是技能不是创建后就冻结了。当 Agent 在后续使用某个技能时如果发现某些步骤不再适用 →更新技能如果发现有更好的方法 →优化技能如果技能导致失败 →标记并回退4.4 Skills Hub —— 技能市场HermesAgent 还内置了Skills Hub类似Agent 版的 App Store# 在 CLI 中使用 /skills 命令/skills searchdocker# 搜索技能/skillsinstalldeploy-k8s# 安装技能/skills list# 列出已安装技能/skills view my-skill# 查看技能详情所有技能都兼容 agentskills.io 开放标准意味着不同 Agent 框架之间可以共享技能五、FTS5 会话搜索 —— 跨会话回忆传统 Agent 的另一个痛点无法回忆过去的对话。HermesAgent 通过SQLite FTS5全文搜索引擎LLM 摘要解决了这个问题。搜索流程用户问了一个涉及历史信息的问题 │ ▼ 从问题中提取搜索关键词 │ ▼ FTS5 全文搜索历史会话 │ ▼ LLM 对搜索结果进行语义摘要 │ ▼ 将摘要注入当前对话上下文 │ ▼ Agent 基于历史信息回答问题为什么选择 SQLite FTS5方案优点缺点纯向量数据库语义搜索准确需要额外依赖部署复杂纯关键词搜索简单快速语义理解差SQLite FTS5 LLM零额外依赖 语义理解LLM 调用有成本HermesAgent 的选择非常务实用 SQLite FTS5 做初筛快、准、零依赖再用 LLM 做语义摘要深度理解。这种混合搜索策略在性能和准确性之间取得了很好的平衡。六、Honcho 用户建模HermesAgent 集成了Honcho—— 一个辩证用户建模Dialectic User Modeling系统。什么是辩证用户建模传统用户画像通常是静态的标签集合{name:张三,interests:[编程,AI],role:开发者}Honcho 的辩证建模更加动态用户画像Thesis←→ 对话观察Antithesis→ 更新画像Synthesis每次交互都会更新用户画像形成越来越准确的用户理解第 1 次对话用户是一名开发者 第 5 次对话用户是一名 Python 开发者偏好简洁的代码 第 20 次对话用户是 Python 后端开发者正在做 AI Agent 方向的创业 喜欢务实的技术方案不喜欢过度工程化这对数字分身场景来说简直是核心基础设施——你的 AI 分身需要越了解你才能越像你。七、闭环学习的落地价值理论分析完了那闭环学习在实际使用中能带来什么场景一代码助手越来越懂你第 1 周Agent 帮你写了些 Python 脚本 → 学到你偏好 Python 3.11使用 type hints 第 2 周Agent 帮你部署了服务 → 创建了 deploy-to-server 技能 第 3 周你需要再次部署 → Agent 直接使用已有技能跳过了探索阶段场景二跨会话的上下文连贯周一你告诉 Agent 我们的产品叫 XXX 周三你问 Agent 帮我写一段产品介绍 → Agent 已经知道产品名直接使用 下周一你又问了关于产品的问题 → Agent 记得你们之前讨论过的定位和方向场景三技能市场共享你在 CSDN 上看到一篇关于 Docker 多阶段构建 的技能 → /skills install docker-multi-stage → 你的 Agent 立刻获得了这个能力八、对 Agent 设计的启示作为AI Agent的研究者在设计 Agent 系统时可以汲取以下经验1. 学习闭环是数字分身的灵魂“让每个人拥有 AI 数字分身”——如果这个数字分身不能学习和进化它就只是一个静态的 AI 聊天机器人。闭环学习应该是 Agent 的核心架构之一。2. 技能系统标准化采用 agentskills.io 标准意味着技能可以跨平台共享社区可以贡献技能降低生态建设门槛3. 混合搜索策略值得借鉴SQLite FTS5 LLM 摘要的组合在零额外依赖的前提下实现了高质量的跨会话回忆非常适合初期快速落地。4. Agent 自主策展 vs 预设规则让 Agent 自己决定记住什么比人类预设规则更灵活但也需要设置遗忘机制防止记忆过载。九、小结HermesAgent 的闭环学习系统在整个开源 Agent 生态中是独树一帜的。它不是简单的记忆模块或RAG 检索而是一个完整的执行→观察→学习→改进→持久化闭环。这种设计回答了一个关键问题AI Agent 如何从工具进化为伙伴答案是——让它拥有持续学习的能力。系列导航第一篇项目概览与核心架构第三篇工具注册与技能系统即将发布相关阅读OpenClaw 架构深度分析 | HermesAgent 源码分析报告本文基于 HermesAgent v0.10.0 源码分析项目持续迭代中。