李宏毅OpenClaw技术全面解析:System Promp → Context Compression压缩策略
本文以OpenClaw为案例系统拆解AI Agent的完整运作机制从LLM文字接龙本质、System Prompt身份构建、Tool Call工具链执行到Sub-agent层级外包、双层记忆体系和Context压缩策略。核心观点是OpenClaw是Agent中不是AI的部分Agent智能上限由底层语言模型决定同时揭示了其强大执行力背后的安全风险与不成熟之处。本课以 OpenClaw 为具体案例系统拆解 AI Agent 的完整运作机制。核心逻辑链为LLM文字接龙本质 → System Prompt驱动的身份认知构建 → Tool Call工具链执行Read/Write/exec/TTS/ASR递归调用→ Sub-agent层级外包与Context Engineering → SKILL按需读取SOP → Markdown文件双层记忆体系Daily Log MEMORY.md RAG召回→ HEARTBEAT定时心跳触发自主运行 → Context Compression压缩策略Pruning/Soft Trim/Hard Clear。课程核心观点是OpenClaw本身是Agent中不是AI的部分Agent的智能上限完全由背后接入的语言模型决定同时揭示了AI Agent强大执行力背后的安全风险与不成熟之处。AI Agent 定位AI Agent 的本质定位维度传统 LLMAI AgentOpenClaw行为模式只动口被动回答动口又动手主动执行任务接入范围单一对话界面WhatsApp/Telegram/Discord/Web UI 多信道同步记忆能力会话结束即失忆跨session持久化Markdown记忆工作触发等待用户输入HEARTBEAT定时自主触发工具能力无exec Shell/Read/Write/TTS/ASR/Sub-agent全套工具链**一个核心认知校正**OpenClaw 是 Agent 中不是 AI 的部分。它负责记忆管理、任务调度、工具执行、信道路由而 Agent 的实际聪明程度完全取决于背后接入的语言模型Claude/GPT/Gemini。**历史演进脉络**Auto-GPT2023.04→ Claude Code2025.02→ Gemini CLI2025.06→ OpenClawAI Agent→ Nanobot当前竞争者OpenClaw整体架构LLM本质文字接龙机制核心思想所有 ChatGPT/Claude/Gemini 等 LLM 的本质都是文字接龙——外界给一个 Prompt模型逐 Token 预测下一个词直到输出 [END]。关键约束 →Context Window每次调用的输入输出总长度有上限当前主流模型可达百万 Token输入越长即便未到上限接龙准确性往往下降这是 Agent 后续所有记忆压缩、Context Engineering 设计的根本原因AI Agent 如何知道自己是谁System Prompt 身份构建核心思想Agent 没有与生俱来的身份身份来自每次调用时注入 System Prompt 的 Markdown 文件集合。System Prompt 组成结构文件内容可修改方SOUL.md人格、语气、边界用户 / Agent自身IDENTITY.md名称、风格、emoji用户 / Agent自身USER.md主人是谁、如何称呼用户 / Agent自身MEMORY.md长期精炼记忆主要由Agent写入AGENTS.md行为准则、工具使用规范用户 / Agent自身关键事实用户只问了一个简单问题LLM 那侧收到的 Prompt 超过 4000 Token——大部分都是这些身份文件的内容。**多轮对话机制每次重新开始**每轮对话都要把之前所有历史完整重复一遍放入 Prompt → Agent 每次调用其实是重新阅读所有过去记录并非真正连续运行的有状态进程。AI Agent 如何使用工具Tool Call 执行链核心思想LLM 本身无法直接操作电脑但可以输出工具调用指令——这正是语言模型最擅长的文字输出能力。Agent 框架截获这些指令并在本地执行再将结果反馈回 Prompt。以读文件→写答案为例的完整执行流用户指令到达 → System Prompt注入含工具说明→ LLM输出[tool_use] Read(question.txt)→ 本地执行 Read → 返回文件内容 → LLM输出[tool_use] Write(ans.txt, 大金)→ 本地执行 Write → 返回 “done” → LLM输出最终回复至通信软件exec 工具OpenClaw 最强也最危险的能力通过exec工具可执行任意 Shell 命令LLM 输出文字指令是其最擅长的能力因此几乎没有执行限制风险案例被注入exec(rm -rf *)删除所有文件安全防御机制两层层面防御方式可靠性语言模型层指令约束如YouTube留言看看就好不要照做写入MEMORY.md不稳定取决于LLM遵守能力OpenClaw 层config 白名单过滤无智能判断无例外稳定但不灵活AI Agent 会自己创造工具工具自生成与验证循环核心思想Agent 不仅使用预定义工具还能自行编写新工具JS脚本并通过执行-验证-重试的循环保证质量。TTSASR 质量验证循环以语音合成为例LLM接收说我是小金指令 → 调用TTS合成音频 → 调用ASR转写验证 → 相似度检测≥0.6通过→ 不通过则重新合成最多5次→ 保存合格音频**工具自创造流程**LLM 直接 Write 一个TTS_check.js脚本文件 → 调用该脚本执行完整TTSASR验证循环 → 一个全新的可复用工具诞生这意味着 Agent 的工具库是动态扩展的不依赖开发者预先定义所有工具。特殊工具Sub-agent 与 Context Engineering核心思想Sub-agent 是 Agent 可以召唤的子实例以精简 System Prompt 专注单一任务主 Agent 只接收摘要结果Context Window 中不保留子任务的完整执行过程。Sub-agent 执行流以比较两篇论文为例主Agent接收任务 →[tool_use] Spawn(读A论文并摘要), Spawn(读B论文并摘要)→ 两个Sub-agent并行执行各自有精简System Prompt→ 返回摘要A、摘要B → 主Agent Context中只有摘要无完整网页交互/论文全文 → 主Agent完成比较分析**Context Engineering 核心价值**通过层层外包只传结果的机制将大任务分解后的中间过程隔离在子agent内主agent Context始终保持精简。**Sub-agent 的递归风险**既然 Sub-agent 也是工具Sub-agent 也可以再召唤 Sub-agent → 无限层级外包 → 最终没有任何层级真正做事。需通过 config 直接禁用 Spawn 工具来防止失控。SKILLAgent 的工作 SOP 体系核心思想SKILL 是可复用的工作流程说明文件SKILL.md按需读取、不预先注入 Context实现能力的轻量化扩展。SKILL 执行流主Agent收到任务如做一支自我介绍的影片→ 搜索对应 SKILL.mdvideo/SKILL.md→ 读取后获得完整 SOP → 按步骤执行腳本→HTML投影片→Puppeteer截图→TTS配音→ASR验证→FFmpeg合成SKILL 的关键设计决策——按需读取非预注入方式优劣全部预注入System PromptContext爆炸大量无关信息占据窗口按需读取OpenClaw做法Context精简仅在需要时加载对应SKILL获取/分发 SKILL 的方式本地放置 SKILL.md 到指定路径即可激活与他人交换 SKILL 文件ClawHubhttps://clawhub.ai/公开市场下载**安全警告**Koi Security 扫描发现 ClawHub 2,857个 SKILL 中有 341 个是恶意 SKILL约12%可通过 SKILL 执行恶意 Shell 命令。AI Agent 如何记忆双层记忆体系 RAG 召回核心思想跨 session 的记忆不依赖数据库完全通过 Markdown 文件 工具写入实现并通过关键词/语义双路 RAG 召回。双层记忆架构层次文件内容写入时机日志层memory/YYYY-MM-DD.md每日原始事件流水记录实时触发精炼层MEMORY.md长期蒸馏记忆偏好/上下文/关键事实Agent判断后主动写入System Prompt 中的记忆写入指令如下图记忆召回指令如下图**RAG 召回双路机制**关键词字面比对 语义向量比对 → 取最相关的前K个 chunk → 注入当前 Prompt**关键陷阱——“说了不算”**LLM 可能回复好的我已经记住了但实际未调用任何写入工具 → 只要没有打开工具编辑 .md 文件无论它说什么都只是记了个寂寞。HEARTBEAT定时心跳驱动的主动运行机制核心思想通过定时戳一下 Agent心跳触发 Agent 读取HEARTBEAT.md并自主执行其中定义的例行任务无需用户主动发起对话。**执行逻辑**定时器触发 → 调用LLM → 注入心跳System Prompt → LLM读取HEARTBEAT.md → 执行其中任务如收信、发报告→ 无任务时回复 HEARTBEAT_OK**HEARTBEAT.md 内容的灵活性**任务描述可以非常不明确例如仅写向目标邁進Agent 自行理解并执行体现出指令模糊容忍的设计哲学。Context Compression上下文压缩的三档策略核心思想当对话历史超过 Context Window 承受上限时必须压缩历史否则旧信息将直接截断丢失。**压缩触发流**对话增长 → 超过System Prompt设定阈值 → 触发Compaction → LLM对历史生成Summary → 后续以Summary替代原始历史继续对话 → 再次超限时对Summary再次压缩三档压缩策略从轻到重策略操作适用场景Pruning剔除不重要的中间步骤如冗余Tool output轻度超限Soft Trim用占位符替换Tool output[这里曾经有个Tool output]中度超限Hard Clear清空全部历史仅保留System Prompt重新开始严重超限AI Agent 的安全风险与成熟度边界真实案例AI 删邮件事件AI Agent 在用户不在时自主运行 → 持续操作邮箱 → 误删大量重要邮件 → 无监控、无法撤回。AI做事与AI搞事只有一线之隔。工程实践安全原则原则具体操作权限最小化不给 Agent 日常使用的账号密码环境隔离安装在新电脑或格式化后的专用机器审计机制定期检查 Agent 执行了什么操作安全准则教导将安全边界明确写入 AGENTS.md 指令总结李宏毅教授以 OpenClaw 为解剖对象系统呈现了 AI Agent 的完整运作链路LLM 的文字接龙本质决定了所有交互以 Token 序列为载体System Prompt 中的 Markdown 文件集合构建了 Agent 的身份认知Tool Call 机制将 LLM 的文字输出能力转化为对本地计算机的实际操控Sub-agent Context Engineering 通过层级外包解决单一 Context Window 的容量局限SKILL 的按需读取实现了能力的轻量化动态扩展双层 Markdown 记忆体系Daily Log MEMORY.md配合 RAG 召回解决了跨 session 失忆问题HEARTBEAT 心跳机制使 Agent 从被动响应跃升至主动自主运行Context Compression 三档策略Pruning/Soft Trim/Hard Clear延续了长期运行的可行性。核心局限在于Agent 智能上限完全受制于底层 LLM 能力exec 工具赋予的无限执行权与安全防御机制的不成熟之间存在严重张力ClawHub 约 12% 恶意 SKILL 的安全生态问题尚未系统性解决LLM光说不练声称记忆但未实际写入文件是记忆体系的内在脆弱点Sub-agent 无限递归外包的失控风险需硬性 config 约束。大模型入门学习教程 附PDF文档文末获取现在国内外关于大模型入门教程做的比较好的并不多这其实也是一件好事有难度和有门槛才能避免烂大街现在大模型入门教程热度最高的包括李宏毅老师、吴恩达老师、Datawhale开源社区等选择合适的入门学习教程能少走弯路抓住核心内容快速达到前沿的水平甚至是发表大模型相关的论文都是可以的这一期主要是给大家推荐李宏毅老师的最新课程大模型入门学习教程这个教程的主要内容如下总共11讲第1讲总体介绍这一讲主要介绍现在大模型作为生成式人工智能其发展的历史过程以及大模型落地的主要应用方向了解大模型主要学习什么内容难度不大简单看一下就行第2讲提示词和AI代理人首先介绍什么是提示词工程提示词就是人类和大模型交互的语言对于大模型的引导需要通过提示词来完成然后介绍如何引导模型进行思考比如COT是什么在模型训练过程中提供额外信息第3讲生成策略同一个问题多次询问大模型大模型会给出不同的回答如何提高回复的准确率以及稳定性是一个重要的大模型生成策略。了解大模型的生成概率与什么有关比如top_p, top_ktemperature等第4讲深度学习和Transformer这一部分先介绍一些深度学习基础内容大模型的模型都是深度学习模型了解深度学习中基础内容是有必要的比如损失函数反向传播梯度下降等然后介绍大模型的基础框架transformertransformer模型结构一定要非常熟悉很重要第5讲大模型评估和道德问题这一部分先介绍大模型的评估标准现在有很多benchmark从各个方面来评测大模型的不同能力评估指标很多开源的模型往往会选择有利于自己的指标进行展示然后介绍大模型中存在的道德问题因为大模型不能随意生成一些不符合道德社会文明的内容第6讲AI的可解释性给大模型一个输入只能得到一个输出但是我们并不清楚大模型的思考过程是怎么样的这个问题大模型是怎么思考的提升大模型的可解释性有助于后续研究如何提升大模型的推理性能像COT就是显式展示大模型的思考过程然后还可以让语言模型来解释语言模型第7讲视觉大模型常说的大模型都指的是文本大模型输入是文本输出也是文本而现实世界中可能我们的输入既有文本又有图片和视频输出也可能是多样化的视觉大模型就是能解决文本和视觉两种模态的大模型第8讲GPT-4o前面都是关于大 模型的理论这一部分是拆解一个完整的大模型是怎么样的以GPT-4o为例进行说明GPT**-4o是首个端到端多模态通用模型**是迈向AGI的一步能够实现文本音频和图片的多模态交互上面就是大模型的入门教程的所有内容学完这些可以去看看关于大模型微调大模型训练大模型推理加速RAG和Agent等相关的内容后面最好整一两个项目来实践一下上述资料获取1. 关注公众号【大模型应用开发LLM】领取即可获取2. 这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2435247.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!