1. 项目概述与核心价值最近在GitHub上看到一个挺有意思的项目叫“self-improving”作者是Cat-tj。光看这个名字你可能觉得有点抽象但点进去之后我发现它触及了一个非常核心且前沿的议题如何让一个AI系统或者说一个智能体能够像人一样在完成任务的过程中不断学习、反思、优化自己的行为从而实现“自我提升”。这听起来有点像科幻小说里的情节但Cat-tj的这个项目正是朝着这个方向迈出的一个具体、可实践的探索。简单来说这个项目构建了一个能够执行任务、评估结果、并从失败中学习改进的智能体框架。它不再是一个简单的“输入-输出”黑盒而是一个具备“元认知”能力的循环系统。想象一下你让一个助手去网上查资料它第一次可能因为关键词不准而失败但一个“自我提升”的助手会分析这次失败调整搜索策略下次就能做得更好。这个项目的核心价值就在于它提供了一个实现这种能力的脚手架和思路对于任何想要研究智能体、自动化流程优化或AI持续学习的人来说都是一个极佳的参考。它适合谁呢首先肯定是AI工程师和研究者尤其是对智能体Agent、强化学习、自动化工作流感兴趣的朋友。其次对于希望构建更智能、更健壮的自动化脚本或机器人的开发者这个项目里的“反思-优化”思想非常有借鉴意义。最后即便是对AI有一定了解的爱好者通过这个项目也能直观地理解“AI如何学习”这个抽象概念背后的具体工程实现。接下来我就结合自己的理解和一些实践尝试来深度拆解一下这个项目的设计思路、技术实现以及我们可以如何借鉴。2. 核心架构与设计哲学拆解2.1 “自我提升”的闭环逻辑这个项目的灵魂在于它构建了一个清晰的“执行-评估-学习”闭环。传统的自动化脚本或简单的AI调用往往是线性的给定输入执行预设逻辑输出结果。成功与否很大程度上取决于预设逻辑的完备性。而“self-improving”引入了一个关键的反馈环。它的基本工作流可以概括为任务执行 - 结果评估 - 问题诊断 - 策略优化 - 再次执行。这个循环不是无限进行的通常会设置一个迭代上限或一个成功阈值。例如智能体接到的任务是“获取某公司的最新股价”。第一次执行它可能直接去搜索引擎搜索“某公司股价”返回的结果可能是一个财经新闻页面而不是结构化的实时数据。评估模块可能基于规则或另一个AI模型会判断这个结果不符合“结构化数据”的要求。诊断模块会分析原因“搜索查询过于宽泛导致返回了新闻页面而非数据接口或金融网站”。接着优化模块会生成新的策略“使用更精确的查询如‘某公司 stock price Yahoo Finance API’或直接访问特定的金融数据网站”。然后智能体带着新策略再次执行任务。这个闭环的设计哲学深受人类学习过程和强化学习中的“试错”机制影响。它承认初次尝试很可能不完美但关键在于系统有能力识别不完美并驱动自身做出改变。这比编写一个包含所有可能性的、无比复杂的静态规则系统要优雅和强大得多。2.2 核心模块的角色与交互要实现上述闭环项目通常会包含几个核心模块我们可以将其分解来看任务规划与执行器这是系统的“手和脚”。它接收具体的任务指令如“写一份关于量子计算的简介”并将其分解为可执行的动作序列如搜索“量子计算 基础原理” - 阅读并总结前三篇高质量文章 - 整合成一份300字的简介。执行器负责调用外部工具如搜索引擎API、代码解释器、文件系统操作等。结果评估器这是系统的“眼睛和大脑的批判区”。它的职责是审视执行器的产出。评估标准可以是多维度的事实准确性产出的信息是否与可靠信源一致任务符合度产出是否完全满足了任务要求例如字数、格式、主题逻辑连贯性产出的内容是否条理清晰没有矛盾可执行性如果产出是一段代码或命令它是否能被正确执行 评估器可以是一个规则系统检查关键词、长度也可以是一个AI模型判断文本质量、代码正确性或者是两者的结合。反思与诊断器这是系统的“内省能力”。当评估器判定结果不理想时诊断器需要像侦探一样分析“为什么会失败”。它需要访问任务历史、执行步骤、中间结果以及评估器的具体反馈。诊断的输出不是简单的“失败了”而应该是具体的、可操作的归因例如“失败原因是在步骤2中引用的资料来源权威性不足且未能区分量子计算与经典计算的根本差异。”策略优化器这是系统的“学习与进化引擎”。基于诊断器的归因优化器需要生成一个改进后的行动计划或策略。这可能包括修改动作参数将搜索关键词从“量子计算”改为“量子计算基本原理 薛定谔方程”。调整动作顺序先查阅权威教科书或百科定义再去看最新的研究文章。引入新的动作在总结后增加一个“事实交叉验证”的步骤。替换执行工具从通用搜索引擎切换到学术数据库。 优化器通常需要较强的推理和规划能力因此往往由一个高级别的AI模型如GPT-4等大语言模型来担任。记忆与知识库这是系统的“经验仓库”。每一次任务执行、评估、诊断和优化的完整记录都应该被结构化地存储下来。这构成了系统的“经验”。当下次遇到类似任务时系统可以先在记忆库中检索是否有成功的先例或失败的教训从而避免重复犯错加速学习过程。这是实现长期“自我提升”的关键。注意在实际项目中这些模块的边界可能并非如此清晰有时一个大型语言模型LLM可以同时承担规划、评估、诊断和优化的部分功能通过精心设计的提示词Prompt来引导其扮演不同角色。项目的架构设计就是在“模块化专精”和“LLM全能但不可控”之间寻找平衡。3. 关键技术点与实现细节剖析3.1 基于大语言模型的智能体核心当前实现“self-improving”能力最可行的技术路径就是围绕大语言模型LLM来构建智能体。LLM强大的自然语言理解、生成和推理能力使其能够胜任规划、诊断、优化等需要“思考”的工作。核心实现模式项目通常会采用“LLM-as-a-Judge”和“LLM-as-a-Planner”的组合模式。也就是说用LLM来担任评估器和优化器/规划器。具体做法是设计两套或多套提示词模板执行提示词引导LLM将用户任务分解为具体步骤。你是一个任务执行AI。你的目标是通过一系列步骤完成用户请求。 当前任务{用户任务} 历史步骤和结果{历史记录} 请规划下一步的具体动作例如搜索[关键词] 调用[工具]处理[数据] 编写[代码]等。请只输出动作描述。评估与诊断提示词引导LLM对结果进行批判性评价。你是一个严格的质量评估AI。请评估以下任务完成情况。 原始任务{用户任务} 提交的结果{智能体产出} 请从准确性、完整性、相关性等方面进行评估并指出任何具体错误或不足。如果存在不足请分析可能的原因。优化提示词引导LLM基于诊断提出改进方案。基于以下任务执行历史和失败诊断请提出一个改进后的执行计划。 任务{用户任务} 失败执行历史{历史步骤} 诊断出的问题{诊断结果} 请生成一个全新的、能避免上述问题的步骤规划。通过循环调用LLM并切换这些提示词角色就模拟出了“思考-行动-反思-再行动”的过程。3.2 工具调用与执行环境智能体的“手和脚”必须能操作外部世界。这依赖于工具调用能力。项目需要集成一个工具库并为LLM提供清晰的工具使用说明。常见的工具包括网络搜索通过SerpAPI、Google Search API等获取实时信息。代码执行提供一个安全的沙箱环境如Docker容器让智能体能够运行Python等代码来执行计算、数据处理等任务。文件操作读取、写入本地或云存储的文件。API调用与外部服务如数据库、天气服务、金融数据接口进行交互。关键实现细节工具描述必须为每个工具编写清晰、结构化的自然语言描述包括功能、输入参数格式、输出示例。LLM依靠这些描述来理解何时以及如何使用工具。输出解析工具执行后的返回结果可能是JSON、文本、错误码需要被规范化以便LLM能够理解并作为下一步的输入。安全沙箱对于代码执行类工具绝对必须在隔离的、无网络或受控网络、资源受限的沙箱中运行以防止智能体执行危险操作。这是项目安全的生命线。3.3 记忆机制的设计没有记忆每次任务都是从头开始就谈不上“提升”。记忆机制的设计是区分普通智能体和“自我提升”智能体的关键。短期记忆上下文即当前对话或单次任务循环中LLM所能看到的全部历史信息。这受限于LLM的上下文窗口长度。需要精心设计上下文的结构将任务描述、已执行步骤、工具结果、评估反馈等高效地组织起来在有限的窗口内传递最关键的信息。长期记忆向量数据库这是实现跨任务学习的关键。将过去成功和失败的任务记录包括任务描述、执行轨迹、最终结果和评估转化为文本再通过嵌入模型转换为向量存储到向量数据库如ChromaDB, Pinecone, Weaviate中。工作流程当新任务到来时首先将任务描述转换为向量。在向量数据库中搜索与之最相似的过去任务记录Top-K。将这些相似的历史记录作为“经验”或“教训”作为上下文的一部分提供给规划LLM。LLM在规划时就可以参考历史经验例如“上次我用A方法做类似任务失败了因为……这次我应该尝试B方法。”这种“基于经验的规划”极大地提升了智能体的起点和成功率是“自我提升”的直观体现。3.4 评估标准的量化与自动化“自我提升”需要一个客观的“标尺”这就是评估标准。让LLM自己评估自己LLM-as-a-Judge虽然灵活但也存在主观和不稳定的问题。为了更可靠项目常常会结合多种评估方式规则性检查对于有明确标准的任务如“生成一个包含5个条目的列表”可以直接用程序检查输出是否满足数量、格式要求。基于黄金答案的评估对于有标准答案的任务可以使用BLEU、ROUGE等文本相似度指标或直接使用LLM对比智能体输出与标准答案的语义一致性。可执行性验证如果输出是代码或命令最直接的评估就是实际运行它看是否能成功执行并产生预期结果。多模型交叉验证除了主LLM可以引入另一个LLM甚至不同家族的模型作为“独立评审员”对主LLM的产出进行评估减少单一模型的偏见。一个健壮的评估模块往往是规则、自动化指标和LLM判断的混合体。在设计时需要为不同类型的任务预设不同的评估策略。4. 实操构建从零搭建一个简易自提升智能体理解了原理我们可以动手搭建一个简化版的“self-improving”智能体。这里我们以“数据查询与可视化”为例构建一个能通过自我改进来正确获取数据并生成图表的智能体。4.1 环境准备与工具集成我们选择Python作为开发语言使用OpenAI的GPT-4作为核心LLMLangChain框架来简化智能体构建流程。基础环境搭建# 创建虚拟环境 python -m venv venv_self_improve source venv_self_improve/bin/activate # Linux/Mac # venv_self_improve\Scripts\activate # Windows # 安装核心依赖 pip install openai langchain langchain-openai langchain-community chromadb requests pandas matplotlib关键工具封装 我们需要为智能体封装几个基础工具网络搜索模拟、数据获取模拟API、绘图工具。# tools.py import json import pandas as pd import matplotlib.pyplot as plt from typing import Dict, Any class ToolSet: 模拟的工具集 staticmethod def web_search(query: str) - str: 模拟网络搜索根据查询返回预设的文本信息。 # 这里简化为一个字典查找真实场景应调用SerpAPI等 knowledge_base { 特斯拉 2023年 季度 销量: 根据公开数据特斯拉2023年第一季度全球交付约42.3万辆第二季度约46.6万辆第三季度约43.5万辆第四季度约48.5万辆。, 苹果公司 2023 营收: 苹果公司2023财年截至2023年9月总营收为3832.9亿美元。, 量子计算 原理: 量子计算利用量子比特的叠加和纠缠特性进行并行计算其基本单元是量子比特不同于经典比特的0或1状态。 } return knowledge_base.get(query, f未找到关于{query}的精确信息。请尝试更具体的关键词。) staticmethod def fetch_financial_data(company: str, metric: str, periods: list) - str: 模拟从金融API获取数据返回JSON字符串。 # 模拟数据 data { 特斯拉: {营收: [100, 120, 115, 130], 销量: [42.3, 46.6, 43.5, 48.5]}, 苹果: {营收: [900, 950, 980, 1000], 利润率: [0.42, 0.43, 0.44, 0.45]} } if company in data and metric in data[company]: values data[company][metric] result [{period: p, value: v} for p, v in zip(periods, values)] return json.dumps(result, ensure_asciiFalse) else: return json.dumps({error: f未找到{company}的{metric}数据}, ensure_asciiFalse) staticmethod def plot_line_chart(data_json: str, title: str, x_label: str, y_label: str) - str: 根据JSON数据绘制折线图保存为文件并返回路径。 try: data json.loads(data_json) if isinstance(data, list): periods [d.get(period, fQ{i1}) for i, d in enumerate(data)] values [d.get(value) for d in data] plt.figure(figsize(10,6)) plt.plot(periods, values, markero) plt.title(title) plt.xlabel(x_label) plt.ylabel(y_label) plt.grid(True) file_path f./plot_{hash(title)}.png plt.savefig(file_path) plt.close() return f图表已生成并保存至{file_path} else: return f数据格式错误无法绘图。收到数据{data} except Exception as e: return f绘图过程中发生错误{str(e)}4.2 构建核心循环与智能体逻辑接下来我们使用LangChain的AgentExecutor来构建智能体循环并为其注入“评估-优化”的逻辑。# agent_core.py import os from langchain.agents import AgentExecutor, create_openai_tools_agent from langchain_openai import ChatOpenAI from langchain.memory import ConversationBufferMemory from langchain.prompts import ChatPromptTemplate, MessagesPlaceholder from langchain.tools import Tool from langchain.schema import SystemMessage, HumanMessage, AIMessage from tools import ToolSet # 1. 初始化LLM和工具 llm ChatOpenAI(modelgpt-4-turbo-preview, temperature0, api_keyos.getenv(OPENAI_API_KEY)) tools [ Tool( nameWebSearch, funcToolSet.web_search, description当需要查找实时信息、概念解释或公开数据时使用此工具。输入应为具体的搜索查询词。 ), Tool( nameFetchFinancialData, funcToolSet.fetch_financial_data, description获取指定公司的财务或运营指标数据。输入参数company公司名如特斯拉 metric指标如销量 periods时期列表如[2023-Q1,2023-Q2]。返回JSON格式数据。 ), Tool( namePlotLineChart, funcToolSet.plot_line_chart, description根据提供的JSON数据绘制折线图。输入参数data_jsonJSON字符串格式的数据列表 title图表标题 x_labelX轴标签 y_labelY轴标签。返回图表文件路径或错误信息。 ) ] # 2. 定义智能体提示词 system_prompt 你是一个具备自我反思和提升能力的AI助手。你的目标是尽最大努力完成用户的任务。 你拥有以下工具{tools}。 请遵循以下步骤思考 1. 理解用户任务的深层需求。 2. 规划使用工具的执行步骤。 3. 执行规划使用工具。 4. 观察工具返回的结果。 5. 如果结果不理想如信息不全、格式错误、无法绘图分析原因并调整策略重新规划步骤。 6. 重复3-5步直到任务成功或达到最大尝试次数。 在每次行动前简要说明你的思考。你的最终输出应是任务的成功结果或清晰的失败说明及原因分析。 prompt ChatPromptTemplate.from_messages([ SystemMessage(contentsystem_prompt), MessagesPlaceholder(variable_namechat_history), HumanMessage(content{input}), MessagesPlaceholder(variable_nameagent_scratchpad) # 用于存放工具调用和结果的历史 ]) # 3. 创建智能体 agent create_openai_tools_agent(llm, tools, prompt) agent_executor AgentExecutor(agentagent, toolstools, verboseTrue, max_iterations5, handle_parsing_errorsTrue) # 4. 简单的评估函数模拟 def evaluate_result(task: str, final_output: str) - tuple: 简易评估检查输出是否包含关键信息和成功信号。 success_keywords [图表已生成, 数据如下, 结果是] error_keywords [错误, 失败, 未找到, 无法] has_success any(kw in final_output for kw in success_keywords) has_error any(kw in final_output for kw in error_keywords) if has_success and not has_error: return True, 任务成功完成输出包含有效结果。 elif has_error: return False, f输出中包含错误指示{final_output} else: return False, 输出不明确既无明确成功信号也无错误信息可能未完全满足任务需求。 # 5. 自我提升循环 def self_improving_agent_loop(user_task: str, max_retries2): 带自我改进循环的智能体执行函数。 memory ConversationBufferMemory(memory_keychat_history, return_messagesTrue) full_history [] for attempt in range(max_retries 1): # 初始尝试 重试次数 print(f\n 尝试第 {attempt 1} 次 ) # 执行智能体 try: result agent_executor.invoke({input: user_task, chat_history: memory.chat_memory.messages}) final_output result[output] full_history.append(f尝试{attempt1}输出: {final_output}) except Exception as e: final_output f智能体执行异常: {str(e)} full_history.append(f尝试{attempt1}异常: {final_output}) # 评估结果 is_success, evaluation evaluate_result(user_task, final_output) print(f评估结果: {evaluation}) if is_success: print(任务成功) return final_output, full_history else: print(f任务未完全成功。) if attempt max_retries: # 基于失败结果生成改进提示并入记忆供下次尝试参考 reflection_prompt f 上一次尝试的结果不理想。评估反馈是{evaluation}。 上一次的完整输出是{final_output}。 请分析失败原因并在下一次尝试中调整你的策略。原始任务仍然是{user_task}。 # 将反思作为新的用户输入加入到对话历史中引导下一次尝试 memory.chat_memory.add_user_message(reflection_prompt) full_history.append(f反思注入: {reflection_prompt}) else: print(已达到最大重试次数。) return final_output, full_history # 运行示例 if __name__ __main__: task 获取特斯拉2023年各季度的销量数据并绘制成折线图。 final_result, history self_improving_agent_loop(task, max_retries1) print(\n--- 最终结果 ---) print(final_result) print(\n--- 完整执行历史 ---) for h in history: print(h)4.3 循环过程解析与效果演示运行上面的代码智能体可能会经历如下过程第一次尝试规划LLM理解任务可能规划步骤1) 搜索“特斯拉 2023 季度 销量”2) 整理数据3) 调用绘图工具。执行调用WebSearch(“特斯拉 2023 季度 销量”)获得一段文本描述。问题智能体可能试图直接将这段文本描述非结构化传递给PlotLineChart工具。结果PlotLineChart工具会报错因为输入的不是它期望的JSON格式。评估函数会捕获到这个错误。评估evaluate_result检测到输出中包含“错误”或“无法绘图”判定失败。反思与第二次尝试反思注入系统将失败评估和错误输出作为新的上下文注入到对话历史中。提示词变为“上一次尝试失败了因为绘图工具需要JSON数据但你提供了文本。请调整策略。”重新规划LLM根据新的上下文意识到需要先获取结构化的数据。它可能规划新步骤1) 调用FetchFinancialData工具明确指定公司、指标和周期2) 将返回的JSON数据传递给PlotLineChart工具。再执行这次FetchFinancialData成功返回JSONPlotLineChart成功生成图表。评估输出中包含“图表已生成”评估成功。这个过程虽然简单但完整地演示了“执行-评估-反思-优化-再执行”的自我提升闭环。智能体从第一次的“工具使用不当”中学习在第二次调整了策略选择了正确的工具和正确的数据格式。5. 进阶挑战与优化方向5.1 评估模块的强化我们上面的evaluate_result函数非常简陋。在实际项目中评估模块的强化是提升“自我提升”效果的关键。多维度评估设计一个评估链LLM Chain让LLM从多个维度准确性、完整性、相关性、格式、安全性对输出进行打分1-5分并给出详细的评语。可验证性评估对于涉及事实或数据的任务评估模块可以主动调用搜索工具去验证智能体输出中的关键陈述。基于规则的硬性检查对于有明确要求的任务如“生成一个包含3个步骤的列表”在LLM评估前先用正则表达式或简单解析检查数量、格式是否符合不符合则直接判定失败无需调用LLM节省成本并提高准确性。5.2 长期记忆与经验库的构建要实现跨任务的提升必须建立长期记忆。我们可以使用向量数据库来存储“任务-解决方案”对。# memory_manager.py (简略示例) from langchain.embeddings import OpenAIEmbeddings from langchain.vectorstores import Chroma from langchain.schema import Document class ExperienceMemory: def __init__(self, persist_directory./exp_db): self.embeddings OpenAIEmbeddings() self.vectorstore Chroma(persist_directorypersist_directory, embedding_functionself.embeddings) def store_experience(self, task: str, solution: str, success: bool): 存储一次任务经验。 doc Document( page_contentfTask: {task}\nSolution: {solution}\nSuccess: {success}, metadata{task: task, success: success} ) self.vectorstore.add_documents([doc]) self.vectorstore.persist() def retrieve_similar_experiences(self, query: str, k3): 检索相似的任务经验。 docs self.vectorstore.similarity_search(query, kk) return [doc.page_content for doc in docs]在智能体规划前先调用retrieve_similar_experiences将检索到的历史经验作为系统提示词的一部分例如“以下是过去解决类似任务的经验成功/失败[历史经验]。请参考这些经验来规划当前任务。” 这能显著提升智能体的起点质量。5.3 策略优化的精细化当前的优化策略比较简单通过反思提示词引导。更精细化的优化可以包括动作级别的修正不仅告诉LLM“上次失败了”而是具体指出“在第二步调用WebSearch时查询词‘销量’太宽泛应改为‘季度交付量’”。工具选择优化记录每个工具在不同任务场景下的成功率动态调整工具推荐优先级。例如对于数据查询任务FetchFinancialData的成功率远高于WebSearch那么在规划时就应优先考虑前者。参数自动调优对于需要参数的步骤如搜索关键词可以设计一个简单的优化循环基于评估反馈自动生成和测试不同的参数组合。5.4 安全性与稳定性考量“自我提升”的智能体能力越强潜在风险也越高。操作权限控制严格限制工具的可访问范围。文件操作工具只能访问特定工作目录代码执行工具必须在资源受限的沙箱中运行。目标劫持防护智能体在循环中可能会偏离原始任务目标。需要在每次迭代中将原始任务描述重新注入上下文并让评估模块检查当前执行是否仍与核心目标相关。无限循环预防必须设置严格的迭代次数上限如max_iterations和超时机制防止智能体陷入死循环。成本控制LLM调用和工具使用如搜索API都可能产生费用。需要监控每次任务循环的token消耗和API调用次数设置预算上限。6. 典型问题排查与实战心得在实际构建和测试这类系统时会遇到一些典型问题。6.1 智能体陷入无效循环或动作重复现象智能体反复执行相同或类似的无效动作无法跳出循环。原因评估模块不够敏锐无法识别出“重复”或“无效”的模式。反思提示词引导性不强未能促使LLM产生实质性的策略变更。上下文管理混乱导致智能体“忘记”了已经尝试过的错误路径。解决方案增强评估在评估函数中加入对动作历史的检查如果连续N步的动作语义相似则判定为“陷入循环”并给出强力的修正指令。改进反思在反思提示词中明确要求“提出与之前尝试截然不同的方法”或者提供几个潜在的改进方向供LLM选择。清晰化上下文在对话历史中显式地标记出“上一次尝试的步骤”和“结果”帮助LLM更好地理解现状。6.2 LLM的“幻觉”导致诊断错误现象评估结果本身是准确的如图表生成失败但LLM在诊断原因时给出了完全错误的归因例如怪罪数据本身有问题而实际是数据格式错误。原因LLM基于其训练数据中的模式进行推理可能产生与当前具体上下文不符的“幻觉”。解决方案提供更具体的上下文将工具返回的原始错误信息如Python的Exception Traceback直接提供给诊断LLM而不是经过概括的描述。分步诊断先让LLM判断错误类型是工具调用错误、数据格式错误还是逻辑错误再针对具体类型进行深入诊断。多轮验证对于重要的诊断结论可以设计一个简单的验证步骤。例如诊断说“数据缺失”就让智能体先执行一个“检查数据完整性”的验证动作。6.3 系统响应速度慢成本高现象完成一个简单任务需要多次LLM调用和工具执行耗时数十秒甚至分钟API调用成本累积。原因自我提升循环本质上是多次迭代每次迭代都包含规划、执行、评估等多个LLM调用步骤。优化策略使用轻量级模型对于评估、诊断等相对简单的任务可以尝试使用更便宜、更快的模型如GPT-3.5-Turbo而将核心的规划和复杂推理留给GPT-4。缓存机制对于相同的工具调用请求如搜索相同的关键词可以缓存结果避免重复调用产生成本和延迟。设置早期退出条件如果评估模块在早期就判定结果质量很高可以提前终止循环避免不必要的迭代。异步执行如果任务中的多个步骤没有强依赖关系可以考虑异步执行减少总体等待时间。6.4 个人实战心得从小任务开始不要一开始就试图让智能体完成一个非常宏大、开放的任务如“写一份行业分析报告”。从定义清晰、边界明确的小任务开始如“获取A公司最近四个季度的营收数据并计算环比增长率”更容易构建闭环和评估标准。评估标准先行在开发执行逻辑之前先花时间定义清楚“什么是成功”。一个可量化、可自动化的评估标准是项目成功的基石。模糊的评估会导致循环失效。日志是生命线必须详细记录每一次循环的完整输入、输出、中间步骤、工具调用结果和评估反馈。这些日志是调试和优化系统最宝贵的资料。当出现问题时回放日志往往能立刻定位到问题环节。提示词工程是核心整个系统的“智能”很大程度上来自于精心设计的提示词。特别是系统提示词定义角色和目标、反思提示词引导有效归因和评估提示词设定质量标准。需要像编写产品说明书一样反复打磨这些提示词。接受不完美“自我提升”是一个渐进的过程。初期智能体的成功率可能不高迭代次数可能很多。关键是要确保每次失败都能产生有价值的“诊断”并且系统有能力基于诊断做出有意义的调整。只要这个学习循环是有效的智能体的表现就会随着“经验”的积累而逐步提升。