第5篇Vibe Coding时代LangGraph 测试闭环实战让 Agent 自动生成代码、运行测试并修复失败一、问题场景Agent 写完代码后没人知道它到底能不能跑很多 AI Coding Demo 到“生成代码”就结束了。但是做过真实开发都知道代码生成出来只是第一步能不能跑测试说了算。我之前做过一个自动生成接口的 Agent。模型输出看起来很完整app.post(/login)deflogin(...):...但实际运行发现依赖没写全import 路径错误Pydantic 版本用法混乱测试用例跑不通生成了不存在的函数异常返回格式不一致如果没有测试闭环这些问题都要人工发现。所以本文要实现生成代码 → 写入文件 → 生成测试 → 执行 pytest → 失败后修复 → 再测试这才更接近真实 Vibe Coding。二、流程设计用户需求 ↓ 生成项目文件 ↓ 生成测试文件 ↓ 写入 workspace ↓ 执行 pytest ↓ 测试是否通过 ├── 通过输出结果 └── 失败把错误信息传回代码生成节点核心点测试错误信息必须进入 State并传回修复节点。否则模型不知道怎么修。三、项目结构vibe-agent-test-loop/ ├── app.py ├── graph.py ├── state.py ├── chains.py ├── tools.py ├── workspace/ └── requirements.txt四、依赖安装langchain langchain-openai langgraph python-dotenv pytest fastapi uvicorn httpx安装pipinstall-rrequirements.txt五、定义工具创建tools.pyimportsubprocessfrompathlibimportPath BASE_DIRPath(__file__).parent.resolve()WORKSPACEBASE_DIR/workspaceWORKSPACE.mkdir(exist_okTrue)defsafe_path(path:str)-Path:target(WORKSPACE/path).resolve()ifnotstr(target).startswith(str(WORKSPACE)):raiseValueError(非法路径)returntargetdefwrite_file(path:str,content:str)-str:targetsafe_path(path)target.parent.mkdir(parentsTrue,exist_okTrue)target.write_text(content,encodingutf-8)returnstr(target)defrun_pytest()-str:resultsubprocess.run([pytest,-q],cwdstr(WORKSPACE),capture_outputTrue,textTrue,timeout30,)return(freturncode{result.returncode}\n\nfstdout:\n{result.stdout}\n\nfstderr:\n{result.stderr})注意cwd限制在 workspacetimeout防止测试卡死stdout/stderr 都要保存六、定义 State创建state.pyfromtypingimportTypedDict,ListclassFileItem(TypedDict):path:strcontent:strclassTestLoopState(TypedDict):requirement:strfiles:List[FileItem]test_result:strretry_count:interrors:List[str]final_answer:str七、生成代码和测试创建chains.pyimportjsonfromlangchain_openaiimportChatOpenAIfromlangchain_core.promptsimportChatPromptTemplate llmChatOpenAI(modelgpt-4o-mini,temperature0.1)defgenerate_project_files(requirement:str,test_result:str)-list[dict]:promptChatPromptTemplate.from_messages([(system,你是一名资深 Python 工程师。请生成可运行项目文件和 pytest 测试文件。必须输出 JSON 数组不要输出 Markdown。),(user, 用户需求 {requirement} 上一次测试结果 {test_result} 请输出 JSON 数组 [ {{ path: main.py, content: 代码内容 }}, {{ path: test_main.py, content: 测试内容 }} ] 要求 1. 代码必须可运行 2. 测试必须能用 pytest 执行 3. 如果有上一次测试错误请针对错误修复 )])chainprompt|llm responsechain.invoke({requirement:requirement,test_result:test_result,})returnjson.loads(response.content)八、构建 LangGraph创建graph.pyfromlanggraph.graphimportStateGraph,ENDfromstateimportTestLoopStatefromchainsimportgenerate_project_filesfromtoolsimportwrite_file,run_pytest MAX_RETRY2defgenerate_node(state:TestLoopState)-TestLoopState:try:filesgenerate_project_files(requirementstate[requirement],test_resultstate[test_result],)state[files]filesexceptExceptionase:state[errors].append(f生成失败{str(e)})returnstatedefwrite_node(state:TestLoopState)-TestLoopState:forfileinstate[files]:try:write_file(file[path],file[content])exceptExceptionase:state[errors].append(f写入失败{file.get(path)}{str(e)})returnstatedeftest_node(state:TestLoopState)-TestLoopState:try:state[test_result]run_pytest()exceptExceptionase:state[test_result]f测试执行异常{str(e)}state[errors].append(state[test_result])returnstatedefshould_retry(state:TestLoopState)-str:ifreturncode0instate[test_result]:returnfinishifstate[retry_count]MAX_RETRY:returnfinishstate[retry_count]1returnretrydeffinal_node(state:TestLoopState)-TestLoopState:state[final_answer](## 测试结果\n\nf{state[test_result]}\n\n## 重试次数\n\nf{state[retry_count]}\n\n## 错误信息\n\nf{state[errors]})returnstatedefbuild_graph():graphStateGraph(TestLoopState)graph.add_node(generate,generate_node)graph.add_node(write,write_node)graph.add_node(test,test_node)graph.add_node(final,final_node)graph.set_entry_point(generate)graph.add_edge(generate,write)graph.add_edge(write,test)graph.add_conditional_edges(test,should_retry,{retry:generate,finish:final,})graph.add_edge(final,END)returngraph.compile()九、运行入口创建app.pyfromgraphimportbuild_graphdefmain():appbuild_graph()state{requirement:生成一个 FastAPI Hello World 接口GET / 返回 {message: hello},files:[],test_result:,retry_count:0,errors:[],final_answer:,}resultapp.invoke(state)print(result[final_answer])if__name____main__:main()运行python app.py十、验证结果理想情况下输出returncode0 stdout: . [100%] 1 passed in 0.42s如果第一次失败可能类似ModuleNotFoundError: No module named main这个错误会传回generate_node模型会基于错误重新生成代码。十一、踩坑记录不要只让模型“自我审查”很多人会写请检查你生成的代码是否有问题模型通常会回答代码整体没有明显问题。但实际运行可能直接报错。所以工程上更可靠的闭环是模型审查 真实测试执行模型审查发现风格问题测试执行发现运行问题。两者不能互相替代。十二、踩坑记录测试命令必须设置 timeout错误写法subprocess.run([pytest])如果测试卡住整个 Agent 会一直挂着。正确写法subprocess.run([pytest,-q],timeout30,capture_outputTrue,textTrue)所有外部命令都应该设置超时。十三、踩坑记录测试失败信息必须完整传回模型不要只传测试失败这没用。要传returncode stdout stderr 完整 traceback模型修复代码时非常依赖错误细节。十四、适合收藏测试闭环步骤1. 生成业务代码 2. 生成测试代码 3. 写入 workspace 4. 执行 pytest 5. 捕获 returncode/stdout/stderr 6. 判断是否通过 7. 失败时把错误传回生成节点 8. 限制最大重试次数 9. 通过后输出最终结果 10. 失败后保留最后一次错误十五、避坑清单坑点表现解决方案只生成代码不测试不知道能不能跑加 pytest 节点只传“失败”模型无法修复传完整 stdout/stderr没有 timeout流程卡死subprocess 加 timeout无限重试成本失控设置 MAX_RETRY工作目录错误找不到文件cwd 指向 workspace测试文件缺依赖pytest 失败生成 requirements 或固定依赖十六、总结这一篇我们让 Coding Agent 从“生成代码”升级成了“生成 测试 修复”的闭环。这是 Vibe Coding 进入工程化的关键一步。我的经验是没有测试闭环的 AI Coding只能叫代码建议有测试闭环才开始接近自动开发。后续还可以继续扩展执行 ruff 检查执行 mypy 类型检查执行安全扫描生成覆盖率报告对失败用例做归因分析Agent 不应该只会写代码它还应该知道代码是否真的能工作。