大模型的Function Call能力并非与生俱来而是通过两个关键训练阶段——SFT和RLHF——精心培养的。SFT通过大量包含工具调用样本的监督微调让模型学会如何输出结构化JSON调用请求而RLHF则通过人类反馈强化学习教会模型何时该调用工具、何时直接回答建立清晰的边界感。想要提升大模型Function Call能力掌握这两个阶段的训练要点和数据构造至关重要。面试官详细说说大模型的 Function Call 能力是怎么训练出来的‍♂️我应该就是在预训练阶段训练语料里包含了一些 API 调用的代码模型自然就学会了吧面试官预训练学到的是「预测下一个 token」模型最多能描述「我要调 API」但不会输出结构化 JSON 调用请求。这是两个完全不同的东西你把预训练和专项微调搞混了。‍♂️我哦那就是 SFT 微调给模型看很多工具调用的样本对吧那训练数据只要包含正常的单工具调用场景就够了面试官单工具调用只是最基础的场景。多工具并行调用、工具调用失败后重试、不需要工具直接回答、多轮对话中的工具调用这些场景训练数据里都要覆盖到缺一个就会在对应场景翻车。而且你还是只提了 SFTRLHF 阶段怎么解决「该不该调」的边界感问题训练数据从哪来这些关键环节一个都没讲到回去好好整理一下。确实Function Call 的训练远不止「喂点样本」这么简单。下面我把两个训练阶段、训练数据的构造和来源、以及各自解决什么问题完完整整地讲一遍。 简要回答Function Call 的能力主要靠两个训练阶段来培养这两个阶段解决的是不同的问题。第一个是 SFT就是给模型喂大量「包含工具调用的完整对话样本」每条样本覆盖工具定义、用户问题、模型应该输出的结构化 JSON 调用、工具执行结果、最终答案让模型通过模仿学会整套流程。但光有 SFT 不够模型可能学得过激遇到什么问题都想调工具。第二个阶段是 RLHF通过人类标注「哪种回答更好」来训练奖励模型再用强化学习调整主模型让它学会「能直接回答的就直接回答需要实时数据才去调工具」这个边界感。一句话总结SFT 教会怎么调RLHF 教会什么时候调。 详细解析很多人以为 Function Call 是大模型「聪明」之后自然就会的东西其实不是。就算是 GPT-4如果没有经过工具调用的专项训练它遇到「北京今天天气怎么样」这个问题顶多也就输出一句「我需要查询天气数据」这是在描述一个意图而不是在输出可以被程序解析和执行的结构化 JSON。这两件事之间有本质的差距。为什么预训练学不会这件事关键原因是预训练语料里压根没有「标准工具调用 JSON」这种模式。预训练喂给模型的是互联网上的海量文本里面有代码、有文档、有对话但几乎没有「给定一组工具 schema该在什么场景输出什么 JSON」这样的成对样本。模型在预训练期间的所有权重更新都是基于「预测下一个最可能的 token」这个目标它记住的是人类文字里的统计规律而「遇到天气问题就输出一段固定格式的 tool_calls JSON」不是人类文字里自然存在的模式权重里根本没有相关经验可以调用。所以这件事必须靠专项微调来补。Function Call 的核心训练分两个阶段每个阶段解决不同的问题缺一不可。阶段一SFT让模型「学会怎么调」SFTSupervised Fine-Tuning监督微调的核心动作很简单给模型喂大量正确示例让它通过模仿来学习。对 Function Call 能力来说就是构造「包含完整工具调用流程的对话样本」一条样本里包含所有角色的消息。一条完整的训练样本大概是这样的结构首先是 system 消息里面注入了工具的定义工具叫什么名字、是干什么用的、接受哪些参数。模型是从这里「认识」工具的就像你给新员工一份工具手册告诉他公司有哪些系统可以用。接着是 user 消息就是用户的提问比如「北京今天天气怎么样」。然后是关键的一步assistant 的消息不是自然语言而是结构化的 JSON 调用请求类似{tool_calls: [{name: get_weather, arguments: {city: 北京}}]}这是「正确答案」是模型通过训练需要学会输出的内容。之后是 tool 角色的消息是工具执行后返回的结果比如「晴天15°C东北风 3 级」。最后 assistant 再出现一次根据工具结果给出最终的自然语言答案。这套完整的对话结构覆盖了整个调用链路。模型通过反向传播backpropagation来学习给定样本里的正确 JSON 调用当模型输出的内容偏离这个正确答案时损失函数就会产生惩罚信号梯度往回传一点点调整模型内部的参数权重让下次输出更接近正确格式。大量样本反复训练模型就把这套「看到工具定义 看到用户问题 - 输出规范 JSON」的模式「记住」了。就像背单词看一遍不够反复遇到、反复纠错最终形成了肌肉记忆。训练数据需要覆盖哪些场景训练数据的多样性直接决定了 Function Call 能力的上限不能只有「正常调一个工具」这一种情况。好的训练数据至少要覆盖这几类场景。最基础的当然是单工具调用一个问题对应一个工具这是入门款。但光有这个远远不够还需要多工具并行调用的样本比如用户问「帮我查北京和上海的天气」模型应该一次性输出两个调用请求而不是傻乎乎地一个一个来如果训练数据里没见过这种场景模型就不知道可以并行。另一个容易忽略但非常关键的场景是工具调用失败后的处理。现实中工具不可能百分百成功API 超时、参数格式不对、权限不足各种错误都有可能出现模型要能识别错误信息并换个方式处理而不是直接崩掉或者傻傻地重复同样的调用。还有一类场景很多人想不到不需要调工具、直接回答。这个其实非常重要「11 等于几」「帮我总结这段话」这类问题完全不需要工具模型得学会判断「我能自己解决不用调」。如果训练数据里全是「调用工具」的正例模型就会形成「遇到问题就调工具」的惯性该直接回答的时候也去调画蛇添足。最后是多轮对话中的工具调用上下文里已经有过工具结果模型要能正确理解和引用之前的结果而不是无视历史重新调用。这些场景的覆盖程度直接影响模型在实际使用中的表现缺哪个就会在哪个场景下翻车。训练数据从哪来构造 Function Call 训练数据主要有两种方式。第一种是人工标注雇标注员给定用户问题和工具定义让他们写出正确的调用示例。这种方式质量好因为人写的样本准确度有保障但成本极高通常只用于核心种子数据的构造没法大规模扩展。第二种是模型自动生成业界也叫 Self-Instruct 或 Distillation蒸馏。核心思路是用一个已经具备 Function Call 能力的强模型比如 GPT-4批量生成训练样本再人工抽查质量。这是现在业界的主流做法成本低、量大但有一个隐患如果上游模型本身生成了错误的样本下游模型就会把这个错误一起学进去业界叫做「模型蒸馏的幻觉传递」。所以抽查质量这一步不能省不然相当于在教模型学错误答案。阶段二RLHF对齐「该不该调」的边界感SFT 之后模型已经学会了「怎么调工具」但还有一个问题没解决什么时候应该调工具什么时候直接回答。SFT 的训练样本都是「正确调用」的例子模型看多了可能学得有点偏激遇到什么问题都想调工具不管有没有必要。「11 等于几」不应该调计算器直接回答 2 就行「帮我总结这段文字」完全不需要任何工具直接做就行只有「北京今天天气」这类需要实时数据的问题才应该调。这种「能直接回答就直接回答需要外部数据才去调」的边界感SFT 很难教好因为光靠固定的正确样本没法覆盖所有边界情况。RLHF 就是来解决这个问题的。RLHFReinforcement Learning from Human Feedback人类反馈强化学习的流程分四步。第一步是生成多样回答。对同一个问题让模型生成多种回答有直接回答的有调了工具的有调了工具但参数填错的故意覆盖各种情况。第二步是人类标注打分。标注员对这些回答进行排序比如「北京今天天气怎么样」这道题调了天气工具的回答排第一因为不调工具就没法给出准确的实时数据「11 等于几」这道题直接回答 2 的排第一调计算器工具的反而是画蛇添足排末尾。第三步是训练奖励模型。用这批打分排序的数据单独训练一个神经网络叫做「奖励模型」Reward ModelRM。奖励模型学会了一件事给定一个问题和一种回答预测人类会给这个回答多少分。它不直接回答用户只负责打分相当于一个专门评判「哪种回答更好」的裁判。第四步是用强化学习调整主模型。拿奖励模型的打分信号通过 PPOProximal Policy Optimization近端策略优化等强化学习算法持续调整主模型的参数让主模型越来越倾向于输出「奖励模型打高分」的回答。你可能会好奇为什么偏偏是 PPO强化学习算法那么多选 PPO 有两个很务实的理由一是它相对稳定训练过程不容易崩传统策略梯度算法很容易因为单步更新太大把模型直接调废二是它内置了一个 KL 散度约束强迫新模型和旧模型的输出分布不要差得太远这样就不会出现「为了讨好奖励模型模型把自己训成只会重复几句套话的怪胎」这种退化情况。RLHF 本质上要让模型在「追求高奖励」和「保持语言能力」之间走钢丝PPO 在这个平衡上是目前公认好用的工具。经过足够多的迭代模型就学会了那种边界感该调工具时调能直接回答时不折腾。RLAIF用 AI 代替人工打分RLHF 最大的痛点是人工标注成本极高标注员需要专业背景打分慢、价格贵很难大规模扩展。RLAIFReinforcement Learning from AI Feedback是它的改进版。你可以这么理解RLHF 是请一群专业的人类评委来给模型的回答打分质量很高但请评委的成本也很高RLAIF 就是换成了一个「AI 评委」用更强的 AI 模型比如 GPT-4来代替人类标注员做这个打分的活儿成本能低 10-100 倍速度也快得多。不过代价也很明显「AI 的偏见会传递」。如果打分的 AI 本身对某些场景的判断有偏差或者盲区这些偏差也会被学进去。打个比方如果 AI 评委觉得「遇到数学题都应该调计算器工具」那被它训练的模型也会学到这个倾向哪怕有些简单算术不用调工具。所以打分 AI 的质量很关键选什么模型来当评委、怎么设计评分标准都需要仔细考虑。现在业界很多模型训练都在混用 RLHF 和 RLAIF在关键数据上用人工保质量量大的地方用 AI 提效率两者互补。两个阶段各司其职SFT 解决的是「会不会」的问题RLHF 解决的是「该不该」的问题。只有 SFT 而没有 RLHF 的模型可能遇到什么问题都冲动地调工具反过来只有 RLHF 而没有 SFT模型连工具调用的格式都输不出来奖励信号根本没地方发力。两个阶段配合起来才能训练出「知道怎么调、也知道什么时候该调」的工具使用能力。 面试总结回看开头踩的雷第一个误区是以为预训练就能学会 Function Call实际上预训练只学了「预测下一个 token」模型最多会描述意图不会输出结构化 JSON这必须靠 SFT 专项训练。第二个误区是以为训练数据只覆盖单工具调用就够了实际上多工具并行、调用失败重试、不需要工具直接回答、多轮对话中的调用这些场景都必须覆盖缺哪个就在哪个场景翻车。面试回答这道题要把两个训练阶段讲清楚。SFT 阶段通过「system 工具定义 user 问题 assistant JSON 调用 tool 执行结果 assistant 最终回答」这样的完整对话样本来训练让模型通过反向传播学会整套流程。RLHF 阶段通过人类对多种回答的偏好排序训练奖励模型再用 PPO 等强化学习算法调整主模型建立「该不该调」的边界感。训练数据来源也要提到人工标注质量高但成本高用于种子数据模型自动生成Self-Instruct / Distillation成本低量大但要注意幻觉传递的风险。一句话总结SFT 教会怎么调RLHF 教会什么时候调。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取