01大模型到底是什么“大模型”其实是个广义概念指的大参数量的机器学习模型包括语音、视觉等等内容。我们现在常说的大模型其实是大语言模型 Large Language Model 像平时用的豆包、deepseek。现在有个现象同样是用AI不同的人会用出不一样的效果这就要理解大模型的底层逻辑了。大模型并没有完全像人一样去思考不过一直在进步你会发现他越来越聪明了。简单来说大模型的理解其实是在预测他经过大量的学习判断每个字后面接下一个字的概率有多高像 “苹” - “果” 的概率就很高当然他不只是逐字去预测他会结合上下文比如“xxx此处省略100个字xxx”去预测下一个字依此类推。因此我们在提问的时候要进行适当的引导。起初在我看到网上专门有人教如何给豆包提问题还不屑一顾没想到是我外行了。02提示工程prompt engineeringprompt是人类和AI沟通的语言我们发给AI的话都是prompt那么如何写好prompt呢有一个通用公式 角色定位上下文任务指令输入数据输出要求约束条件角色定位就是要让模型更专业的去分析你的问题给出答案例如你是一个资深大模型应用开发工程师性格温和上下文背景信息比如连续问答遇到有歧义的问题他可以根据刚刚在聊的内容来猜测你更可能想问什么任务指令明确核心动作内容总结、分析推理、计算结果还是判断对错避免答非所问输入数据具体问题描述、需总结的文档输出要求格式化输出便于后续代码解析字数限制风格等约束条件避免一些prompt攻击比如禁止回答与主题无关的问题当然并不是每次提问都要一步一步把每个点都套进去需要灵活处理。结合前面有一期我们本地部署了ollama-qwen3:4b的本地模型我们可以上手感受一下提示词的魅力。本地调用模型需要先启动本地ollama服务ollama serve调用方式一般有两种一种是调用模型原生接口一种是通过通用OpenAI接口来调用# Ollama原生OpenAPI接口curl http://127.0.0.1:11434/api/chat -d { model: qwen3:4b, messages: [{role: user, content: 你好}], stream: false}# OpenAI兼容接口curl http://127.0.0.1:11434/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer ollama \ -d { model: qwen3:4b, messages: [{role: user, content: 你好}] }返回如下可以看到两种方式返回的响应体有些许的差异原生API中返回信息在message[“content”]中OpenAI的接口返回在choices[“message”[“content”]]中在程序中获取结果时候需要注意下OpenAI更通用建议优先用这个。接下来可以调用本地接口去体验下不同的prompt有什么样的效果from openai import OpenAI# 配置项OpenAI兼容模式 # 指向本地Ollama的OpenAI兼容接口client OpenAI( base_urlhttp://127.0.0.1:11434/v1, # Ollama的OpenAI兼容前缀 api_keyollama# 本地模型任意值即可仅用于格式兼容)MODEL_NAME qwen3:4b# OpenAPI规范调用兼容OpenAI def call_local_llm_openai_compatible(prompt, streamFalse): 用OpenAI OpenAPI规范调用本地Ollama模型 try: # 非流式调用 ifnot stream: completion client.chat.completions.create( modelMODEL_NAME, messages[{role: user, content: prompt}], temperature0.7, streamFalse ) return completion.choices[0].message.content # 流式调用 else: completion client.chat.completions.create( modelMODEL_NAME, messages[{role: user, content: prompt}], temperature0.7, streamTrue ) def stream_generator(): for chunk in completion: if chunk.choices[0].delta.content: yield chunk.choices[0].delta.content #生成器每次迭代都会返回一个结果 return stream_generator() except Exception as e: returnf调用失败{str(e)}# 测试兼容模式调用 if __name__ __main__: # 1. 非流式调用OpenAI OpenAPI规范 print( OpenAI兼容模式-非流式调用 ) prompt1 请严格按JSON格式输出{\name\:\张三\,\age\:25,\job\:\程序员\} result1 call_local_llm_openai_compatible(prompt1) print(result1) print(- * 60) # 2. 流式调用OpenAI SSE规范 print( OpenAI兼容模式-流式调用 ) prompt2 请解释OpenAPI接口的核心特点 stream_gen call_local_llm_openai_compatible(prompt2, streamTrue) print(模型响应, end) for chunk in stream_gen: print(chunk, end, flushTrue) print()结果大家可以自己本地执行观察下效果。这里面有两个参数说明一下temperature温度他是用来控制输出的稳定性范围 0~2数值越小越严谨例如数学推理计算数值越大越发散适合文章扩写等等。streamTrue/False代表是否流式输出True是逐字输出False是等全部生成好之后一次性输出。03思维链Chain of ThoughtsCoT思维链CoT是大模型 Prompt 工程中核心的高级技巧 本质是引导模型 “像人类一样分步思考”而不是直接给出答案尤其适合数学计算、逻辑推理、复杂任务拆解等场景能大幅提升回答的准确性。下面是几种常用的思维链使用方式最简单的就直接告诉他一步步思考如果他思考的还是不够细那直接给他指出来要先分析问题拆解子问题等等步骤严格按照我们所说的来思考再不济那就给他写几个样例让他参考我们样例思考的过程去思考。自洽性是指让他多思考几次更多一致的结果则更可能是我们想要的结果增加了一些容错性。类型特点适用场景零样本 CoT仅用提示词如 “让我们一步步思考”触发模型思考不想写示例的快速场景少样本 CoT给出 1-2 个 “问题 思考步骤 答案” 的示例引导模型模仿复杂问题如数学竞赛题自洽 CoT让模型生成多个思考路径最后取一致答案高精准要求场景如财务计算可以用下面这段代码来体验一下import requests# 基础配置适配本地OllamaOLLAMA_URL http://127.0.0.1:11434/api/generateMODEL_NAME qwen3:4b# 通用调用函数def call_llm_with_cot(prompt, temperature0.1): 调用本地模型适配思维链Prompt data { model: MODEL_NAME, prompt: prompt, temperature: temperature, # 低温度保证推理严谨 stream: False } try: response requests.post(OLLAMA_URL, jsondata) response.raise_for_status() return response.json()[response] except Exception as e: returnf调用失败{str(e)}# 场景1基础CoT分步思考 print( 场景1基础CoT )basic_cot_prompt 请严格按照「分析问题→拆解步骤→计算结果→总结答案」的步骤解决以下问题问题某商店第一天卖出20件商品第二天卖出的数量是第一天的1.5倍第三天比第二天少卖5件三天总共卖出多少件basic_cot_result call_llm_with_cot(basic_cot_prompt)print(basic_cot_result)print(- * 70)# 场景2少样本CoT示例引导 print( 场景2少样本CoT )few_shot_cot_prompt 示例1问题小红有8支笔买了5支送给同学3支还剩几支思考步骤1. 分析问题需要计算笔的数量增减2. 拆解步骤初始8支 新买5支 - 送出3支3. 计算85-3104. 答案还剩10支。示例2问题一本书有200页第一天看了50页第二天看了剩下的1/3还剩多少页没看思考步骤1. 分析问题先算剩余页数再算第二天看的最后算最终剩余2. 拆解步骤 - 第一天看完剩余200-50150页 - 第二天看的页数150×1/350页 - 最终剩余150-50100页3. 计算200-50-(150×1/3)1004. 答案还剩100页。请模仿上述示例的思考步骤解决以下问题问题一个长方形长12cm宽比长少4cm这个长方形的周长和面积分别是多少few_shot_cot_result call_llm_with_cot(few_shot_cot_prompt)print(few_shot_cot_result)print(- * 70)# 场景3零样本CoT无示例仅提示 print( 场景3零样本CoT )zero_shot_cot_prompt 让我们一步步思考这个问题确保每一步都准确问题小明从家到学校需要走15分钟速度是每分钟80米放学时速度减慢到每分钟60米放学回家需要走多久zero_shot_cot_result call_llm_with_cot(zero_shot_cot_prompt)print(zero_shot_cot_result)print(- * 70)# 场景4复杂任务拆解非数学题 print( 场景4复杂任务拆解CoT )task_cot_prompt 请用思维链的方式拆解「开发一个本地文档问答机器人」的任务要求1. 先明确核心目标2. 拆解成5个以内的核心步骤3. 每个步骤说明关键动作和注意事项。task_cot_result call_llm_with_cot(task_cot_prompt, temperature0.5)print(task_cot_result)04思维树Tree of ThoughtsToT思维树ToT是比思维链CoT更高级的大模型推理框架核心是让模型像人类一样 “分叉思考、评估路径、回溯优化”—— 不仅分步推理还能探索多个可能的解题路径淘汰错误方向选择最优解尤其适合复杂、多分支、需要试错的任务如数学竞赛题、逻辑谜题、复杂任务规划简单来说思维树就是从多条路开始走去遍历各种可能性然后去评估哪个结果更接近于正确结论择优选择。同样给一个样例亲身感受一下当然这些代码如何写不用纠结这些代码网上都有AI生成的相当完善重点去理解他的推演过程。import requestsimport json# 配置项 OLLAMA_URL http://127.0.0.1:11434/api/generateMODEL_NAME qwen3:4b# 本地已下载的模型TEMPERATURE 0.5 # 生成多个思路时适度增加随机性# 基础调用函数 def call_ollama(prompt, temperature0.5): 调用本地Ollama模型返回生成结果 data { model: MODEL_NAME, prompt: prompt, temperature: temperature, stream: False, max_tokens: 1000# 限制生成长度避免冗余 } try: response requests.post(OLLAMA_URL, jsondata) response.raise_for_status() return response.json()[response].strip() except Exception as e: returnf调用失败{str(e)}# ToT核心函数 def tree_of_thoughts(problem, max_depth3, top_k2): 思维树ToT核心实现 :param problem: 待解决的复杂问题 :param max_depth: 思维树最大深度中间步骤数 :param top_k: 每一步保留的最优思路数 :return: 最优解 完整推理路径 # 存储完整的思维树用于回溯和展示 thought_tree { root: problem, nodes: [], # 每个节点格式{depth: 深度, thought: 思路, score: 评分, children: []} } def generate_thoughts(current_problem, depth): 生成当前步骤的多个可能思路 prompt f 你需要解决的问题{current_problem} 当前推理深度{depth}/{max_depth} 要求 1. 生成{top_k1}个可能的解题思路中间步骤 2. 每个思路简洁明了不超过50字 3. 思路之间要有明显差异不同的推理方向 4. 仅输出思路列表格式1. 思路1\n2. 思路2\n... thoughts_str call_ollama(prompt, temperatureTEMPERATURE) # 解析思路列表 thoughts [] for line in thoughts_str.split(\n): if line.strip().startswith((1., 2., 3., 4., 5.)): thought line.strip().split(., 1)[1].strip() if thought: thoughts.append(thought) return thoughts[:top_k] # 取前top_k个思路 def evaluate_thoughts(thoughts, current_problem): 评估思路的可行性返回思路评分列表评分1-10越高越可行 prompt f 待解决问题{current_problem} 需要评估的思路列表 {chr(10).join([f{i1}. {t} for i, t in enumerate(thoughts)])} 要求 1. 为每个思路评分1-10分1完全不可行10最优 2. 评分理由简洁不超过30字 3. 仅输出评估结果格式 1. 思路1评分理由 2. 思路2评分理由 ... eval_str call_ollama(prompt, temperature0.1) # 低温度保证评估严谨 # 解析评分 evaluated [] for line in eval_str.split(\n): if line.strip().startswith((1., 2., 3., 4., 5.)): parts line.strip().split(., 1)[1].strip().split(, 1) if len(parts) 2: thought parts[0].strip() score_part parts[1].split(, 1)[0].strip() try: score int(score_part) evaluated.append((thought, score)) except ValueError: continue # 按评分排序降序 evaluated_sorted sorted(evaluated, keylambda x: x[1], reverseTrue) return evaluated_sorted def expand_tree(current_problem, depth): 递归扩展思维树返回最优思路和最终答案 # 终止条件达到最大深度生成最终答案 if depth max_depth: final_prompt f 基于当前思路解决问题{current_problem} 要求给出最终答案简洁明了不超过100字。 final_answer call_ollama(final_prompt, temperature0.1) return final_answer, [] # 步骤1生成当前步骤的多个思路 thoughts generate_thoughts(current_problem, depth) ifnot thoughts: return无法生成有效思路, [] # 步骤2评估思路选最优的top_k个 evaluated_thoughts evaluate_thoughts(thoughts, current_problem) ifnot evaluated_thoughts: return无法评估思路, [] # 步骤3递归扩展最优思路的子节点 best_thought, best_score evaluated_thoughts[0] # 记录当前节点到思维树 thought_tree[nodes].append({ depth: depth, thought: best_thought, score: best_score, children: [] }) # 构建下一级问题基于最优思路 next_problem f基于思路「{best_thought}」继续解决原问题{problem} # 递归扩展 final_answer, child_paths expand_tree(next_problem, depth 1) # 记录子路径 thought_tree[nodes][-1][children] child_paths # 返回当前路径最终答案 path [f深度{depth}{best_thought}评分{best_score}] child_paths return final_answer, path # 启动思维树推理 final_answer, reasoning_path expand_tree(problem, depth1) return { final_answer: final_answer, reasoning_path: reasoning_path, thought_tree: thought_tree }# 测试ToT功能 if __name__ __main__: # 示例复杂逻辑谜题适合ToT的典型场景 complex_problem 逻辑谜题有5个盒子分别标有1-5号每个盒子里装着红、黄、蓝三种颜色中的一种球满足以下条件 1. 1号盒子不是红球 2. 2号盒子和4号盒子颜色相同 3. 3号盒子是蓝球 4. 5号盒子不是黄球 5. 红球数量比黄球多1个。 请推理每个盒子里球的颜色并说明推理过程。 # 执行ToT推理 print( 思维树ToT推理开始 ) print(f待解决问题{complex_problem.strip()}) print(- * 80) result tree_of_thoughts( problemcomplex_problem, max_depth3, # 3层推理深度 top_k2 # 每步保留2个最优思路 ) # 输出结果 print( 推理路径思维树) for idx, step in enumerate(result[reasoning_path]): print(f{idx1}. {step}) print(- * 80) print( 最终答案 ) print(result[final_answer])04总结从左到右依次是 基本问答Input-Output Prompting、思维链Chain of Thought Prompting、自洽性思维链Self Consistency with CoT、思维树Tree of Thought。看图应该能够直观感受到这几种方式之间的关系了吧。基本的prompt就是直问直答思维链是把思考过程加入进来一条路走到黑而思维树是同时走多条路选最优的一条。最近两年大模型发展很迅速在理论研究方面得到很大的拓展基础模型的能力也取得重大突破大模型现在正在积极探索落地的方向如果与各行各业结合起来是未来落地的一个重大研究方向大模型应用工程师年包50w属于中等水平如果想要入门大模型那现在正是最佳时机2025年Agent的元年2026年将会百花齐放相应的应用将覆盖文本视频语音图像等全模态如果你对AI大模型入门感兴趣那么你需要的话可以点击这里大模型重磅福利入门进阶全套104G学习资源包免费分享扫描下方csdn官方合作二维码获取哦给大家推荐一个大模型应用学习路线这个学习路线的具体内容如下第一节提示词工程提示词是用于与AI模型沟通交流的这一部分主要介绍基本概念和相应的实践高级的提示词工程来实现模型最佳效果以现实案例为基础进行案例讲解在企业中除了微调之外最喜欢的就是用提示词工程技术来实现模型性能的提升第二节检索增强生成RAG可能大家经常会看见RAG这个名词这个就是将向量数据库与大模型结合的技术通过外部知识来增强改进提升大模型的回答结果这一部分主要介绍RAG架构与组件从零开始搭建RAG系统生成部署RAG性能优化等第三节微调预训练之后的模型想要在具体任务上进行适配那就需要通过微调来提升模型的性能能满足定制化的需求这一部分主要介绍微调的基础模型适配技术最佳实践的案例以及资源优化等内容第四节模型部署想要把预训练或者微调之后的模型应用于生产实践那就需要部署模型部署分为云端部署和本地部署部署的过程中需要考虑硬件支持服务器性能以及对性能进行优化使用过程中的监控维护等第五节人工智能系统和项目这一部分主要介绍自主人工智能系统包括代理框架决策框架多智能体系统以及实际应用然后通过实践项目应用前面学习到的知识包括端到端的实现行业相关情景等学完上面的大模型应用技术就可以去做一些开源的项目大模型领域现在非常注重项目的落地后续可以学习一些Agent框架等内容上面的资料做了一些整理有需要的同学可以下方添加二维码获取仅供学习使用