本文通过实操代码解析大模型运行原理从Token解码、文字接龙到Chat Template和多轮对话逐步拆解Llama-3.2-3B-Instruct模型。涵盖Token机制、贪心策略、Temperature与Top-k采样、Chat Template应用、System Prompt设定、多轮对话记忆等核心内容帮助读者理解生成式AI底层逻辑适合想要深入了解大模型运作的程序员和小白学习。第一步Token长什么样在能接龙之前先要搞清楚接的是什么。语言模型不认识文字它认识的是 Token。Token是文本的最小离散单元——不完全等于一个字也不完全等于一个词是介于两者之间的东西。比如英文单词hello对应的Token符号是Ġhello前面那个Ġ表示前面有空格。每个Token在词表里有一个唯一编号叫 Token ID。模型实际操作的是这些数字而不是你看到的文字。用代码看一下print(语言模型有多少不同的Token可以选择, tokenizer.vocab_size)语言模型有多少不同的Token可以选择128256Llama-3.2-3B-Instruct的词表大小是128,256个Token。每次接龙模型要在12万多个候选项里做选择。可以用tokenizer.encode把文字转成Token ID序列用tokenizer.decode把Token ID还原成文字text 大家好 tokens tokenizer.encode(text,add_special_tokensFalse) print(text, -, tokens) print(tokens, -, tokenizer.decode(tokens))大家好 - [22892,26235,102277] [22892,26235,102277] - 大家好大家好三个字变成了三个Token ID。有个细节值得注意同一个英文单词大小写不同Token ID不一样。print(hi, -, tokenizer.encode(hi, add_special_tokensFalse)) print(Hi, -, tokenizer.encode(Hi, add_special_tokensFalse))hi - [2919] Hi - [13347]更微妙的是good morning里的good和i am good里的goodToken ID也不一样——因为前面带空格的 good和不带空格的good是两个不同的Token。所以模型在接龙时操作的不是你看到的文字而是这串数字。理解了这个后面所有的流程都好说了。第二步最笨的接龙——每次选概率最高的搞定Token下面来接龙。最直接的做法把prompt送进模型拿到每个Token的概率分布选概率最高的那个拼回prompt循环。prompt 11 input_ids tokenizer.encode(prompt,return_tensorspt) outputs model(input_ids) last_logits outputs.logits[:,-1,:] probabilities torch.softmax(last_logits,dim-1) top_p,top_indices torch.topk(probabilities,1) token_id top_indices[0][0].item() print(下一个Token, tokenizer.decode(token_id))下一个Token 2model(input_ids)返回的logits经过softmax变成概率选最高的。这一次只产生一个Token。要连续生成需要循环——每次把新生成的Token拼回prompt再送进去prompt 台灣大學李宏毅 length 16 # 生成16个Token for t in range(length): input_ids tokenizer.encode(prompt,return_tensorspt) outputs model(input_ids) last_logits outputs.logits[:,-1,:] probabilities torch.softmax(last_logits,dim-1) top_p,top_indices torch.topk(probabilities,1) token_id top_indices[0][0].item() token_str tokenizer.decode(token_id) prompt prompt token_str print(prompt)台灣大學李宏毅教授の研究團隊在人工智慧領域取得了重大突破这是最朴素的接龙——贪心策略每步都选最优解。问题是每次结果都一样没有任何随机性。输入同样的prompt永远输出同样的内容。第三步加点随机性——Temperature与Top-k采样真实的模型不会总选概率最高的Token那样太死板了。有两个常用的随机化手段Temperature温度在softmax之前把logits除以一个温度值T。T 1概率分布更尖锐高概率词更突出输出更保守T 1概率分布更平坦低概率词也有机会输出更发散T 1不做任何调整默认temperature 0.8 # 小于1让输出更稳定大于1让输出更随机 probabilities torch.softmax(last_logits/temperature,dim-1) token_id torch.multinomial(probabilities,num_samples1).item()就这一行改动同样的prompt每次运行结果都不一样了。但完全随机有个副作用——那些概率极低的奇葩Token偶尔也会被选中输出质量不稳定。Top-k采样只在概率前k名的Token里抽其余的直接排除。top_k 3 # 只在概率最高的3个Token里随机选 top_probs,top_indices torch.topk(probabilities,top_k) top_probs top_probs/top_probs.sum() # 重新归一化让概率加和为1 sampled_idx torch.multinomial(top_probs,num_samples1) token_id top_indices[0][sampled_idx].item()Temperature控制敢不敢冒险Top-k控制候选池有多大两者通常配合使用。你在ChatGPT、Claude里感受到的每次回答略有不同背后就是这类机制在起作用。第四步用model.generate偷懒前面三步手写了很多循环代码。说实话工程上不会这么干。HuggingFace提供了model.generate把那些循环、概率计算、Token拼接全封装好了prompt 你是谁? input_ids tokenizer.encode(prompt,return_tensorspt) outputs model.generate( input_ids, max_new_tokens20, # 最多新生成20个Token不含prompt do_sampleTrue, # True 随机采样False 贪心策略 temperature0.8, # 温度控制随机程度 top_k50, # Top-k采样范围 pad_token_idtokenizer.eos_token_id, # 用结束符ID作为padding避免警告 attention_masktorch.ones_like(input_ids) # 告诉模型哪些位置需要关注 ) generated_text tokenizer.decode(outputs[0],skip_special_tokensTrue) print(generated_text)你是谁?我是谁他是谁……但如果你现在运行这段会发现一个奇怪的问题——模型拿到你是谁往往不回答而是继续补充问题或者开始自问自答。这就是下一步要解决的问题。第五步Chat Template——让模型知道该回答了模型之所以会自问自答是因为它不知道现在的身份它只是在做文字接龙不知道自己是助手不知道应该回答你。解决方案是 Chat Template——在prompt前后加上特殊标记告诉模型这是用户的输入你现在需要回答。先试试自己随便搞一个prompt 你是谁? prompt_with_chat_template 使用者说 prompt /nAI回答效果好一些但还是不稳定。因为Llama-3.2-3B-Instruct在训练时用的是特定格式的模板你自己造的格式它不一定认。正确做法是用tokenizer.apply_chat_template调用模型官方的Chat Templatemessages [ {role:user,content:你是谁?}, ] input_ids tokenizer.apply_chat_template( # 不只加Chat Template顺便帮你encode了 messages, add_generation_prompt True, return_tensors pt ) outputsmodel.generate(input_ids,max_new_tokens100,do_sampleTrue,temperature0.8) responsetokenizer.decode(outputs[0][input_ids.shape[-1]:],skip_special_tokensTrue) print(response)Im LLaMA, a large language model developed by Meta AI.add_generation_promptTrue这个参数很关键——没有它模型不知道该它说话了还是会接着补充用户的话。第六步System Prompt——给模型设定人设Chat Template解决了回答还是接龙的问题。还可以更进一步——通过 System Prompt给模型设定角色和限制。messages [ {role:system,content:你的名字是Llama请用中文回答所有问题}, {role:user,content:你是谁?}, ]我是Llama一个由Meta AI开发的大型语言模型。你可以在system里写各种约束“只回答医学问题”、“回答不超过50个字”、“用小学生能懂的语言解释”……有个更有意思的操作——提前替模型说话messages [ {role:system,content:你的名字是Llama}, {role:user,content:你是谁?}, {role:assistant,content:我是李宏}, ]我是李宏毅台湾大学电机工程学系的教授……把assistant的内容提前填进去模型会认为它已经说了我是李宏只能接着说。这是一种诱导技术有时候可以引导模型按特定方向生成内容。第七步单轮对话——藏起内部细节到这里模型能正常回答问题了。但用户看到的输出里还包含了完整的模板标记比较丑。更好的体验是用户只看到AI的回答不看到中间格式prompt input(用户输入) messages [ {role:system,content:你的名字是Llama请用中文简短回答}, {role:user,content:prompt} ] input_ids tokenizer.apply_chat_template( messages,add_generation_prompt True,return_tensors pt ) outputs model.generate( input_ids, max_new_tokens 200, do_sample True, temperature 0.8, top_k 50, pad_token_id tokenizer.eos_token_id, attention_mask torch.ones_like(input_ids) ) ai_response tokenizer.decode( outputs[0][input_ids.shape[-1]:], skip_special_tokens True ) print(AI, ai_response)用户输入今天天气怎么样 AI我没有实时天气数据建议查看天气App或搜索引擎获取当地天气。关键是outputs[0][input_ids.shape[-1]:]这一行——input_ids.shape[-1]是prompt占的Token数从这之后才是真正生成的内容。这样用户看到的就是干净的回答而不是整段包含模板的文字。第八步多轮对话——记忆是个历史列表现在能对话了但还有个问题每次都是单轮AI不记得之前说过什么。做多轮对话关键就一句话把对话历史全部传给模型。模型本身没有记忆它能记住上文完全是因为每次都把历史一起带进去了。messages [ {role:system,content:你的名字是Llama}, {role:user,content:你是谁?}, # 第一轮用户问 {role:assistant,content:我是Llama}, # 第一轮模型答 {role:user,content:我刚才问你什么?}, # 第二轮用户问 ]每次用户说完话把它加进messages模型回答完也加进去。下次再调用带着完整的messages送进去模型就有了记忆。完整的多轮对话循环messages [] messages.append({role:system,content:你的名字是Llama简短回答问题}) while True: user_prompt input(你说) if user_prompt.lower() exit: break messages.append({role:user,content:user_prompt}) input_ids tokenizer.apply_chat_template( messages,add_generation_prompt True,return_tensors pt ) outputs model.generate( input_ids,max_new_tokens 200, do_sample True,temperature 0.8,top_k 50, pad_token_id tokenizer.eos_token_id, attention_mask torch.ones_like(input_ids) ) ai_response tokenizer.decode( outputs[0][input_ids.shape[-1]:],skip_special_tokens True ) print(AI,ai_response) messages.append({role:assistant,content:ai_response})你说你叫什么名字 AI我叫Llama。 你说我刚才问你什么 AI你问我叫什么名字。这个循环就是ChatGPT最核心的底层逻辑。说白了就是个不断扩展的list。不过要注意——随着对话轮数增加messages越来越长Token数量越来越多计算开销也线性增长。这是今天所有对话系统都要面对的工程挑战。第九步pipeline——最省事的方式如果不想手动管理所有这些细节HuggingFace提供了pipeline把tokenizer、模型调用、解码全部封装好from transformers import pipeline pipepipeline(text-generation,modelmeta-llama/Llama-3.2-3B-Instruct) messages [{role:system,content:你是Llama用中文回答}] while True: user_prompt input(你说) if user_prompt.lower() exit: break messages.append({role:user,content:user_prompt}) result pipe(messages,max_new_tokens200) ai_response result[0][generated_text][-1][content] print(AI,ai_response) messages.append({role:assistant,content:ai_response})你说介绍一下你自己 AI我是Llama一个由Meta AI开发的大型语言模型可以帮你回答问题、写作、分析数据等。比前面的写法简洁多了。唯一的代价是灵活性低一些——想定制采样策略、控制Token细节pipeline就没那么方便了。实际项目里快速验证用pipeline需要深度控制再换底层写法。从代码看清楚一件事跑完这一遍你会发现语言模型运行的每个环节都是可以拆开来看的。Token编码是怎么一回事、接龙机制是怎么工作的、Chat Template为什么必要、多轮对话的记忆从哪里来——每个问题5行代码就能看清楚答案。很多人觉得AI很神秘是因为只用过产品没有翻开过底层。翻开来看其实没那么玄。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取