想要理解 ChatGPT 背后的原理想亲手训练一个属于自己的大模型这篇指南将带你走完从数据搜集到模型部署的完整流程。 前言ChatGPT、Claude、Kimi……这些大语言模型LLM正在改变我们的工作方式。但你有没有想过如果我想自己训练一个类似的大模型该怎么做本文将从零开始手把手教你完成✅ 数据搜集与清洗✅ 数据预处理与 Tokenization✅ Transformer 架构原理✅ 模型训练实战✅ 推理与部署阅读难度⭐⭐⭐⭐需要 Python 基础和深度学习概念预计学习时间2-3 周实践 第一章数据搜集——模型的食粮大语言模型的能力很大程度上取决于训练数据的质量。优质的数据是模型成功的基石。1.1 数据来源开源数据集推荐入门数据集规模特点适用场景Common CrawlPB 级网页爬取数据原始但量大预训练基础语料C4800GB清洗后的 Common Crawl高质量预训练The Pile800GB多领域学术代码书籍通用大模型训练WikiText100MB维基百科高质量文本小规模实验OpenWebText38GBReddit 点赞链接的网页GPT-2 复现CodeParrot50GBGitHub 代码数据代码能力训练WuDaoCorpora3TB中文多模态数据集中文大模型自行搜集数据# 示例使用 requests 爬取网页数据import requestsfrom bs4 import BeautifulSoupdefcrawl_article(url): 爬取单篇文章 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.0 } response requests.get(url, headersheaders) soup BeautifulSoup(response.content, html.parser) # 提取正文根据网站结构调整选择器 content soup.find(article) or soup.find(div, class_content) return content.get_text() if content else# 批量爬取示例urls [https://example.com/article1, https://example.com/article2]for url in urls: text crawl_article(url) # 保存到文件...1.2 数据清洗原始数据含有大量噪声必须清洗import redefclean_text(text): 文本清洗流程 # 1. 去除 HTML 标签 text re.sub(r[^], , text) # 2. 去除多余空白 text re.sub(r\s, , text) # 3. 去除特殊字符保留基本标点 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9\s\.\,\!\?\;\:\\\-\(\)], , text) # 4. 去除过短文本少于 50 字符 iflen(text) 50: returnNone # 5. 去除重复段落 lines text.split(\n) unique_lines list(dict.fromkeys(lines)) # 去重同时保持顺序 text \n.join(unique_lines) return text.strip()1.3 数据去重大规模数据去重使用MinHash LSH算法from datasketch import MinHash, MinHashLSHdefdeduplicate_documents(documents, threshold0.8): 文档去重 lsh MinHashLSH(thresholdthreshold, num_perm128) unique_docs [] for doc_id, text inenumerate(documents): m MinHash(num_perm128) # 将文本分词后建立签名 for word in text.split(): m.update(word.encode(utf8)) # 检查是否已存在相似文档 ifnot lsh.query(m): lsh.insert(doc_id, m) unique_docs.append(text) return unique_docs 第二章数据预处理与 Tokenization2.1 什么是 TokenizationTokenization是将文本切分成模型能理解的词片tokens的过程。示例输入: Hello world!输出: [Hello, world, !]对应 ID: [15496, 995, 0]2.2 主流 Tokenizer 对比算法代表特点BPEGPT-2/3/4字节对编码合并最频繁的字符对WordPieceBERT从字符开始逐步合并UnigramT5/XLM从大量子词开始逐步剪枝SentencePieceLLaMA/Alpaca语言无关直接处理原始文本2.3 训练自己的 Tokenizer使用 Hugging Facetokenizers库from tokenizers import Tokenizer, models, trainers, pre_tokenizers# 1. 初始化 BPE 模型tokenizer Tokenizer(models.BPE())# 2. 设置预分词器按空格和标点分割tokenizer.pre_tokenizer pre_tokenizers.Whitespace()# 3. 配置训练器trainer trainers.BpeTrainer( vocab_size32000, # 词表大小常见32K-100K min_frequency2, # 最小词频 special_tokens[pad, unk, s, /s])# 4. 训练从文件files [train_data_1.txt, train_data_2.txt]tokenizer.train(files, trainer)# 5. 保存tokenizer.save(my_tokenizer.json)2.4 数据编码示例# 加载训练好的 tokenizerfrom tokenizers import Tokenizertokenizer Tokenizer.from_file(my_tokenizer.json)# 编码文本encoding tokenizer.encode(Hello, 世界!)print(fTokens: {encoding.tokens})print(fIDs: {encoding.ids})# 解码回文本decoded tokenizer.decode(encoding.ids)print(fDecoded: {decoded})️ 第三章Transformer 架构深度解析2017 年 Google 发表的《Attention Is All You Need》论文提出了 Transformer 架构彻底改变了 NLP 领域。3.1 Transformer 整体架构┌─────────────────────────────────────────┐│ 输入 Embedding ││ 位置编码 (Positional) │└──────────────────┬──────────────────────┘ ▼┌─────────────────────────────────────────┐│ ┌─────────┐ ┌─────────┐ ┌─────┐ ││ │ 多头注意力 │ → │ 前馈网络 │ → │ Layer │ │ × N 层│ │ (MHSA) │ │ (FFN) │ │ Norm │ ││ └─────────┘ └─────────┘ └─────┘ │└─────────────────────────────────────────┘ ▼┌─────────────────────────────────────────┐│ 输出层 (LM Head) │└─────────────────────────────────────────┘3.2 核心组件自注意力机制自注意力Self-Attention是 Transformer 的灵魂让模型能够关注输入序列的不同部分。import torchimport torch.nn as nnimport mathclassSelfAttention(nn.Module): def__init__(self, embed_size, heads): super().__init__() self.embed_size embed_size self.heads heads self.head_dim embed_size // heads # Q, K, V 线性变换 self.values nn.Linear(embed_size, embed_size) self.keys nn.Linear(embed_size, embed_size) self.queries nn.Linear(embed_size, embed_size) self.fc_out nn.Linear(embed_size, embed_size) defforward(self, values, keys, query, maskNone): N query.shape[0] # batch size value_len, key_len, query_len values.shape[1], keys.shape[1], query.shape[1] # 线性变换并 reshape 为多头的形式 values self.values(values).view(N, value_len, self.heads, self.head_dim) keys self.keys(keys).view(N, key_len, self.heads, self.head_dim) queries self.queries(query).view(N, query_len, self.heads, self.head_dim) # 注意力计算: Q K^T / sqrt(d_k) energy torch.einsum(nqhd,nkhd-nhqk, [queries, keys]) if mask isnotNone: energy energy.masked_fill(mask 0, float(-1e20)) attention torch.softmax(energy / math.sqrt(self.head_dim), dim3) # 加权求和: attention V out torch.einsum(nhql,nlhd-nqhd, [attention, values]) out out.reshape(N, query_len, self.embed_size) returnself.fc_out(out)3.3 完整的 Decoder-Only 架构GPT 风格class TransformerBlock(nn.Module): 单个 Transformer 块 def__init__(self, embed_size, heads, dropout, forward_expansion): super().__init__() self.attention SelfAttention(embed_size, heads) self.norm1 nn.LayerNorm(embed_size) self.norm2 nn.LayerNorm(embed_size) self.feed_forward nn.Sequential( nn.Linear(embed_size, forward_expansion * embed_size), nn.GELU(), nn.Linear(forward_expansion * embed_size, embed_size) ) self.dropout nn.Dropout(dropout) defforward(self, value, key, query, mask): attention self.attention(value, key, query, mask) x self.norm1(attention query) # 残差连接 forward self.feed_forward(x) out self.norm2(forward x) returnself.dropout(out)classGPT(nn.Module): GPT 风格的 Decoder-only 模型 def__init__( self, vocab_size, embed_size768, num_layers12, heads12, forward_expansion4, dropout0.1, max_length512 ): super().__init__() self.word_embedding nn.Embedding(vocab_size, embed_size) self.position_embedding nn.Embedding(max_length, embed_size) self.layers nn.ModuleList([ TransformerBlock(embed_size, heads, dropout, forward_expansion) for _ inrange(num_layers) ]) self.fc_out nn.Linear(embed_size, vocab_size) self.dropout nn.Dropout(dropout) defforward(self, x, maskNone): N, seq_length x.shape positions torch.arange(0, seq_length).expand(N, seq_length).to(x.device) out self.dropout( self.word_embedding(x) self.position_embedding(positions) ) for layer inself.layers: out layer(out, out, out, mask) returnself.fc_out(out)3.4 不同规模模型配置参考模型参数量层数注意力头数隐藏维度词表大小GPT-2 Small117M121276850KGPT-2 Medium345M2416102450KGPT-2 Large774M3620128050KGPT-3 Small125M121276850KGPT-3 Medium350M2416102450KGPT-3 Large760M2416153650KLLaMA-7B7B3232409632KLLaMA-13B13B4040512032K 第四章模型训练实战4.1 训练流程概览数据加载 → Tokenization → 构建 DataLoader → 初始化模型 → 训练循环 → 保存检查点4.2 完整训练代码import torchimport torch.nn as nnfrom torch.utils.data import Dataset, DataLoaderfrom tqdm import tqdmclassTextDataset(Dataset): 文本数据集 def__init__(self, texts, tokenizer, max_length512): self.tokenizer tokenizer self.max_length max_length self.data [] for text in texts: encoding tokenizer.encode(text) # 截断或填充到固定长度 ids encoding.ids[:max_length] ids [0] * (max_length - len(ids)) # 填充 self.data.append(ids) def__len__(self): returnlen(self.data) def__getitem__(self, idx): x torch.tensor(self.data[idx][:-1]) # 输入除最后一个 token y torch.tensor(self.data[idx][1:]) # 目标除第一个 token return x, ydeftrain_model( model, dataloader, epochs3, lr3e-4, devicecuda, save_pathmodel.pt): 训练循环 model model.to(device) optimizer torch.optim.AdamW(model.parameters(), lrlr) criterion nn.CrossEntropyLoss() for epoch inrange(epochs): model.train() total_loss 0 progress tqdm(dataloader, descfEpoch {epoch1}/{epochs}) for batch_idx, (x, y) inenumerate(progress): x, y x.to(device), y.to(device) # 前向传播 outputs model(x) loss criterion(outputs.reshape(-1, outputs.size(-1)), y.reshape(-1)) # 反向传播 optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) # 梯度裁剪 optimizer.step() total_loss loss.item() progress.set_postfix(lossloss.item()) # 定期保存 if batch_idx % 1000 0: torch.save({ epoch: epoch, model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), loss: loss.item(), }, f{save_path}.checkpoint) avg_loss total_loss / len(dataloader) print(fEpoch {epoch1} 平均损失: {avg_loss:.4f}) # 保存最终模型 torch.save(model.state_dict(), save_path) print(f模型已保存到 {save_path})# 使用示例# dataset TextDataset(cleaned_texts, tokenizer)# dataloader DataLoader(dataset, batch_size16, shuffleTrue)# model GPT(vocab_size32000)# train_model(model, dataloader, epochs3)4.3 分布式训练多 GPU对于大模型需要使用分布式训练import torch.distributed as distfrom torch.nn.parallel import DistributedDataParallel as DDPdefsetup_distributed(): 初始化分布式训练 dist.init_process_group(nccl) local_rank int(os.environ[LOCAL_RANK]) torch.cuda.set_device(local_rank) return local_rankdeftrain_distributed(): local_rank setup_distributed() model GPT(vocab_size32000).to(local_rank) model DDP(model, device_ids[local_rank]) # 训练代码... if __name__ __main__: train_distributed()# 启动命令4 卡训练# torchrun --nproc_per_node4 train.py4.4 学习率调度from torch.optim.lr_scheduler import CosineAnnealingLR, LinearLR# 预热 余弦退火scheduler torch.optim.lr_scheduler.SequentialLR( optimizer, schedulers[ LinearLR(optimizer, start_factor0.1, total_iterswarmup_steps), CosineAnnealingLR(optimizer, T_maxtotal_steps - warmup_steps) ], milestones[warmup_steps]) 第五章模型推理与部署5.1 文本生成def generate_text( model, tokenizer, prompt, max_new_tokens100, temperature1.0, top_k50, top_p0.95, devicecuda): 自回归文本生成 model.eval() # 编码输入 input_ids tokenizer.encode(prompt).ids input_tensor torch.tensor([input_ids]).to(device) with torch.no_grad(): for _ inrange(max_new_tokens): # 获取 logits outputs model(input_tensor) logits outputs[:, -1, :] / temperature # Top-k 采样 if top_k 0: indices_to_remove logits torch.topk(logits, top_k)[0][..., -1, None] logits[indices_to_remove] float(-inf) # Top-p (nucleus) 采样 if top_p 1.0: sorted_logits, sorted_indices torch.sort(logits, descendingTrue) cumulative_probs torch.cumsum(torch.softmax(sorted_logits, dim-1), dim-1) sorted_indices_to_remove cumulative_probs top_p sorted_indices_to_remove[..., 1:] sorted_indices_to_remove[..., :-1].clone() sorted_indices_to_remove[..., 0] 0 indices_to_remove sorted_indices_to_remove.scatter(1, sorted_indices, sorted_indices_to_remove) logits[indices_to_remove] float(-inf) # 采样下一个 token probs torch.softmax(logits, dim-1) next_token torch.multinomial(probs, num_samples1) # 追加到序列 input_tensor torch.cat([input_tensor, next_token], dim1) # 检查是否生成结束符 if next_token.item() tokenizer.token_to_id(/s): break # 解码输出 output_ids input_tensor[0].tolist() return tokenizer.decode(output_ids)# 使用示例# generated generate_text(model, tokenizer, 人工智能是, max_new_tokens50)# print(generated)5.2 模型导出与量化# 导出为 ONNX便于跨平台部署torch.onnx.export( model, dummy_input, model.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size, 1: sequence}})# 使用 bitsandbytes 进行 8-bit 量化减少显存占用import bitsandbytes as bnbmodel_8bit model.to(cuda).to(torch.float16)for module in model_8bit.modules(): ifisinstance(module, nn.Linear): module.weight bnb.nn.Int8Params(module.weight, requires_gradFalse)5.3 使用 Hugging Face Transformers 加载from transformers import GPT2LMHeadModel, GPT2Tokenizer, GPT2Config# 保存为 Hugging Face 格式defsave_hf_format(model, tokenizer, save_directory): 转换为 Hugging Face 格式并保存 config GPT2Config( vocab_sizelen(tokenizer.get_vocab()), n_positions512, n_embd768, n_layer12, n_head12 ) hf_model GPT2LMHeadModel(config) # 复制权重... hf_model.save_pretrained(save_directory) tokenizer.save_pretrained(save_directory)# 加载并推理model GPT2LMHeadModel.from_pretrained(./my_model)tokenizer GPT2Tokenizer.from_pretrained(./my_model) 第六章训练技巧与最佳实践6.1 显存优化技巧技术显存节省说明Gradient Checkpointing~70%时间换空间重计算激活值Mixed Precision~50%FP16/BF16 训练DeepSpeed ZeRO90%分布式优化器状态Activation Checkpointing~50%选择性存储激活值# Gradient Checkpointingmodel.gradient_checkpointing_enable()# Mixed Precisionfrom torch.cuda.amp import autocast, GradScalerscaler GradScaler()with autocast(): outputs model(inputs) loss criterion(outputs, targets)scaler.scale(loss).backward()scaler.step(optimizer)scaler.update()6.2 超参数调优学习率: 1e-4 ~ 5e-4 warmup 到峰值后余弦衰减Batch Size: 尽可能大1M-4M tokens 全局 batch序列长度: 512-2048视任务而定Dropout: 0.0-0.1大模型通常不用权重衰减: 0.01-0.16.3 推荐的训练框架框架特点适用场景Hugging Face Transformers生态完善易上手研究、实验DeepSpeed微软开源支持 ZeRO大规模训练Megatron-LMNVIDIA 出品性能强超大规模模型Colossal-AI国产统一并行中文社区友好vLLM推理优化高吞吐部署 学习资源推荐必读论文Attention Is All You Need(Transformer 开山之作)Language Models are Few-Shot Learners(GPT-3)LLaMA: Open and Efficient Foundation Language ModelsScaling Laws for Neural Language Models优质课程Stanford CS224N: NLP with Deep LearningStanford CS324: Large Language Models李宏毅机器学习 (B站)开源项目nanoGPT[1] - Andrej Karpathy 的极简 GPT 实现minGPT[2] - 教学用 PyTorch GPTLLaMA-Factory[3] - 大模型训练一站式框架axolotl[4] - YAML 配置训练 总结训练一个大语言模型涉及以下关键步骤数据准备→ 搜集、清洗、去重Tokenization→ 训练 tokenizer编码数据模型设计→ Transformer Decoder 架构训练→ 分布式训练学习率调度推理→ 文本生成模型部署入门建议先从小规模实验开始1亿参数以内使用开源数据集和预训练 tokenizer复现 nanoGPT 或 minGPT 作为起点逐步扩展到更大规模训练大模型是一个系统工程需要算力、数据和经验的积累。希望这篇指南能帮你迈出第一步2026年AI行业最大的机会毫无疑问就在应用层字节跳动已有7个团队全速布局Agent大模型岗位暴增69%年薪破百万腾讯、京东、百度开放招聘技术岗80%与AI相关……如今超过60%的企业都在推进AI产品落地而真正能交付项目的大模型应用开发工程师****却极度稀缺落地AI应用绝对不是写几个prompt调几个API就能搞定的企业真正需要的是能搞定这三项核心能力的人✅RAG融入外部信息修正模型输出给模型装靠谱大脑✅Agent智能体让AI自主干活通过工具调用Tools环境交互多步推理完成复杂任务。比如做智能客服等等……✅微调针对特定任务优化让模型适配业务目前脉脉上有超过1000家企业发布大模型相关岗位人工智能岗平均月薪7.8w实习生日薪高达4000远超其他行业收入水平技术的稀缺性才是你「值钱」的关键具备AI能力的程序员比传统开发高出不止一截有的人早就转行AI方向拿到百万年薪AI浪潮正在重构程序员的核心竞争力现在入场仍是最佳时机我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】⭐️从大模型微调到AI Agent智能体搭建剖析AI技术的应用场景用实战经验落地AI技术。从GPT到最火的开源模型让你从容面对AI技术革新大模型微调掌握主流大模型如DeepSeek、Qwen等的微调技术针对特定场景优化模型性能。学习如何利用领域数据如制造、医药、金融等进行模型定制提升任务准确性和效率。RAG应用开发深入理解检索增强生成Retrieval-Augmented Generation, RAG技术构建高效的知识检索与生成系统。应用于垂类场景如法律文档分析、医疗诊断辅助、金融报告生成等实现精准信息提取与内容生成。AI Agent智能体搭建学习如何设计和开发AI Agent实现多任务协同、自主决策和复杂问题解决。构建垂类场景下的智能助手如制造业中的设备故障诊断Agent、金融领域的投资分析Agent等。如果你也有以下诉求快速链接产品/业务团队参与前沿项目构建技术壁垒从竞争者中脱颖而出避开35岁裁员危险期顺利拿下高薪岗迭代技术水平延长未来20年的新职业发展……那这节课你一定要来听因为留给普通程序员的时间真的不多了立即扫码即可免费预约「AI技术原理 实战应用 职业发展」「大模型应用开发实战公开课」还有靠谱的内推机会直聘权益完课后赠送大模型应用案例集、AI商业落地白皮书