NLP学习笔记13BERT系列模型——从预训练到 RoBERTa 与 ALBERT作者Ye Shun日期2026-04-19一、前言在现代自然语言处理的发展历程中BERTBidirectional Encoder Representations from Transformers是一个里程碑式模型。它由 Google 在 2018 年提出最重要的意义不只是“又一个新模型”而是它真正推动了 NLP 研究范式的转变从任务专用模型转向通用预训练模型从大量人工特征工程转向端到端表示学习从“为每个任务重新建模”转向“预训练 微调”在 BERT 出现之前虽然词向量、RNN、LSTM、Attention、Transformer 已经为 NLP 奠定了很多基础但真正让“预训练语言模型”大规模走进主流应用的是 BERT 及其后续变体。这篇笔记将系统介绍BERT 的核心结构与输入表示BERT 的两个经典预训练任务BERT 为什么能实现双向上下文建模BERT 的微调方式与实践建议主流 BERT 变体模型的核心改进中文 BERT 模型的使用思路二、BERT 是什么BERT 全称是Bidirectional Encoder Representations from Transformers直译过来就是基于 Transformer 的双向编码表示这个名字里有两个特别重要的关键词1. EncoderBERT 使用的是 Transformer 的编码器Encoder部分而不是完整的 Encoder-Decoder 架构。这意味着 BERT 更擅长句子理解文本表示分类序列标注句子匹配而不是直接做开放式长文本生成。2. BidirectionalBERT 最大的创新之一是它能够在预训练时同时利用左侧上下文右侧上下文也就是说BERT 不再像传统单向语言模型那样只能“从左往右”或“从右往左”看文本而是尽可能同时理解两边信息。这就是它所谓的双向上下文建模能力。三、BERT 的输入表示虽然我们输入给 BERT 的是文本但模型真正接收的是向量。BERT 的输入表示通常由三部分相加得到1. Token EmbeddingsToken Embedding 表示词或子词本身的语义信息。例如“自然”“语言”“处理”在进入模型前都会先被转换为向量。2. Position EmbeddingsTransformer 本身没有循环结构因此无法天然感知词序。所以 BERT 会加入位置嵌入让模型知道当前 token 在序列中的第几个位置3. Segment Embeddings在句对任务中例如句子 A句子 BBERT 需要区分这两个句子分别属于哪一段因此会加入 Segment Embedding。例如句子 A 的 token 对应 segment id 0句子 B 的 token 对应 segment id 14. 特殊标记BERT 还会在输入序列中引入一些特殊 token[CLS]放在序列开头常用于分类任务[SEP]用于分隔句子[MASK]预训练时用于掩码预测例如句对输入常写成[CLS] 句子A [SEP] 句子B [SEP]四、BERT 的核心架构BERT 基于 Transformer Encoder 堆叠而成。每一层编码器主要包括多头自注意力机制Multi-Head Self-Attention前馈神经网络Feed-Forward Network残差连接Residual Connection层归一化LayerNorm可以把 BERT 理解为多层 Transformer 编码器叠加起来对每个输入位置生成上下文相关的表示。一个简化的编码器层示意如下classTransformerEncoderLayer(nn.Module):def__init__(self,d_model,nhead,dim_feedforward2048):super().__init__()self.self_attnMultiheadAttention(d_model,nhead)self.linear1nn.Linear(d_model,dim_feedforward)self.linear2nn.Linear(dim_feedforward,d_model)self.norm1nn.LayerNorm(d_model)self.norm2nn.LayerNorm(d_model)defforward(self,src):src2self.self_attn(src,src,src)[0]srcsrcself.norm1(src2)src2self.linear2(F.relu(self.linear1(src)))srcsrcself.norm2(src2)returnsrc虽然这只是一个非常简化的结构但已经体现了 BERT 的核心计算思路。五、BERT 的两个经典预训练任务BERT 之所以能学到强大的语言表示能力关键在于它使用了两个经典的预训练任务。1. 掩码语言模型Masked Language Model, MLM这是 BERT 最核心的训练方式。做法是在输入序列中随机选取 15% 的 token对这些 token 做遮盖、替换或保持不变让模型根据上下文预测原始词例如原句预训练模型很强大输入预训练 [MASK] 很强大目标预测模型MLM 的优点非常重要因为被遮住的位置不能直接看到自己所以模型必须综合利用左右两侧上下文这正是 BERT 双向建模能力的关键来源。2. 下一句预测Next Sentence Prediction, NSPBERT 原始论文中还引入了 NSP 任务用来判断两个句子是否在原文中连续出现。例如正样本句子 A预训练模型很强大句子 B它们可以迁移到很多任务中负样本句子 A预训练模型很强大句子 B今天天气不错NSP 的目标是帮助模型学习句间关系句子连贯性语篇层次信息不过后来很多研究发现NSP 并不是 BERT 成功的决定性因素因此后续一些变体模型例如 RoBERTa会选择移除它。六、BERT 为什么重要BERT 的意义并不只是“效果更好”而是它几乎重塑了 NLP 的标准工作流。1. 统一了很多理解类任务的建模方式很多任务都可以基于 BERT 的输出再接一层任务头来完成文本分类情感分析句子匹配命名实体识别问答2. 极大减少了特征工程需求过去做很多任务时需要手工设计词频特征n-gram 特征词典特征句法特征而 BERT 往往通过预训练自动学到了更丰富、更抽象的语义表示。3. 推动了“预训练 微调”范式普及从 BERT 之后NLP 中大量任务的标准流程变成选择一个预训练模型针对具体任务加载任务头用少量下游数据微调得到可用模型这套思路影响深远后面的 RoBERTa、ALBERT、ELECTRA、DeBERTa 乃至大语言模型都延续了这种思路。七、BERT-base 与 BERT-largeBERT 原始论文中最常见的两个版本是参数BERT-baseBERT-large层数1224隐藏维度7681024注意力头数1216参数量110M340M通常来说BERT-base更适合教学、实验和普通任务BERT-large效果更强但训练和推理成本更高八、BERT 的微调方式BERT 的一个巨大优势是微调非常方便。不同任务只需要在 BERT 输出的基础上接一个小型任务层即可。1. 文本分类对于分类任务最常见的做法是使用[CLS]对应的向量接一个全连接层进行分类。例如情感分析新闻分类意图识别2. 序列标注对于 NER、词性标注这类任务通常使用每个 token 的输出向量再接分类器预测标签。3. 问答任务对于抽取式问答常见做法是预测答案起始位置答案结束位置4. 典型微调流程一个标准流程通常如下加载预训练模型准备下游任务数据添加任务输出层使用较小学习率微调在验证集上监控效果示例如下fromtransformersimportBertForSequenceClassification,Trainer modelBertForSequenceClassification.from_pretrained(bert-base-uncased)trainerTrainer(modelmodel,argstraining_args,train_datasettrain_dataset,eval_dataseteval_dataset,)trainer.train()九、BERT 微调中的实践建议1. 学习率要小BERT 在预训练阶段已经学到很强的通用能力因此微调时通常使用较小学习率例如2e-53e-55e-5如果学习率过大容易破坏预训练好的参数。2. epoch 不需要太多很多下游任务中2 到 4 个 epoch 往往就足够训练太久反而可能过拟合。3. batch size 常用 16 或 32这通常是在效果和显存之间的平衡选择。4. 长文本要注意最大长度限制BERT 常见最大长度为512 token文本过长时需要截断分段滑窗十、高效微调方法随着模型越来越大研究者也提出了很多参数高效微调方法。1. 全参数微调特点所有参数都更新通常效果最好但成本最高2. 特征提取冻结 BERT做法冻结 BERT 主体参数只训练顶层任务头优点更省计算资源缺点效果一般不如全参数微调3. Adapter做法在每层之间插入轻量适配模块只训练这些新增模块优点参数高效便于多任务切换4. Prompt / Prompt Tuning做法把任务重新包装成“填空”或“提示”形式例如情感分类可以改写为“这部电影很好看所以它是 [MASK] 的。”这种方法在小样本任务中尤其有价值。十一、主流 BERT 变体模型BERT 之后研究者提出了大量变体模型。它们往往不是推翻 BERT而是在训练策略、参数设计、效率或效果上进一步优化。1. RoBERTaRoBERTa 全称是Robustly Optimized BERT Pretraining Approach它的主要改进包括更大的 batch size更长的训练时间更多训练数据移除 NSP 任务使用动态 maskingRoBERTa 的核心思想其实很直接不是 BERT 架构不够强而是原始 BERT 训练得还不够充分。因此RoBERTa 往往被看作“训练更充分的 BERT”。2. ALBERTALBERT 全称是A Lite BERT它的核心目标是减少参数量提高训练效率主要做了两件事参数共享不同层之间共享部分参数减少模型冗余。嵌入分解把词嵌入矩阵拆成更小的部分降低参数量。ALBERT 的优势是参数显著减少模型更轻量训练和部署更高效3. DistilBERTDistilBERT 是一个蒸馏版本的 BERT。它通过知识蒸馏把大模型的知识迁移到更小模型中。优点推理更快模型更小适合资源受限场景4. ELECTRAELECTRA 的核心创新是不再只做 MLM而是用“替换词检测”训练模型它让模型判断一个 token 是否被生成器替换过。优点是训练更高效样本利用率更高5. SpanBERTSpanBERT 更关注对连续文本跨度span的建模适合阅读理解关系抽取需要关注片段边界的任务十二、中文 BERT 模型BERT 在中文任务中也有大量实践和改进。常见中文预训练模型包括模型机构特点BERT-base-chineseGoogle中文基础版BERT-wwm哈工大全词遮盖Whole Word MaskingRoBERTa-wwm-ext哈工大扩展语料 更强训练ERNIE百度融入更丰富知识信息NEZHA华为相对位置编码1. 什么是全词遮盖WWM中文和英文不同中文词边界不天然由空格分隔。例如“自然语言处理”如果直接按字级别遮盖可能会变成“自然 [MASK] 处理”但这不一定符合“词”层级的语义结构。所以 WWMWhole Word Masking会尽量把整个词作为整体处理这通常更适合中文任务。2. 中文任务建议对于中文任务通常建议优先尝试中文 WWM 版本注意分词与 tokenization 的关系如果是专业领域可继续做领域自适应预训练十三、中文 BERT 的使用示例下面是一个最基础的中文 BERT 加载示例fromtransformersimportBertTokenizer,BertModel tokenizerBertTokenizer.from_pretrained(bert-base-chinese)modelBertModel.from_pretrained(bert-base-chinese)inputstokenizer(自然语言处理很有趣,return_tensorspt)outputsmodel(**inputs)其中tokenizer负责把文本转成 token idmodel负责输出上下文表示十四、BERT 的局限性虽然 BERT 非常强大但它也并不是完美的。1. 不是天然生成模型BERT 更擅长理解而不是自由生成长文本。2. 输入长度有限标准 BERT 一般只能处理 512 token 以内的文本。3. 计算成本较高尤其是 BERT-large在训练和推理上都不算轻量。4. 与预训练目标存在差距例如[MASK]这个 token在预训练中频繁出现但在真实下游文本中通常不会出现这会带来一定的训练-推理不一致问题。十五、BERT 在 NLP 发展中的意义BERT 的历史地位非常重要因为它不仅带来了更好的效果还带来了方法论上的改变。它让大家意识到可以先学习通用语言表示再把这种能力迁移到具体任务从这个意义上说BERT 是很多后续模型的起点RoBERTaALBERTELECTRADeBERTa甚至后来更大规模的语言模型它是“预训练时代”的真正代表之一。十六、总结BERT 是现代 NLP 最重要的基础模型之一。它的核心特点可以概括为基于 Transformer Encoder通过 MLM 实现双向上下文建模通过预训练 微调提升下游任务效果它的后续变体模型又从不同方向进行了优化RoBERTa把训练做得更充分ALBERT把参数做得更高效DistilBERT把模型做得更轻量ELECTRA把预训练做得更高效如果说预训练模型这一章是在回答“为什么现代 NLP 不再从零开始训练”那么 BERT 这一章就是在回答“第一个真正改变 NLP 工作流的预训练模型到底是怎么工作的”理解 BERT不只是理解一个模型本身更是在理解整个现代 NLP 方法论的起点。十七、参考学习方向如果你想继续往后写这篇后面很适合接RoBERTa 与 BERT 的训练差异详解ALBERT 的参数共享机制ELECTRA替换词检测为什么更高效DeBERTa解耦注意力机制BERT 在中文任务中的微调实践