自注意力机制序列在深度学习中一般为带有时间先后顺序拥有逻辑结构的一段具有连续关系的数据文本语音等等注意力机制模拟人类视觉系统的聚焦能力让模型能够在处理复杂数据时选择性地关注输入的不同部分。RNN模型对于前面处理过的信息会有遗忘导致在处理后面的信息的时候会忘记和前面的关联因而引入注意力机制使模型根据当前处理的元素动态地关注输入序列中的相关部分。注意力机制的核心组件查询Query, Q表示当前需要关注的信息键Key, K表示输入序列中每个元素的特征值Value, V表示输入序列中每个元素的具体内容注意力权重Attention Weights表示每个输入元素对当前查询的重要程度上下文向量Context Vector通过加权求和得到的输出在RNN的基础上演进出LSTM长短期记忆网络专门设计用来解决标准RNN在处理长序列数据时梯度消失和梯度爆炸的问题。引入精心设计的门控单元结构能够学习、处理和分类顺序数据并捕捉数据时间步之间的长期相关性。LSTM的核心在于其“记忆细胞”和三个门控机制遗忘门、输入门和输出门。这些门控机制共同作用决定哪些信息需要被长期记住、哪些新信息需要被存入以及哪些信息需要被输出从而实现对有价值信息的长期记忆。vLLM - 伯克利大学LMSYS组织开源的大模型高速推理框架。核心目标是提升实时场景下语言模型服务的吞吐量与内存使用机制。引入PagedAttention技术该技术灵感源自操作系统的虚拟内存分页机制将KV cache划分为固定大小的块进行动态管理从而提高GPU现存利用率。解决传统推理中因为KV cache预分配和变长序列导致的内存碎片与浪费问题。Self-attention - 将单个序列的不同位置关联起来以计算同一序列的表示注意力机制的Q和K是来自不同的元素自注意力机制的Q和K都是来自同一组的元素可以建立全局的依赖关系扩大图像的感受野。相比于CNN其感受野更大可以获取更多的上下文信息。多头注意力机制对每个Q和所有的K-V做多次注意力机制。做几次就是几头。意义在于获取每个Q和所有的K-V的不同依赖关系。这里的几头可以类比为卷积神经网络中的卷积核个数用于从不同角度获取Q和K-V之间的特征。下图为2头为什么要用多头一段文字中可能蕴含情感维度时间维度逻辑维度等不同角度的特征所以要使用Multi-head。将输入序列按照不同的投影矩阵分别投影成多组不同的QKV并行分别计算后再把各组计算的结果合并作为最终的结果Q, K, V计算序列长度为n计算复杂度为O(n^2). GPU可以对矩阵并行计算所有的可能因为每个序列元素对的注意力计算是独立的所以GPU可以为其加速。每个词都先经过embedding之后经过三个投影矩阵得到三个向量Q,K,V先计算Q和K每一行的内积防止内积过大导致softmax梯度消失故除以d_k, d_k的值取决于向量的维度d_k的根号值一般为维度的开方值维度是每个头Q,K的维度Q和K点乘得内积得到每个单词相互之前的注意力score点击相当于Q在K上的投影softmax的结果都为正值相加得1score和V相乘加权求和得到每组注意力head的输出。参考一文搞定自注意力机制Self-Attention-CSDN博客self attention可以捕获同一个句子中单词之间的一些句法特征或者语义特征更容易捕获句子中 长距离的相互依赖的特征。在RNN和LSTM中需要按照顺序序列计算对于远距离的相互依赖得分特征要经过若干步骤的信息累积才能将两者联系起来距离越远有效捕获的可能性越小。self attention在计算过程中通过Q和任意KV的计算能够将任意两个单词的联系通过一个计算步骤直接联系起来所以距离远的两个词之前的特征计算对距离的依赖大大减小。且self-attention的这些计算是独立可以并行的。自注意力机制中本身没有位置信息处理能力导致模型无法捕捉序列中单词的顺序通过添加位置编码来提供序列中每个元素的位置信息。Transformer基于自注意力机制的架构通俗理解QKV机制当我们到图书馆进行检索时你想看的说就是你提出的Query比如“科幻类的书有哪些”那么图书馆中的每本书的索引书名或者标签就是Key用来匹配检索需求而每本书中的实际内容就是Value是最终需要的核心信息。自注意力机制就是根据自己的Q匹配的书的索引K给匹配度高的K打高分注意力权重再根据分数高低提取书中的内容V整合得到输出Transformer检索QKV 整合 校验多个这样的流程叠加完成复杂的序列任务。传统的RNN你有查询的需求Q但是智能按照书籍的顺序一本本翻书无法检索匹配度高的翻到后面就忘了前面长距离依赖丢失速度慢 串行Transformer同时查看所有书的索引直接找到最相关的书籍还能记住所有相关内容的关联速度快且比RNN更精准 并行Transformer发展史2017 → Attention Is All You Need (原始Transformer)2018 → BERT (双向编码器)2018 → GPT-1 (单向解码器)2019 → GPT-2 (更大规模)2020 → GPT-3 (175B参数)2022 → ChatGPT (对话优化)2023 → GPT-4 (多模态)2025 → GPT-5 (模型集成)Transformer架构编码器 解码器。起初是为了机器翻译任务量身定制的其中编码器负责处理源语言输入解码器负责生成目标语言输出最后整合到线性输出层。输入层词嵌入 word embedding, 将每个单词转换为固定难度和向量表示。在人类语言文本进入encoder之前要进行token化100个token对应50个汉字或者75个英文单词。为什么不一个字一个token1.控制词表大小不能每个字每个词都输入因为会有生僻字新造词2. 复用语义比如happy作为核心token可以加词缀推导别的词3. 合理的拆分保留完整语义。比如《西游记》三个字作为一个token比拆分开更能让模型识别其为书籍名称由于计算机无法处理文本所以要将token转化成向量由embedding完成。早期会使用one-hot编码1. 向量稀疏仅对应的token位置维度为1其他位置为02. 无语义关联任意两个one-hot向量的距离均为0无法区分“开心和”快乐“的相近语义或者具有同一偏旁部首的关联性3.无逻辑关系比如无法根据国王” - “男人” “女人” 推导出“女王”现在使用稠密向量也就是token的每个维度都有值能够通过训练自动捕捉语义关联。位置编码 position encoding为模型提供单词的位置信息维度要与embedding一致便于后面做点积文本语义高度依赖词的位置比如“狗咬猫”和“猫咬狗”因为名词位置的变换而导致语义不同。self-attention本身不具备“顺序感知能力”。通过正弦函数和余弦函数生成位置编码区分不同位置且让模型感知位置距离。如果不加位置编码无论单词在什么位置它的注意力分数都是确定的加上之后注意力分数会因为位置的不同而变化。输入进行上述的预处理后进入encoderENCODER1. 多头自注意力机制Q, K, V的计算2. Add NormalizationAdd - 在attention的输出上加一个残差块防止深度神经网络在训练过程中发生退化的问题深度神经网络通过增加网络的层数损失逐渐减小趋于稳定但是再继续增加网络层数损失反而会变大。残差连接让网络只关注当前差异部分ResNetNormalize - 加快训练速度提高训练的稳定性。使用layer Normalization在同一个样本中不同神经元之间进行归一化3. 位置感知前馈神经网络两层神经网络Feed -Forward Network 本质是全连接神经网络对每个token的向量进行独立的非线性变换进一步提炼语义特征。这里位置感知前馈神经网络的输入已经包含位置编码位置编码发生在进入attention计算之前embedding之后token进行embedding之后将位置编码作为基础向量加在每个token embedding之后的向量上。第一层线性变换将向量维度从512提升至2048通过ReLU激活函数引入非线性ReLU max(0,x)第二层线性变换将维度从2048降回512保证输出维度与输入维度一致目的将输入的向量映射到更加高维的空间中然后通过非线性函数ReLU进行筛选再变回原来的维度。DECODER从语义向量到文本生成使用masked多头自注意力层在多头自注意力的基础上多加了一个mask码。mask对某些值进行掩盖使其在参数更新时不产生效果。padding mask - 每个批次输入的序列长度不一样要对输入序列进行对齐。填充0或者截取长的。这些填充的位置没有实际意义attention机制不需要把注意力放在这些位置上面所以可以给这些值加一个非常大的负数经过softmax这些位置的概率会接近0。sequence mask - 使decoder不能看见未来的token。生成的时候是一个一个token生成的。在t时刻解码输出只依赖于t时刻之前也就是说第二个token只能依赖已经生成的第一个token。用一个上三角矩阵将未来的token遮盖住也就是将矩阵中对应位置橘色设置为负无穷经过softmax之后就会为0。这样确保模型只能基于“已生成的token”进行预测符合人类“逐字表达”的逻辑。输出层将decoder的结果经过一次线性变换简单的全连接神经网络用softmax得到输出的概率分布通过词典输出概率最大的对应的单词作为预测的输出。参考【超详细】【原理篇实战篇】一文读懂Transformer-CSDN博客三大经典经典模型的比较CNN 卷积神经网络应用于图像识别尤其是静态图像。无法很好地捕捉到时间依赖结构。长于局部特征提取图像识别图像分类等RNN 循环神经网络应用于序列数据处理。有长依赖效应忘记前后关联难以捕捉远距离的时间依赖梯度消失或爆炸串行处理处理效率低。语音识别Transformer 基于自注意力机制的神经网络应用于序列数据处理。能够更好捕捉长序列中的全局依赖关系并行处理处理效率高计算成本高。机器翻译文本生成等。CNN 和 Transformer根据特点选择或者结合使用。参考​​​​​​​​​​​​​​深度学习模型的比较和选择CNN、RNN和Transformer的优缺点和适用场景-腾讯云开发者社区-腾讯云