1. Self Attention（自注意力机制）核心是“关注自身序列内的关联”，让序列中每个元素都能查看同一序列里的其他元素，从而捕捉内部依赖关系。- 比如处理文本“a little girl holding a kitten”时，“holding”会同时关注“girl”和“kitten”，明确动作的主语和宾语；处理图像分片时，每个图像块会关注周围相关的块，整合局部特征。- 作用：无需依赖固定窗口，能灵活捕捉长距离、非连续的关联，是Transformer能高效处理序列数据的核心。1. 核心定义 Self-Attention 是同一模态内的注意力机制：让序列中每个元素（如文本的单词、图像的 patch）都能关注到序列内所有其他元素，计算彼此的关联权重，最终融合成包含全局上下文的新特征。3. 核心功能 - 捕捉同一序列的全局依赖关系：比如文本中 “dog” 和 “its tail” 的关联，图像中 “猫的头” 和 “猫的身体” 的关联； - 摆脱 CNN/RNN 的局部性限制：无需卷积核 / 时序遍历，直接计算任意两个元素的关联； - 并行计算：相比 RNN 的串行处理，Self-Attention 可一次性计算所有元素的注意力，效率更高。4. 应用场景 - 文本 Transformer（如 CLIP 的 Text Transformer）：处理文本序列时，每个单词关注全句单词； - 视觉 Transformer（ViT，CLIP 的 Image Encoder）：处理图像 patch 序列时，每个 patch 关注所有 patch，捕捉全局视觉特征。疑问：2. 双向注意力机制（Bi Self-Att）是自注意力的“双向版本”，允许每个元素同时查看序列中“前面”和“后面”的所有元素，能全面捕捉上下文信息。- 典型应用：BERT类编码器、BLIP的文本编码器，用于理解类任务（如图文匹配ITM）。比如判断“蓝色栅栏旁的小猫”是否匹配图像时，模型会同时结合“蓝色栅栏”“小猫”“旁边”的前后语境，做出精准判断。- 特点：侧重“理解”而非“生成”，因为需要完整上下文才能准确分析语义。1. 核心定义 Bi Self-Attention 是 Self-Attention 的双向版本（也叫 Non-causal Self-Attention），即序列中每个元素可以无限制地关注前面 + 后面的所有元素，是最基础的 Self-Attention 形式。2. 核心结构 和 Self-Attention 完全一致，核心区别是无掩码（Mask）：计算注意力权重时，所有位置的元素都能被看到（无遮挡）。3. 核心功能 - 充分捕捉双向上下文：比如理解 “the cat chases the dog” 时，“chases” 既能关注前面的 “cat”，也能关注后面的 “dog”； - 适合 “理解类任务”：无需考虑生成顺序，只需精准捕捉全局语义。4. 应用场景 - BERT 类模型（双向文本理解）； - CLIP 的 Text/Image Encoder（均用双向自注意力，因为 CLIP 是对比学习，需完整理解图文语义，无需生成）； - ITM 任务中的图文特征编码（先通过双向自注意力分别编码图像 / 文本的完整特征）。- Self attention 和 bi self-att 区别，功能上侧重点 Self attention 只能看到后面，看不到前面？ - Self Attention 是一个 “总称”，Bi Self-Attention（双向自注意力）是 Self Attention 的 “默认 / 基础形态”； - 当人们只说 “Self Attention” 时，默认指的就是 Bi Self-Attention（双向）；3. Cross Attention（交叉注意力机制）核心是“跨序列关注”，让一个序列的元素去关注另一个序列的元素，实现不同模态/序列的特征融合。- 典型应用：BLIP的图像引导文本编码器、BLIP-2的Q-Former。比如BLIP在融合图文特征时，文本序列的每个词会关注图像序列的相关分片（如“小猫”对应图像中猫的区域），图像特征也会关注文本中的关键信息。- 作用：是多模态模型（图文、视听等）实现跨模态对齐的关键，能让不同来源的特征相互“感知”。1. 核心定义 Cross Attention 是跨模态 / 跨序列的注意力机制：让一个序列（如文本）的元素关注另一个序列（如图像）的所有元素，实现不同模态特征的融合。3. 核心功能 - 实现跨模态细粒度对齐：比如文本中的 “dog’s ear” 关注图像中 “狗的耳朵” 这个 patch，解决 ITM 任务中 “图文是否匹配” 的细粒度验证； - 融合不同模态信息：将图像特征注入文本序列（或反之），让模型同时理解图文语义； - 区别于 Self-Attention：Self-Attention 是 “自看自”，Cross Attention 是 “此看彼”。4. 应用场景 - ITM 任务（图文匹配）：通过 Cross Attention 对齐图像 patch 和文本单词，判断是否匹配（比如 “红色的猫” 对应图像中 “红色区域 + 猫的区域”）； - 图文生成（LM 任务）：解码器生成文本时，通过 Cross Attention 持续关注图像特征，确保生成内容和图像一致； - CLIP 后续增强模型（如 ALBEF）：加入 Cross Attention 提升细粒度对齐能力，弥补 CLIP 仅全局对齐的不足。4. Causal Self-Att（因果自注意力机制）是自注意力的“单向版本”，仅允许每个元素关注序列中“前面”的元素，无法查看“后面”的元素，符合语言生成的时序逻辑。- 典型应用：GPT类解码器、BLIP的文本生成模块。比如生成句子“a little girl holding a kitten”时，模型生成“holding”时只能关注前面的“a little girl”，生成“kitten”时只能关注前面的“a little girl holding”，模拟人类逐字创作的过程。- 特点：侧重“生成”，保证生成序列的逻辑性和时序一致性。1. 核心定义 Causal Self-Attention 是单向自注意力：序列中第 i 个元素只能关注第 1~i 个元素（前面的元素），无法关注后面的元素，通过 “掩码（Mask）” 实现（将后面元素的注意力权重置为 -∞，softmax 后为 0）。3. 核心功能 - 满足 “生成顺序约束”：符合人类语言生成逻辑（从左到右），比如生成 “a photo of a dog” 时，生成 “dog” 只能基于前面的 “a photo of a”； - 避免 “信息泄露”：生成任务中，模型不能提前看到后面的词，否则失去预测意义。4. 应用场景 - GPT 类生成模型（纯文本生成）； - LM 任务（看图生成文字）：CLIP 后续的图文生成模型（如 BLIP）中，文本生成部分用因果自注意力； - 多模态生成任务：如 Image Captioning（图像描述生成）的解码器部分。核心总结（关键对比 + 功能回顾）模块核心特点核心功能典型应用场景Self-Attention同模态、全局关注捕捉同序列全局依赖CLIP 图文编码器Bi Self-Attention同模态、双向无掩码充分捕捉双向上下文，适合理解类任务CLIP/BERTCausal Self-Attention同模态、单向掩码满足生