本文教的是方法，也给出几种改进方法，二次创新结构，百变不离其宗，一文带你改进自己模型，科研路上少走弯路。前言本文解析的是由 Kimi (月之暗面) 团队发布的最新技术报告 《Attention Residuals》。在传统 Transformer 架构中，注意力模块产生的输出直接与残差流（Residual Stream）进行加法合并。然而，Kimi 团队研究发现，随着模型规模和上下文长度的不断增加，注意力输出往往会逐渐“主导”或“污染”残差流，导致模型在深层训练时出现收敛困难和特征坍塌。为此，Kimi 团队提出了一种全新的注意力残差化（Attention Residualization）方案。该方案通过重新建模注意力块的行为，使其表现得更像是一个对隐藏状态的“增量更新”而非整体替换。实验表明，该技术能显著提升超大规模模型在训练过程中的稳定性，并有效增强了模型对超长上下文信息的精准检索能力，是构建万亿级参数模型的重要架构优化。本文提出了一种二次创新结构：将 Kimi 的 AttnRes 跨层残差注意力，与 GAM（全局注意力机制）进行深度融合，形成新的 AttnRes-GAM 融合模块。在空间和通道双维度上对病灶等关键特征进行精准放大，提高模型的鲁棒性。理论介绍结构如下（摘自论文）抑制“注意力占领” (Preventing Attention Dominance)，在标准 Transformer 中，残差流公式为x l + 1 = x l + Attn ( x l ) x_{l+1} = x_l + \text{Attn}(x_l)xl+1​=xl​+Attn(xl​)。Kimi 团队观察到，当模型变深时，Attn ( x l ) \text{Attn}(x_l)Attn(xl​)的幅值可能远超初始输入x l x_lxl​。改进逻辑：Attention Residuals 引入了更精细的比例控制或重参数化技巧，确保注意力分支只提供“必要的修正量”。这保持了残差流的线性传递特性，使得底层特征能更顺畅地传递到深层，有效缓解了深层网络的梯度消失和弥散问题。注意力权重的残差化建模 (Residualizing Attention Maps)，不同于传统的注意力图生成，Kimi 团队探索了将注意力权重本身进行“残差化”处理的可能性。技术细节：即注意力机制学习的是相对于“恒等映射（Identity）”或“均匀分布”的偏移量。这种做法类似于 ResNet 在空间维度上的逻辑，即学习“变化量”比学习“全量”更容易优化。这对于处理超长文本中的“大海捞针”任务至关重要，因为它能更敏锐地捕捉局部信息的微小扰动。理论详解可以参考链接：论文地址代码可在这个链接找到：代码地址训练代码参考和下载：手把手教你使用ConvNeXt训练自己数据集和推理，ConvNeXt模型训练（CVPR 2022），一个能挑战 Vision Transformer 的卷积神经网络，含完整代码和数据集文章目录前言理论介绍🐴一、实战细节⚡⚡实验结果画图⚡⚡改进模块代码⚡⚡使用教程☑️步骤1☑️步骤2☑️步骤3🐴二、模型结构分析⚡⚡ 注意机制结构分析⚡⚡ConvNeXt 结构分析☑️CNBlock 结构图⚡⚡二次创新实战☑️第一种改进手法📐模块的传参分析教程☑️第二种改进手法☑️第三种改进手法🐴三、论文常用的评估指标☑️准确率 (Accuracy, ACC)☑️精确率 (Precision)☑️召回率 (Recall)☑️F1分数 (F1 Score)总结🐴一、实战细节⚡⚡实验结果画图画图效果如下，代码可一键运行画图代码：# -*- coding: utf-8 -*-""" @Auth ：落花不写码 @File ：画图.py @IDE ：PyCharm @Motto :学习新思想，争做新青年 """importmatplotlib.pyplotaspltimportpandasaspd