不知道大家发现没最近大部分出圈的文章都在围绕Attention下功夫包括位置编码KV cache等等。相比之下大模型里面的前馈神经网络FFN的待遇就惨多了大家通常只会说一句“注意力层后面跟着一个两层的全连接网络用ReLU做激活函数”然后就没有然后了。所以今天想和大家聊聊 FFN 的门道并顺着这个话题延展聊聊‘混合专家模型’MoE。先问你们一个问题在一个标准的Transformer block里哪个模块最重答案其实是FFN这个模块因为它足足占据了大约三分之二的参数量。具体来说多头注意力机制和FFN的参数比例大概是1:2。如果你手头跑着一个7B的模型那么其中将近4.7B的参数全都在FFN里。这么庞大的一个结构如果我们只把它理解为简单的“非线性变换”那未免也太肤浅了。所以FFN的本质是在搞什么呢FFN其实是大模型的“记忆硬盘”为了搞清楚FFN到底在干嘛我们先看一下它的数据公式其中是输入向量它的维度是把维度从放大到一个更大的隐藏维度经过ReLU激活函数后再由把维度从压缩回。最开始在Transformer的那篇论文里这个被设定为的4倍后来随着激活函数的演进这个比例也发生过变化。也就是说这个网络把输入特征吹大了4倍然后再压扁回来完成了一个升维后再降维的过程。这种“升维再降维”的瓶颈结构迫使网络在中间的宽层中学习到极其复杂的非线性特征表示。从计算性质上看FFN有一个非常关键的特性Position-wise逐位置。这意味着同一组权重矩阵和被独立地应用到序列中的每一个token上不同token之间在这一层是没有任何信息交流的。换句话说不像注意力机制发现不同token之间的联系FFN只专注于当前这个token本身决定“要做什么处理”。那如何从其它角度更具象化的理解FFN呢我推荐大家看一下2020年Geva发表的《Transformer Feed-Forward Layers Are Key-Value Memories》这篇论文。这篇论文核心表达了一个观点FFN本质上就是一个Key-Value内存系统。为什么这么说呢我们把刚才的公式去掉偏置项拆解开来看在这个视角下1的每一行可以看作是一个Key键。它其实是一个模式检测器。当输入的向量与某一行Key的相似度点积足够大时通过ReLU计算后达到激活标准这个神经元就被激活了。2的每一列可以看作是一个Value值。那些被激活的神经元会把它们对应的Value提取出来传递给下一层。3中间的激活函数比如ReLU充当了门控机制Gate——只有匹配度超过阈值大于0的信号才能放行不匹配的直接被截断归零。看这不就是一个带软匹配机制的查表操作嘛。大模型在预训练过程中把各种各样的模式比如语法结构、世界知识、事实概念硬生生地编码成了千千万万对Key-Value存储在FFN的权重矩阵里。而且不同深度的FFN层存储的“记忆”是完全不同的。我记得之前有论文研究发现底层的FFN主要响应浅层的、词法级别的模式。比如某个Key可能专门用来检测“the”后面的名词或者动词的过去式后缀。而顶层的FFN则捕获了更高维度的语义和事实知识。比如某个Key可能对“因果关系”极度敏感或者专门存储了“法国的首都”与“巴黎”之间的关联映射。并且顶层FFN输出的Value对模型最终要预测的下一个词有着最直接的决定权所以微调一般是调整顶层FFN权重。妙啊 我觉得这个解释比非线性变换、升维再降维等代数解释形象多了。所以不要再把FFN当成一个简单的“特征变换器”了。它其实是模型的知识库知识库里塞满了训练数据中的精华。FFN激活函数的内卷既然FFN是知识的载体那么如何让它更高效地提取和过滤知识呢这就引出了一个重要技术演进——激活函数的变迁。最早的Transformer使用的是ReLU激活函数它的逻辑很简单粗暴匹配度大于0就放行小于0就直接变成0。虽然计算极快且自带稀疏性但这种“一刀切”的做法容易导致“神经元死亡”问题导致在训练过程中梯度无法回传。随后GELU高斯误差线性单元成为了GPT-2和GPT-3的标配。GELU引入了概率分布的权重使得激活过程变得更加平滑有助于深层网络的稳定收敛。但近两年来如果你去翻看Llama 3、PaLM、甚至是DeepSeek等最顶尖模型的架构你会发现它们不约而同地抛弃了传统的单路激活函数转而使用了一种叫做SwiGLU的结构。SwiGLU不再是简单地把输入过一遍激活函数而是引入了乘法门控机制。它把输入分成了两条支路一条分支Gate经过Swish激活函数处理另一条分支Value保持线性然后将两者进行元素级相乘。这种结构的表达能力很强。它不仅提供了两条不同的梯度回传路径有效缓解梯度消失更重要的是它让模型学会了基于输入数据动态地控制信息的流通。换句话说SwiGLU让FFN这个“记忆硬盘”变成了“智能检索库”它能根据当前token的上下文动态地决定哪些记忆碎片是相关的哪些应该被屏蔽。在同等参数量下采用SwiGLU的Transformer在各种基准测试中的表现都要显著优于使用ReLU或GELU的模型。脑洞大开一下基于上面的解释如果咱们把激活函数想象成一个检索系统是不是可以采用一些检索trick做一些研究算力和容量扛不住了理解了FFN是模型的“记忆硬盘”后我们会面临一个现实问题如果你希望模型变得更聪明、知道的更多你就必须塞给它一个更大的硬盘增加FFN的参数量。但这里存在一个矛盾。在传统的稠密模型Dense Model中FFN是一个铁板一块的整体。这意味着无论你输入的是一句简单的“Hello”还是一道极其复杂的微积分公式模型里的每一个参数都要被拉出来参与一次矩阵乘法计算。如果我们把模型的参数量扩展到万亿级别比如为了学习全世界所有的代码和多语言知识那么每一次前向传播推理所需的计算量FLOPs将是一个天文数字。这种让计算量随参数量呈线性增长的模式在硬件显存带宽和算力双重受限的今天是一条彻头彻尾的死胡同。于是混合专家模型Mixture of Experts简称MoE应运而生。其实MoE根本不是什么新鲜概念。早在1991年深度学习还处于冰河期的时候Jacobs、Hinton等人就已经提出了Adaptive Mixtures of Local Experts的想法。那时候的思路很超前与其训练一个巨大而臃肿的网络来解决所有问题不如训练一堆“小专家Expert”每个专家只负责处理它最擅长的数据子集然后再由一个“门控网络Gating Network”来决定当前输入该交给哪个专家处理。但受限于当时的算力这个极具前瞻性的想法一直被束之高阁。直到2017年Google的Shazeer等人发表了《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》才真正把MoE和现代深度学习结合起来将其引入到大型语言模型中。MoE的核心思想就四个字条件计算。具体怎么做到的呢MoE对那个庞大且耗时的FFN层进行了“暴力拆分”。它把原本一个巨大的FFN切分成了许多个并行的、规模较小的FFN这些小FFN就被称为“专家”并且在前面加了一个路由器。当一个token流动到MoE层时路由器会计算这个token与各个专家的匹配度通常是通过一个简单的线性层加上Softmax操作得到概率分布。然后路由器会执行一个Top-k稀疏选择即只把这个token发送给得分最高的个专家进行处理其余的专家直接处于休眠状态不参与任何计算。最后模型把这个专家输出的结果加权求和传递给下一层。也就是说以前靠激活稀疏现在增加计算稀疏了不仅减少了推理计算量也增加了泛化性。这种设计也带来了一个优势它实现了模型参数容量和推理计算量的解耦。我们可以用两组概念来衡量MoE模型1.总参数量Total Parameters所有专家参数和共享参数的总和。它决定了模型的知识容量上限。2.激活参数量Active Parameters每次处理单个token时实际参与计算的参数量。它决定了模型的推理延迟和计算成本。举个最经典的例子Mistral AI在2023年底发布的Mixtral 8x7B模型。从名字就能看出来它有8个专家每个专家大约有70亿参数。总参数量高达46.7B。但是它的路由器采用的是“8选2”Top-2的策略。这意味着对于任何一个给定的token它只会被送进2个专家进行处理。因此它在推理时的激活参数量仅仅只有约13B。当时的结果是惊人的Mixtral 8x7B 不仅在性能上全面超越了 70B 的稠密模型Llama 2 70B其推理速度也接近 13B 规模的小模型。。MoE世界里的工程血泪史但天下没有免费的午餐如果你亲自上手训练过或者部署过MoE大模型你就会知道这背后藏着多少令人头秃的工程挑战。1. 专家崩溃当我们把选择权交给路由器时一个很自然的机器学习弊病就出现了马太效应。在训练初期某些专家可能只是因为随机初始化的原因对某几个token处理得稍微好了一点点。路由器尝到了甜头就会在后续训练中越来越倾向于把更多的token丢给这几个“明星专家”。久而久之这几个明星专家被训练得越来越好路由器就更加死心塌地地依赖它们。而剩下的绝大多数专家呢它们根本接不到token得不到梯度的更新直接“旱死”了。这就叫专家崩溃。你虽然有100个专家但干活的永远只有那3个其他的全在摸鱼庞大的参数容量彻底成了摆设。传统的解法简单粗暴往损失函数Loss Function里强行加一个辅助损失Auxiliary Loss。这个辅助损失的逻辑是如果路由器给某个专家分配的token数量超过了平均值就产生一个惩罚项。简单来说就是通过扣分来逼迫路由器搞平均主义必须雨露均沾。但这种做法极为尴尬。试想一下如果有一段晦涩的C代码它本来应该交给最懂编程的“专家A”处理但因为专家A今天的“接客额度”已经满了系统为了追求负载均衡强行把这段代码塞给了负责写古典诗歌的“专家B”。这不仅是对模型性能的巨大伤害更是在阻碍专家形成高度专精的领域特长。在这个痛点上DeepSeek在他们的V3模型中给出了一个解法无辅助损失的负载均衡。DeepSeek-V3干脆利落地把辅助损失从目标函数里砍掉了。他们不改变模型追求最优预测的核心学习规则而是给每一个专家悄悄加上了一个偏置项Bias。在训练过程中系统会实时监控每个专家的负载情况。如果发现某个专家最近成了“冷宫”闲得发慌系统就会稍微调高它的偏置项 相当于给它加点基础分如果某个专家忙得冒烟就调低它的偏置项。在路由器做Top-k选择时看的是包含了偏置项的最终得分。而且这个偏置项只参与路由决策绝不参与实际的梯度计算和加权求和。大白话就是它只负责稍微干预一下排班系统但绝不干扰模型真正学到的知识权重。2. 显存墙如果我们从部署的角度来看MoE有一个非常残酷的真相它能省算力但它一点也不省显存。虽然对于每个token来说只需要激活一部分专家。但在推理阶段由于你根本无法预知下一个token会被路由到哪个专家那里因此你必须把所有专家的参数都原封不动地加载到GPU的显存里。我们还是以DeepSeek-V3为例它有着671B总参数。如果用FP16精度加载单单是模型权重就需要大约1.3TB的显存。就算它的激活参数只有37B你也别想在一两张消费级显卡上把它跑起来多节点集群是硬性门槛。况且MoE架构引入了额外的通信开销。在分布式系统中为了容纳如此庞大的参数我们通常会采用专家并行。也就是说不同的GPU上存放着不同的专家模型。当一批token进来后它们首先在本地GPU上计算出路由策略然后那些需要被发送到其他GPU上寻找对应专家的token就必须通过网络进行全连接传输。计算完成后再把结果传回来组合。这种跨设备的Token调度对显卡之间的互联带宽提出了极高的要求。如果网络带宽跟不上GPU的大部分时间都会被迫用来等待Token的传输导致极低的计算利用率。这就是为什么像NVIDIA GB200 NVL72这样具备顶级互联带宽的机架级系统对大规模MoE模型的训练和推理如此至关重要的原因。MoE模型真的比稠密模型“更聪明”吗话说回来了既然MoE模型每次推理只用了一小部分参数那一个2T参数的MoE模型和一个2T参数的Dense模型相比到底谁更聪明这其实涉及到大模型领域的缩放定律Scaling Laws研究。《Scaling Laws Across Model Architectures》给出了非常明确的答案MoE模型不仅算力效率更高它的数据利用效率也远超同等算力预算的稠密模型。这篇论文有几个结论1.数据效率的跃升在消耗相同的计算预算下MoE模型能比稠密模型多榨取约16.37%的数据价值。它的泛化能力更强在测试集上的Loss更低。2.更优的训练动力学研究表明在模型训练过程中MoE架构由于梯度的稀疏性其梯度噪声的尺度明显小于稠密模型。这意味着什么意味着在相同的Loss水平下MoE模型可以使用更小的最优批次大小和更大的学习率。它能够以更激进的速度学习和收敛优化过程更加丝滑。3.能力上限的提升我们不要陷入“唯参数论”的陷阱。对于MoE模型来说它的认知能力并不是简单地等同于它单次激活的参数量。业界有一个粗略的经验法则一个MoE模型的等效能力大约等于激活参数量总参数量或是这两者的几何平均数。所以虽然它每次只激活了30B但背后庞大的600B休眠参数构成的知识库网络依然为它提供了极其恐怖的专业深度支撑。MoE不等于“逻辑推理”MoE只是一种高效的计算支架。它的本质意义在于它把训练庞大模型所需的天价算力门槛打了下来让研究团队有足够的资源去进行超大规模的强化学习RL和思维链CoT训练最终催生出强大的逻辑推理能力。写在最后如果我们把Transformer看作一个人类的大脑Attention 是我们在面对海量信息时的“工作记忆”和“逻辑焦点”它负责在各种复杂的线索中寻找关联而FFN则是我们经过漫长的学习后沉淀在神经元深处的“长期记忆”和“专业知识库”。早期的稠密模型信奉“大力出奇迹”。不管你是来问11等于几还是来问如何制造火箭模型都要把所有的脑细胞全部唤醒一遍这在工程上是极度反直觉的。而MoE则象征着向模块化智能的迈进。通过条件计算实现了认知容量与思考成本的剥离。它让AI学会了像人类一样遇到生活常识就调用“共享专家”遇到高数题就定向求助底层的“数学专家”以极有限的计算代价调动深层的智慧。理解了FFN和MoE的本质我们才能看懂大模型竞赛的底层逻辑。在这个时代算力固然是王道但在有限的算力和显存约束下谁能把架构的杠杆率玩到极致谁就能拿到通向AGI的下一张船票。转自https://mp.weixin.qq.com/s/W6xquhcgP6Ke4_nx4_8KHQ