DeepSeekMoE 是一种创新的大规模语言模型架构，旨在通过高效的计算流程和优化设计，在保持高性能的同时显著降低计算成本。
1. 架构设计
DeepSeekMoE 基于 Transformer 架构，融合了以下核心技术：
专家混合系统（Mixture of Experts, MoE）：MoE 是 DeepSeekMoE 的核心组件之一，通过将模型划分为多个“专家”（Experts），并在每个输入或 token 上仅激活其中一部分专家进行计算，从而实现稀疏激活。这种设计大幅减少了计算量，同时允许模型在大规模参数扩展时保持高效。
多头潜在注意力机制（Multi-Head Latent Attention, MLA）：MLA 是 DeepSeek 的关键技术之一，通过低秩压缩技术减少推理时的 Key-Value 缓存，显著提升了推理效率。
RMSNorm 归一化策略：该策略进一步优化了模型的训练和推理过程。
2. 核心技术与创新
DeepSeekMoE 的主要创新在于细粒度专家分割和共享专家隔离：
细粒度专家分割：将每个 MoE 层的专家进一步细分为更多小专家，并从中激活部分专家。例如，在保持总参数量不变的情况下，将每个专家的中间隐藏维度缩小，从而增加专家数量。这种设计允许更精准的知识分解和学习，提升专家的专业化程度。
共享专家隔离：在细粒度专家分割的基础上，隔离一部分专家作为共享专家，用于捕捉通用知识。这些共享专家可以减少其他专家之间的知识冗余，进一步提高模型的参数效率。
3. 动态路由机制
DeepSeekMoE 通过动态路由机制选择最相关的专家来处理输入 token。门控网络会根据输入计算每个专家的得分，并选择得分最高的几个专家进行激活。这种机制不仅提高了模型的灵活性，还减少了不必要的计算开销。
4. 优势与性能表现
计算效率：相比传统 MoE 模型，DeepSeekMoE 在保持高性能的同时，显著降低了计算成本。例如，DeepSeekMoE 16B 模型仅需约 40% 的计算量即可达到与传统 7B 模型相当的性能。
专家专业化：通过细粒度专家分割和共享专家隔离，DeepSeekMoE 实现了更高的专家专业化程度，能够更精准地处理复杂任务。
可扩展性：该架构可以灵活扩展专家数量，适配不同规模的计算资源。
如图所示：
左侧部分：传统 Transformer 模型
输入 (x)：输入数据首先通过位置编码（Positional embedding）。
Self-Attention：输入数据经过自注意力层，捕捉序列中不同位置之间的关系。
Add + Normalize：自注意力层的输出经过残差连接和层归一化。
Switching FFN Layer：这是一个可选择的前馈神经网络层（FFN），根据需要激活不同的 FFN。
Add + Normalize：再次进行残差连接和层归一化。
输出 (y)：最终输出。
右侧部分：MoE 层的详细结构
输入 (x1, x2, More)：输入数据经过位置编码后进入 MoE 层。
Self-Attention：输入数据首先通过自注意力层。
Add + Normalize：自注意力层的输出经过残差连接和层归一化。
MoE 层：
Router：路由器根据输入数据选择激活哪些专家（FFN）。图中展示了两种不同的激活概率（p = 0.65 和 p = 0.8），表示不同专家的激活概率。
FFN 专家：每个 MoE 层包含多个前馈神经网络（FFN），每个 FFN 处理一部分输入数据。
激活机制：根据路由器的决策，激活部分 FFN 专家进行计算，其余 FFN 不参与计算，从而实现稀疏激活。
Add + Normalize：MoE 层的输出经过残差连接和层归一化。
输出 (y1, y2)：最终输出。
关键点：
稀疏激活：MoE 层通过激活部分专家来减少计算量，实现稀疏激活。
动态路由：路由器根据输入数据动态选择激活哪些专家，提高模型的灵活性和效率。
细粒度专家分割：DeepSeekMoE 通过细粒度专家分割和共享专家隔离技术，进一步提高专家的专业化程度和参数效率。
