一、模型架构设计

Qwen3 延续了当前主流大型语言模型的 Transformer 架构，并在此基础上进行了多项增强设计，包含特殊的 Transformer 变体、位置编码机制改进、混合专家 (MoE) 技术引入，以及支持多模态和双重思考模式的新特性。

1. Transformer 基础架构与增强

基础架构： Qwen3 的主体是一个解码器式 Transformer（自回归语言模型），这意味着它通过注意力机制和前馈网络从左到右生成文本。与以往的 GPT 系列和 LLaMA 模型类似，Qwen3 采用了多层 Transformer 堆叠，每层包括多头自注意力和前馈网络两大模块，并在网络中广泛使用残差连接和归一化技术来确保训练稳定。

• 架构增强： Qwen3 在 Transformer 框架中引入了几项经过验证的技术改进：

• 分组查询注意力（Grouped Query Attention, GQA）： Qwen3 的稠密模型延续