面试开场写代码别背公式蚂蚁AI应用开发岗面试一开始面试官没有让我复述Transformer定义而是直接说“用PyTorch手写一个Multi-Head Attention讲清楚Q、K、V的维度变化。”这种考察方式在蚂蚁很常见不看你能背多少理论而是看你是否真正把模型当工程组件拆解过。我当时在白板上边写边解释维度变换差点在缩放因子那里卡壳。下面整理出整场面试踩的坑和线上落地经验。手写MultiHeadAttention维度变换是核心手写环节最关键的是把Attention公式放进能跑的nn.Module。面试官要求先口头拆解张量形状再写代码。下面是我现场写的精简实现import torch import torch.nn as nn import torch.nn.functional as F class MultiHeadAttention(nn.Module): def __init__(self, d_model, n_heads): super().__init__() assert d_model % n_heads 0 self.d_k d_model // n_heads self.n_heads n_heads self.q_linear nn.Linear(d_model, d_model) self.k_linear nn.Linear(d_model, d_model) self.v_linear nn.Linear(d_model, d_model) self.out_linear nn.Linear(d_model, d_model) def forward(self, q, k, v, maskNone): bs q.size(0) q self.q_linear(q).view(bs, -1, self.n_heads, self.d_k).transpose(1,2) k self.k_linear(k).view(bs, -1, self.n_heads, self.d_k).transpose(1,2) v self.v_linear(v).view(bs, -1, self.n_heads, self.d_k).transpose(1,2) scores torch.matmul(q, k.transpose(-2,-1)) / (self.d_k ** 0.5) if mask is not None: scores scores.masked_fill(mask 0, -1e9) attn F.softmax(scores, dim-1) out torch.matmul(attn, v).transpose(1,2).contiguous().view(bs, -1, self.n_heads*self.d_k) return self.out_linear(out)写完后面试官追问“如果mask不小心全阻塞softmax会输出什么”答案是有可能产生NaN因为exp(-1e9)下溢导致分母为零。线上我们在softmax前加epsilon和断言检查。Q、K权重不能共享从矩阵视角分离面试官接着问“Q和K用同一套权重矩阵会怎样”我回答退化。Q、K共享会让自注意力变为对称相似矩阵失去提问者与被提问者的区分能力。我们曾在一个知识库检索Agent中做消融实验共享Q、K后多跳推理准确率下降近6个百分点。如果用nn.Linear实现千万别把q_linear赋值给k_linear会搞乱优化器参数分组。缩放因子√d_k的教训一次线上回滚在手写时我提到缩放因子防止梯度消失。面试官追问真实故障。我承认团队训练13B模型时因忘记加缩放因子训练到3000步loss突变成NaN。回滚后定位到softmax输出近乎one-hot部分头权重极大导致溢出。这已写入上线检查清单自定义注意力必须缩放前移训练时挂gradient clipping和NaN监控钩子。位置编码从Sinusoidal到RoPE面试官问“还用Sinusoidal位置编码吗”我们早已切到RoPE。Sinusoidal外推能力差推理长度超训练长度时效果断崖式下降。我们在长文档摘要中遇到训练长度2048推理3000 tokens效果很差。切换到RoPE后通过调整旋转基频即可外推。如果要写Sinusoidal代码需处理max_len截断和batch广播但实际项目只推荐RoPE。Pre-LN优于Post-LN训练稳定性实战蚂蚁面试官深挖训练稳定性。原论文用Post-LN即LayerNorm(XSubLayer(X))但我们线上全切Pre-LN。Post-LN在深层数下梯度易震荡尤其20层以上训练初期常见loss plateau。Pre-LN将Norm移到子层前让残差路径更干净。微调LLaMA-2时对比Pre-LN在同样学习率下收敛更快训练曲线更稳定。注意final_layer_norm需按任务调整文本生成保留下游分类移除。KV Cache与批量推理从300ms到50ms面试后半段问推理优化。Decoder自回归生成不能完全并行因为因果约束但KV Cache可缓存已计算的Key、Value避免重复计算。在线服务用past_key_values缓存压缩计算量结合批量推理多个请求prompt一起计算吞吐翻倍。压测时发现KV Cache未预处理时显存碎片严重我们用torch.cuda.memory_stats监控碎片率并对单次解码设置200ms超时熔断。LoRA微调配置target_modules选择与量化面试最后聊微调。面试官问LoRA的target_modules选哪些。下面是我们实际配置from peft import LoraConfig, get_peft_model lora_config LoraConfig( r16, lora_alpha32, target_modules[ q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj ], lora_dropout0.05, biasnone, task_typeCAUSAL_LM ) model get_peft_model(base_model, lora_config)覆盖全部Q、K、V、O投影以及FFN的gate/up/down因为只微调注意力层不足以改变语言分布单独调FFN又会丢失任务适配。通用指令微调全挂上领域特化可只挂q_proj和v_proj节约显存。4bit量化时务必设置bnb_4bit_compute_dtypetorch.float16否则退化为fp32导致延迟飙升。线上监控注意力头退化与熔断面试最后我主动抛出线上实践在推理服务嵌入注意力监控钩子。当某个头权重熵值低于阈值如0.05说明该头退化可能输出劣质文本。用register_forward_hook抓取注意力分布结合Prometheus异常计数。连续3个batch出现死头自动熔断切到备用模型。此外长文本场景设置max_new_tokens上限和超时重试防止服务假死。这些展现了从训练到推理的全链路思维。参考资料腾讯云开发者社区《多模态大模型面经》Transformer 专题面经阿里云开发者社区《面试官连问21题Transformer底层原理与测试工程全解析》腾讯云开发者社区《面试官21问深入剖析Transformer原理与测试工程》火山引擎 ADG 社区《互联网大厂经典面试题手撕Transformer》AI智能范式网《Transformer架构解析与大模型工程实践指南》