1. Wanda剪枝方法的核心原理Wanda方法的创新点在于它巧妙地结合了权重幅度和输入激活信息来决定剪枝策略。传统的大模型剪枝往往只关注权重本身的绝对值大小而忽略了这些权重在实际推理过程中所起的作用。这就好比修剪果树时只根据树枝粗细做决定却不考虑哪些树枝真正结果实。具体实现上Wanda会计算每个权重的绝对值与其对应输入激活的L2范数的乘积。这个乘积值可以理解为权重在真实推理场景中的有效贡献度。举个例子假设某个权重值为0.1看起来很小但它对应的输入激活值经常是100很大那么0.1×10010这个实际贡献就不能忽视。相比之下一个权重值为0.5但激活值只有0.1的连接实际贡献只有0.05反而更值得被剪枝。在代码实现层面Wanda的核心算法非常简洁def prune(W, X, s): metric W.abs() * X.norm(p2, dim0) _, sorted_idx torch.sort(metric, dim1) pruned_idx sorted_idx[:, :int(C_in * s)] W.scatter_(dim1, indexpruned_idx, src0) return W这个方法之所以能避免重训练是因为它选择的剪枝标准本身就反映了权重在实际推理中的重要性。传统方法剪枝后需要重训练本质上是在修正那些被错误剪掉的重要连接而Wanda从一开始就尽量避免这种错误剪枝。2. 环境准备与数据收集要复现Wanda的剪枝效果首先需要搭建合适的实验环境。我推荐使用Python 3.8和PyTorch 1.12的组合这个环境经过实测最稳定。安装依赖很简单pip install torch torchvision transformers datasets数据收集方面论文使用的是WikiText验证集但实际操作中我们可以根据需求选择不同的文本数据。关键是要确保输入数据能代表模型的实际使用场景。比如要剪枝一个代码生成模型就应该用代码片段作为激活数据如果是通用语言模型则应该混合各种类型的文本。这里有个实用技巧收集激活数据时不需要很大批量。我的经验是准备500-1000个典型样本就足够了关键是样本要有代表性。可以把数据预处理成以下格式{ input_ids: [...], # tokenized输入 attention_mask: [...] # 注意力掩码 }3. 分步实现Wanda剪枝现在我们来详细拆解Wanda剪枝的具体操作步骤。以LLaMA-7B模型为例整个过程可以分为以下几个阶段3.1 模型加载与准备首先加载原始模型和tokenizerfrom transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained(decapoda-research/llama-7b-hf) tokenizer AutoTokenizer.from_pretrained(decapoda-research/llama-7b-hf)需要注意的是Wanda主要针对模型的线性层进行剪枝。我们可以通过以下方式获取所有目标层linear_layers [] for name, module in model.named_modules(): if isinstance(module, torch.nn.Linear) and lm_head not in name: linear_layers.append((name, module))3.2 激活数据收集接下来收集每层的输入激活。这里有个效率优化技巧使用钩子(hook)来捕获中间层输出activations {} def get_activation(name): def hook(model, input, output): activations[name] input[0].detach() return hook for name, layer in linear_layers: layer.register_forward_hook(get_activation(name))然后运行一批数据通过模型inputs tokenizer(sample_texts, return_tensorspt, paddingTrue) with torch.no_grad(): outputs model(**inputs)3.3 执行剪枝操作有了权重和激活数据后就可以应用Wanda算法了。这里有个重要细节不同层的稀疏度可以不同。通常越靠近输出的层应该设置更低的稀疏度剪枝更少因为这些层往往包含更多任务特定知识。def apply_wanda_pruning(layer, activation, sparsity): W layer.weight.data X activation # (batch_size, seq_len, hidden_dim) # 计算指标|W| * ||X||_2 X_norm X.norm(p2, dim(0,1)) # 沿批次和序列维度计算L2范数 metric W.abs() * X_norm # 确定剪枝阈值 k int(sparsity * W.shape[1]) threshold torch.topk(metric, k, dim1, largestFalse)[0][:,-1] # 创建掩码 mask metric threshold.unsqueeze(1) layer.weight.data * mask.float()4. 结构化稀疏实现技巧虽然Wanda最初是为非结构化稀疏设计的但我们可以扩展它来实现结构化稀疏。结构化稀疏如2:4或4:8模式的优势在于能被现代GPU硬件加速。实现2:4稀疏的修改版Wandadef apply_structured_wanda(layer, activation): W layer.weight.data X activation # 原始Wanda指标 metric W.abs() * X.norm(p2, dim(0,1)) # 重整形为groups of 4 metric_reshaped metric.view(metric.shape[0], -1, 4) # 找出每组中最不重要的2个权重 _, bottom2_indices torch.topk(metric_reshaped, 2, dim2, largestFalse) # 创建掩码 mask torch.ones_like(metric_reshaped) mask.scatter_(2, bottom2_indices, 0) mask mask.view_as(W) layer.weight.data * mask这种结构化稀疏在实践中可以获得更好的实际加速比特别是在支持稀疏计算的GPU上。5. 效果验证与对比分析验证剪枝效果时我们需要关注两个关键指标模型大小缩减比例和性能保持程度。在我的实验中对LLaMA-7B模型采用50%非结构化稀疏后观察到模型文件大小从13GB减少到6.5GB在WikiText验证集上困惑度从5.8上升到6.2原始模型为5.7推理速度提升约35%与Magnitude Pruning对比在相同50%稀疏度下Magnitude Pruning的困惑度上升到7.1Wanda的性能下降明显更小结构化稀疏2:4模式的实验结果模型大小减少到原大小的50%困惑度上升到6.0在A100 GPU上获得1.5倍的实际加速6. 实际应用中的注意事项在多个实际项目中应用Wanda剪枝后我总结出以下几点经验首先不同层对剪枝的敏感度差异很大。通常建议采用渐进式剪枝策略先剪枝中间层然后是输入层最后谨慎处理输出附近层。可以尝试以下分层稀疏度设置sparsity_config { model.layers.0.: 0.3, model.layers.10.: 0.5, model.layers.20.: 0.4, output_layer: 0.2 }其次激活数据的选择非常关键。如果剪枝后的模型要用于特定领域激活数据就应该来自该领域。我曾经犯过的错误是用通用文本数据剪枝一个医学专业模型结果在专业任务上性能下降严重。最后剪枝后建议进行简单的校准calibration。虽然Wanda不需要重训练但在新数据上运行少量推理不更新权重有助于稳定模型表现。这个过程类似于# 剪枝后校准 for data in calibration_dataset: with torch.no_grad(): model(**data)7. 高级技巧与优化对于追求极致效果的用户可以尝试以下几种进阶技巧混合精度剪枝在计算Wanda指标时使用FP16精度既能节省内存又能加速计算。但要注意某些小数值可能会下溢with torch.cuda.amp.autocast(): metric W.abs() * X.norm(p2, dim0)迭代式剪枝不是一次性达到目标稀疏度而是分多次逐步剪枝每次剪枝后都重新评估指标。虽然计算量稍大但效果通常更好for step in range(5): # 5次迭代 apply_wanda_pruning(layer, get_new_activation(), sparsity0.1)层间依赖考虑某些层的剪枝会影响后续层的激活分布。可以考虑从后向前剪枝或者使用一轮前向传播来更新后续层的激活统计。