1. 为什么需要SMOTE算法做机器学习项目时经常会遇到类别不平衡的问题。比如在信用卡欺诈检测中正常交易占99%欺诈交易只有1%。这种数据直接扔给模型训练结果往往不太理想 - 模型会倾向于预测多数类因为这样准确率看起来很高。我刚开始做项目时就踩过这个坑。当时用逻辑回归训练一个二分类模型测试集准确率高达98%高兴得差点跳起来。但仔细一看召回率发现模型把所有样本都预测成了多数类。这种准确率陷阱让我意识到处理不平衡数据的重要性。解决这个问题主要有三种方法欠采样减少多数类样本过采样增加少数类样本算法调整修改损失函数权重其中SMOTE属于过采样方法它通过合成新的少数类样本来平衡数据集。相比简单的随机复制SMOTE生成的样本更有意义能有效避免过拟合问题。2. SMOTE算法原理解析2.1 基本思路SMOTE全称是Synthetic Minority Over-sampling Technique直译就是合成少数类过采样技术。它的核心思想很直观在少数类样本之间插值生成新样本。想象你有一串珍珠项链SMOTE就是在每两颗相邻珍珠之间用线穿上一颗新的珍珠。具体来说随机选择一个少数类样本A找到它的k个最近邻少数类样本随机选择一个近邻样本B在A和B的连线上随机选一个点作为新样本2.2 数学原理用数学公式表示就是 新样本 样本A λ × (样本B - 样本A)其中λ是[0,1]之间的随机数。当λ0时就是样本Aλ1时就是样本Bλ0.5就是AB的中点。这个公式实际上就是线性插值。我画个简单图示帮助理解样本A ●─────────● 新样本 \ / \ / \ / \ / 样本B2.3 算法优势相比简单复制SMOTE有三大优势增加样本多样性避免过拟合能探索特征空间中的空白区域我在实际项目中发现使用SMOTE后模型对少数类的识别率(F1-score)平均能提升15-20%。3. 从零实现SMOTE算法3.1 初始化部分我们先定义一个SMOTE类包含三个主要方法import numpy as np import random class SMOTE: def __init__(self, sample, k5, gen_num100): self.sample sample # 少数类样本 self.k k # 最近邻数量 self.gen_num gen_num # 要生成的样本数 self.syn_data np.zeros((gen_num, sample.shape[1])) # 存储生成样本 self.k_neighbor np.zeros((sample.shape[0], k), dtypeint) # 存储每个样本的k近邻这里有几个关键点需要注意sample应该是二维数组每行一个样本每列一个特征k值不宜过大一般3-5就够了gen_num控制生成样本数量可以根据不平衡比例设置3.2 计算最近邻def get_neighbor_point(self): for idx, point in enumerate(self.sample): # 计算当前点到所有其他点的欧式距离 distances np.array([np.sum(np.square(point - p)) for p in self.sample]) # 获取距离最近的k个点的索引(排除自己) nearest_indices distances.argsort()[1:self.k1] self.k_neighbor[idx] nearest_indices这里用到了几个numpy技巧np.square计算平方np.sum对每个样本的特征值求和argsort返回排序后的索引3.3 生成新样本def get_syn_data(self): self.get_neighbor_point() # 先计算近邻 for i in range(self.gen_num): # 随机选择一个中心点 center_idx random.randint(0, len(self.sample)-1) # 随机选择一个近邻点 neighbor_idx self.k_neighbor[center_idx][random.randint(0, self.k-1)] # 计算两点之间的向量差 gap self.sample[neighbor_idx] - self.sample[center_idx] # 生成新样本 self.syn_data[i] self.sample[center_idx] random.random() * gap return self.syn_data这段代码实现了前面说的插值公式。random.random()生成[0,1)之间的随机数相当于公式中的λ。4. 完整代码与可视化把上面的代码组合起来import matplotlib.pyplot as plt # 生成一些随机数据作为示例 np.random.seed(42) minority_data np.random.normal(loc2, scale0.5, size(20, 2)) # 使用SMOTE生成新样本 smote SMOTE(minority_data, k3, gen_num100) new_samples smote.get_syn_data() # 可视化 plt.figure(figsize(10,6)) plt.scatter(minority_data[:,0], minority_data[:,1], cblue, label原始样本) plt.scatter(new_samples[:,0], new_samples[:,1], cred, alpha0.5, label生成样本) plt.legend() plt.title(SMOTE样本生成效果) plt.show()运行后会看到红色生成样本均匀分布在蓝色原始样本周围形成链条状分布。这正是SMOTE的特点 - 新样本都位于原始样本之间的连线上。5. 实际应用技巧5.1 参数调优经验经过多个项目实践我总结出这些经验k值选择一般3-5效果最好。k太小会导致生成样本过于集中k太大会使样本偏离真实分布生成数量建议使少数类达到多数类的50-70%即可过度采样反而可能降低性能特征缩放使用SMOTE前一定要做特征标准化否则距离计算会受量纲影响5.2 常见问题解决问题1生成的样本看起来不太合理解决检查特征是否做了标准化。不同量纲的特征会导致距离计算失真。问题2模型效果提升不明显解决尝试结合欠采样方法或者调整类别权重参数。问题3高维数据效果差解决可以先做降维处理或者使用专门的高维改进版本如Borderline-SMOTE。6. 进阶改进方向基础的SMOTE实现有几个局限性不考虑样本密度稀疏区域的样本可能被过度生成对高维数据效果下降可能生成噪声样本针对这些问题学术界提出了多种改进版本Borderline-SMOTE只对边界样本进行过采样ADASYN根据样本密度自适应调整生成数量SVM-SMOTE使用SVM找到支持向量后再生成我在实际项目中测试过这些方法发现Borderline-SMOTE对分类边界模糊的数据集效果特别好通常能比基础SMOTE再提升3-5%的F1值。