算数优化算法AOA2021年新出的智能优化算法结合SVM做回归拟合预测建模代码内有详细的注释替换数据就可以使用上次实验室熬大夜调催化加氢产率的SVR模型差点怀疑人生RBF核随便蒙C和gammaMSE有时候0.01有时候飘到0.5换成GridSearchCV细搜1e-4到1e4的指数算了整整12分钟结果还是卡在了“看起来还行但总差点感觉”的局部最优里啃不动。算数优化算法AOA2021年新出的智能优化算法结合SVM做回归拟合预测建模代码内有详细的注释替换数据就可以使用刷小红书灵感库别笑搞算法摸鱼刷灵感是程序员标配对吧除了CSDN那种硬啃论文的偶然翻到个“2021年新晋加减乘除玩明白的算法”——算术优化算法AOAArithmetic Optimization Algorithm名字就够接地气的抱着试试水换参数的心态写了个小demo替换催化数据跑了30秒MSE直接压到了0.007差点蹦起来。先唠明白这个“搞数学题凑解”的AOA是咋回事不想堆一堆看不懂的微分方程收敛性证明反正我啃原文也只看了前半段的逻辑推导后半段数学验证扫了两眼精度对比就用了直接用实验室撒催化剂配方测试的例子翻译算法逻辑第一步撒随机“种子测试组”初始化解向量我们要调3个SVR参数对吧默认RBF核的C惩罚因子越小越容易欠拟合越大越容易过拟合、gamma核宽度越小越忽略细节越大越抠到样本点缝里、eps容忍度越小越把误差当回事那每个“种子测试组”就是这三个数的组合比如[10, 0.05, 0.001]。代码里就是随便给个种群规模比如30个测试组不算少了平衡速度和精度再给每个参数设定合理的上下限比如C不能是负数eps也不能太大否则等于没训练这部分直接看后面demo的注释就行换参数的时候连上下限都可以一键改。第二步玩“碰运气凑大奖前半段瞎撒网”乘除法探索全局乘除法的作用是什么是让数值跳得远跳得开比如原本测试组的C是10乘法可能变成10×330除法变成10/42.5直接跳出当前附近的几个“有点潜力但没获奖的候选奖池”。原文里有个平滑过渡的MOP值Math Optimizer Probability就是控制什么时候玩乘除什么时候玩加减的开关大概前60%的迭代次数里玩乘除具体比例原文调的是0.2到0.9不对等下翻下代码注释里的对应公式——哦对简化版的MOP是从0.2慢慢涨到0.9的对应从“主要瞎碰”到“主要细抠”的过程这个逻辑比PSO粒子群直接惯性权重递减顺耳多了。第三步玩“大奖就在候选池里慢慢挖边边角角”加减法局部开发加减法就是微调数值了比如刚才碰运气碰到个C35、MSE0.009的组加法变成35237减法变成35-332看看哪个更接近“特等奖MSE最小”。直接上可以一键替换数据的Python代码这个demo用的是sklearn自带的波士顿房价数据集虽然有点老但经典替换成你自己的Excel/CSV产率数据、股票数据、病人血糖预测数据都行内置的SVR默认RBF核种群规模30迭代次数50注释写得我妈都能看懂虽然她不会写Pythonimport numpy as np import random from sklearn.svm import SVR from sklearn.datasets import load_boston from sklearn.preprocessing import StandardScaler # SVR对数据尺度超级敏感这个必须加 from sklearn.model_selection import cross_val_score # 用交叉验证算MSE避免过拟合单个训练集 # 1.1 替换成你自己的X和y比如X pd.read_csv(你的特征.csv).values, y pd.read_csv(你的标签.csv).values.flatten() data load_boston() X data.data y data.target # 1.2 设定SVR要优化的参数上下限这里默认RBF核的C、gamma、eps # C: 惩罚因子一般1e-3到1e5根据自己数据调 # gamma: 核宽度一般1e-4到1e2或者用auto/scale但优化的时候还是数值好 # eps: 容忍度一般1e-4到1e-1 lb [1e-3, 1e-4, 1e-4] # 下界 ub [1e5, 1e2, 1e-1] # 上界 dim 3 # 优化参数的个数换线性核/poly核就改这里 # 1.3 设定AOA的算法参数一般不用改新手直接用 pop_size 30 # 种群规模测试组的数量 max_iter 50 # 最大迭代次数迭代多了慢但可能更准 # # 第二步预处理数据SVR必须标准化别忘 scaler_X StandardScaler() scaler_y StandardScaler() # 标签最好也标准化不然惩罚因子C的尺度不好把握 X_scaled scaler_X.fit_transform(X) y_scaled scaler_y.fit_transform(y.reshape(-1, 1)).flatten() # 第三步定义AOA的适应度函数核心 def fitness_function(solution): # 解向量拆成三个SVR参数 C solution[0] gamma solution[1] eps solution[2] # 初始化SVR模型 model SVR(kernelrbf, CC, gammagamma, epsiloneps) # 用5折交叉验证算负MSE因为sklearn交叉验证默认返回得分越高越好所以加负号变成MSE越小越好 neg_mse cross_val_score(model, X_scaled, y_scaled, cv5, scoringneg_mean_squared_error) mse -np.mean(neg_mse) return mse # 第四步AOA算法的核心逻辑 def AOA(pop_size, max_iter, lb, ub, dim): # 初始化种群 population np.zeros((pop_size, dim)) for i in range(pop_size): for j in range(dim): population[i][j] random.uniform(lb[j], ub[j]) # 每个参数在上下界内随机生成 # 初始化全局最优解和全局最优适应度 best_solution population[0].copy() best_fitness fitness_function(best_solution) # 开始迭代 for iter_num in range(max_iter): print(f当前迭代次数{iter_num1}/{max_iter}当前最优MSE{best_fitness:.6f}) # 计算当前迭代的MOP平滑过渡开关和MOA可能和MOP搞混不管了直接用简化版逻辑 # MOP 0.2 (0.9 - 0.2) * (iter_num / max_iter) ** 2 # 原文公式1开平方是为了让过渡更慢一点前期多碰运气 # 哦刚才小红书简化版是线性的随便选这里我用开平方的前期更稳碰全局 MOP 0.2 0.7 * ((iter_num 1) / max_iter) ** 2 # 遍历每个测试组 for i in range(pop_size): # 生成新的解向量 new_solution np.zeros(dim) # 遍历每个参数也就是每个催化剂的浓度 for j in range(dim): r1 random.random() # 0-1之间的随机数决定是玩加减还是乘除 # 先玩碰运气还是细抠看r1和MOP的大小 if r1 MOP: # r1小碰运气阶段玩乘除 r2 random.random() r3 random.random() if r3 0.5: # 玩乘法跳得远变大 new_solution[j] best_solution[j] * (1 (r2 - 0.5) * 2) # 这里简化了原文的指数搜索指数有时候太极端 else: # 玩除法跳得远变小 # 防止除以0 eps_div 1e-10 new_solution[j] best_solution[j] / ( (r2 - 0.5) * 2 eps_div ) else: # r1大细抠阶段玩加减 r4 random.random() if r4 0.5: # 玩加法稍微变大 new_solution[j] best_solution[j] (r4 - 0.5) * 2 * (ub[j] - lb[j]) * 0.1 # 乘以0.1控制微调的幅度 else: # 玩减法稍微变小 new_solution[j] best_solution[j] - (r4 - 0.5) * 2 * (ub[j] - lb[j]) * 0.1 # 边界处理新生成的参数不能超出上下界 for j in range(dim): if new_solution[j] lb[j]: new_solution[j] lb[j] if new_solution[j] ub[j]: new_solution[j] ub[j] # 计算新解的适应度 new_fitness fitness_function(new_solution) # 更新个体最优这里简化了直接更新全局最优因为新手不需要太多个体最优的变量 if new_fitness best_fitness: best_solution new_solution.copy() best_fitness new_fitness return best_solution, best_fitness # 第五步运行算法看看结果 print( 开始运行AOA优化SVR参数 ) best_params, best_mse AOA(pop_size, max_iter, lb, ub, dim) print( 算法运行结束 ) # 输出最优参数记得反标准化不哦这里的参数是标准化后的X和y对应的直接用就行 print(f最优SVR参数C{best_params[0]:.4f}gamma{best_params[1]:.4f}eps{best_params[2]:.6f}) print(f5折交叉验证的最优MSE{best_mse:.6f}) # 顺便训练一个最终的模型给你们看看实际用的时候记得拆分训练集测试集哦这里只是演示参数优化 final_model SVR(kernelrbf, Cbest_params[0], gammabest_params[1], epsilonbest_params[2]) final_model.fit(X_scaled, y_scaled) y_pred_scaled final_model.predict(X_scaled) y_pred scaler_y.inverse_transform(y_pred_scaled.reshape(-1, 1)).flatten()最后说两句这个demo的优缺点别吹得太神优点注释真的超级详细连我这种忘性大的人过半年再看都能直接替换数据速度快波士顿房价数据集50次迭代30个测试组我电脑联想小新Pro16锐龙版大概20秒就能出结果比GridSearchCV快太多了对新手友好把所有复杂的公式都简化成了实验室撒配方的逻辑没有论文里的数学压力缺点简化了原文的个体最优逻辑直接只更新全局最优有时候可能会比原文的精度差一丢丢但对于大部分本科生/研究生的小项目、公司的小预测需求完全够用了只内置了RBF核换线性核/poly核的话需要自己改dim和fitness_function里的SVR初始化参数但也不难注释里写了提示没有画收敛曲线想看收敛过程的朋友可以自己加个列表存每次迭代的best_fitness然后用matplotlib画出来就行很简单下次再熬大夜调模型参数的时候不妨试试这个2021年新出的“加减乘除玩明白的算法”说不定会有惊喜哦