IRLS迭代加权最小二乘详解基于 Huber Loss 的鲁棒回归一、问题背景在数据拟合中最常见的方法是最小二乘法min⁡∑i1n(yi−f(xi))2 \min \sum_{i1}^n (y_i - f(x_i))^2mini1∑n​(yi​−f(xi​))2这种方法的核心问题是对异常值非常敏感二、异常值带来的问题考虑如下数据(1,1),(2,2),(3,3),(4,4),(5,100) (1,1), (2,2), (3,3), (4,4), (5,100)(1,1),(2,2),(3,3),(4,4),(5,100)最后一个点明显是异常值。最小二乘会平方放大误差(100−5)29025 (100 - 5)^2 9025(100−5)29025导致模型严重偏移。三、Huber Loss鲁棒损失函数Huber Loss 结合了 L2 和 L1 的优点ρ(r){12r2∣r∣≤δδ(∣r∣−12δ)∣r∣δ \rho(r) \begin{cases} \frac{1}{2}r^2 |r| \le \delta \\ \delta(|r| - \frac{1}{2}\delta) |r| \delta \end{cases}ρ(r){21​r2δ(∣r∣−21​δ)​∣r∣≤δ∣r∣δ​解释小误差使用平方损失精确拟合大误差线性增长降低异常点影响四、IRLS 的核心思想目标函数min⁡∑ρ(ri) \min \sum \rho(r_i)min∑ρ(ri​)其中riyi−f(xi) r_i y_i - f(x_i)ri​yi​−f(xi​)通过推导可得权重更新公式wiψ(ri)ri w_i \frac{\psi(r_i)}{r_i}wi​ri​ψ(ri​)​其中ψ(r)dρdr \psi(r) \frac{d\rho}{dr}ψ(r)drdρ​五、Huber Loss 对应权重wi{1∣ri∣≤δδ∣ri∣∣ri∣δ w_i \begin{cases} 1 |r_i| \le \delta \\ \frac{\delta}{|r_i|} |r_i| \delta \end{cases}wi​{1∣ri​∣δ​​∣ri​∣≤δ∣ri​∣δ​含义小误差权重为 1大误差权重减小六、IRLS 算法流程步骤如下初始化权重wi1 w_i 1wi​1求解加权最小二乘β(XTWX)−1XTWy \beta (X^T W X)^{-1} X^T W yβ(XTWX)−1XTWy计算残差ry−Xβ r y - X\betary−Xβ更新权重wiψ(ri)ri w_i \frac{\psi(r_i)}{r_i}wi​ri​ψ(ri​)​重复直到收敛七、直观理解IRLS 可以理解为不断降低异常点的影响过程如下第一轮所有点一样重要第二轮发现异常点降低其权重后续逐步忽略异常点八、Python 示例代码importnumpyasnpdefhuber_weights(r,delta):wnp.ones_like(r)masknp.abs(r)delta w[mask]delta/np.abs(r[mask])returnwdefirls(X,y,delta1.0,max_iter20):n,dX.shape wnp.ones(n)for_inrange(max_iter):Wnp.diag(w)betanp.linalg.inv(X.T W X)(X.T W y)ry-X beta whuber_weights(r,delta)returnbeta九、应用场景IRLS 常用于鲁棒回归Logistic 回归信号处理计算机视觉十、总结IRLS 的本质是将复杂的鲁棒优化问题转化为一系列加权最小二乘问题结合 Huber Loss可以有效降低异常值影响提高模型稳定性。