机器学习线性回归一、线性回归基础1.1 数据准备将x0置为1与xn组合得到n×n的矩阵1.2 理论基础正态分布基于中心极限定理误差预测值-实际值服从正态分布最大似然估计MLE给定一组观测数据找出使这组数据出现概率最大的参数值算法步骤假设误差服从正态分布写出似然函数L(θ)对似然函数取对数得到对数似然函数ln L(θ)对θ求导令导数为0解方程得到θ的估计值简单理解假设你掷硬币10次8次正面朝上最大似然估计会告诉你这枚硬币正面朝上的概率最可能是0.8因为如果正面概率是0.8那么8次正面这个结果出现的概率最大在线性回归中的应用假设误差ε ~ N(0, σ²)y Xθ ε通过最大化似然函数推导出θ的解析解1.3 损失函数MSE均方误差通过对数转换得到最小二乘法对参数θ求导得到驻点推导出θ的计算公式正定矩阵保证损失函数为凸函数损失函数类型对比损失函数特点MSE均方误差对异常值敏感MAE平均绝对误差对异常值更鲁棒Huber LossMSE和MAE的折中结合两者优点1.4 NumPy核心操作.T矩阵转置.dot矩阵点乘np.linalg.inv矩阵求逆1.5 Scikit-learn实现importnumpyasnpfromsklearn.linear_modelimportLinearRegression# 准备示例数据Xnp.array([[1],[2],[3],[4],[5]])# 特征数据ynp.array([2,4,6,8,10])# 目标值# 创建模型lin_regLinearRegression()# 训练模型lin_reg.fit(X,y)# 获取参数print(f截距:{lin_reg.intercept_})# 截距print(f系数:{lin_reg.coef_})# 系数# 预测X_newnp.array([[6],[7]])# 新数据predictionslin_reg.predict(X_new)print(f预测结果:{predictions})二、线性回归进阶2.1 梯度下降算法个人思考梯度下降的核心目标是以最快的速度找到最优的θ参数。我的理解是θ是我们想要学习的参数权重我们需要不断调整θ使损失函数最小化梯度告诉我们θ应该往哪个方向调整核心步骤随机初始化θ给参数θ一个初始值计算损失函数用当前的θ计算预测误差计算梯度gradient ∂loss/∂θ切线的斜率告诉我们θ应该往哪个方向调整更新θθ θ - α × gradientα是学习率控制调整幅度迭代重复步骤2-4直到损失函数收敛参数更新公式θ θ - α × gradient其中θ模型参数权重我们想要学习的目标α学习率控制每次更新的步长gradient梯度损失函数对θ的偏导数代码实现importnumpyasnp# 准备数据Xnp.array([[1],[2],[3],[4],[5]])# 特征ynp.array([2,4,6,8,10])# 目标值# 添加偏置项x0 1X_bnp.c_[np.ones((X.shape[0],1)),X]# 在X左侧添加一列1# 初始化参数thetanp.random.randn(2,1)# 随机初始化θlearning_rate0.01# 学习率αn_iterations1000# 迭代次数mX_b.shape[0]# 样本数量# 梯度下降foriterationinrange(n_iterations):# 计算预测值y_predX_b.dot(theta)# 计算梯度gradients2/m*X_b.T.dot(y_pred-y.reshape(-1,1))# 更新θthetatheta-learning_rate*gradientsprint(f最终参数θ:{theta.ravel()})print(f截距:{theta[0][0]}, 系数:{theta[1][0]})2.2 学习率Learning Rate学习率过大损失函数震荡无法收敛学习率过小损失函数收敛速度过慢梯度计算gradient ∂loss/∂wj2.3 梯度下降变体类型特点适用场景全量梯度下降每次使用整个训练集方向准确但速度慢数据集较小随机梯度下降可能得到局部极值点可跳转到更好极值点大数据集小批量梯度下降折中方案实际应用常用2.4 梯度下降的问题学习率与收敛情况难以平衡学习率缺乏自适应能力不同特征空间需要不同学习率2.5 数据归一化为什么需要归一化不同特征的取值范围差异大会影响梯度计算过程中的收敛速度。个人理解损失函数的等高线图中每个特征对应一个维度x轴、y轴等当特征取值范围差异大时等高线呈现扁平的椭圆形归一化后等高线变得接近圆形梯度下降方向更直接指向最小值这就像在椭圆和圆形的山坡上找最低点圆形山坡更容易找到最短路径结合学习率和theta更新过程的理解梯度下降更新theta时是一个值一个值地找最优解θ₀、θ₁、θ₂…公式θ θ - α × gradient当特征取值范围差异大时例如一个特征范围是[0,1]另一个是[0,1000]取值范围大的特征梯度也大导致该特征的θ更新幅度大取值范围小的特征梯度也小导致该特征的θ更新幅度小结果学习率α对不同的θ效果不一致有的更新太快有的更新太慢归一化后所有特征都在相似的范围各个特征的梯度大小相近同一个学习率α对所有θ的更新效果一致可以更快地找到最优的θ值归一化方法最大最小归一化Min-Max Scaling原理将数据线性映射到[0,1]区间公式x’ (x - min) / (max - min)缺点详细说明对极端值敏感如果数据中存在异常的最大值或最小值会严重影响归一化结果例如数据大部分在[0,10]范围但有一个异常值1000归一化后大部分数据会被压缩到[0,0.01]的极小区间导致正常数据的区分度大大降低新数据范围不确定当有新数据加入时如果新数据超出原有[min, max]范围需要重新计算归一化不适用于非均匀分布当数据分布不均匀时归一化效果不佳标准归一化Z-score标准化原理将数据转换为均值为0、标准差为1的分布公式x’ (x - μ) / σμ原始数据的均值σ原始数据的标准差优点详细说明对异常值更鲁棒标准差σ已经考虑了数据的整体分布情况即使存在异常值对均值和标准差的影响相对有限相比Min-Max异常值不会完全主导归一化结果保留数据分布特征归一化后仍然保持原始数据的分布形状只是改变了位置均值变为0和尺度标准差变为1适合高斯分布数据如果原始数据接近正态分布归一化后效果最佳符合许多机器学习算法的假设适合有新数据加入的场景可以使用预先计算的均值和标准差新数据可以直接用相同的参数进行归一化代码实现importnumpyasnpfromsklearn.preprocessingimportMinMaxScaler,StandardScaler# 示例数据Xnp.array([[100,0.001],[8,0.05],[50,0.005],[88,0.07],[4,0.1]])# 最大最小归一化min_max_scalerMinMaxScaler()X_minmaxmin_max_scaler.fit_transform(X)print(最大最小归一化结果:)print(X_minmax)# 标准归一化standard_scalerStandardScaler()X_standardstandard_scaler.fit_transform(X)print(\n标准归一化结果:)print(X_standard)2.6 正则化目的给模型添加约束条件或惩罚项使模型参数尽可能小提高泛化能力个人理解加惩罚在数值上看就是让损失函数在对应点变大当参数θ的值较大时正则化项会显著增加损失函数的值应用场景过拟合Overfitting现象模型在训练集上表现很好但在测试集上表现很差原因模型太复杂记住了训练数据中的噪声和异常值比喻就像学生死记硬背考试时遇到新题就不会了解决方法使用正则化、减少模型复杂度、增加训练数据欠拟合Underfitting现象模型在训练集和测试集上表现都很差原因模型太简单无法捕捉数据的真实规律比喻就像学生没学好基础知识什么题都不会做解决方法增加模型复杂度、增加特征、减少正则化损失函数公式J(θ) 误差项 λ · 正则化项其中误差项衡量模型预测与真实值的差距λ正则化系数控制惩罚力度λ越大惩罚力度越大模型参数越小λ越小惩罚力度越小模型更关注拟合训练数据正则化项对参数θ的约束L1或L2正则化类型1. L1正则化Lasso回归正则化公式正则化项 λ × Σ|θj|特点权重系数会变为0可用于特征选择0处不可导产生稀疏性许多参数变为0少数参数不为0可视化理解稀疏性原理原始误差的等高线通常是圆滑的椭圆L1正则化的约束区域是菱形当椭圆向外扩张时极大概率会先撞到菱形的尖角坐标轴上这就导致某些参数变为0剩下的参数不为0这就叫稀疏性2. L2正则化Ridge回归正则化公式正则化项 λ × Σθj²特点权重系数变小但不会为0防止过拟合更稳定产生平滑性所有权重变小且分布均匀可视化理解平滑性原理L2正则化的约束区域是圆形让所有特征的权重都变小且分布比较均匀没有哪个特征会占据绝对主导地位这就叫平滑3. 应用场景与使用结果正则化类型应用场景使用结果L1正则化1. 特征选择从大量特征中筛选出重要特征2. 高维稀疏数据特征数远大于样本数3. 需要模型解释性知道哪些特征重要1. 产生稀疏解许多权重变为02. 自动特征选择保留重要特征剔除不重要特征3. 模型更简洁只使用少数关键特征L2正则化1. 防止过拟合控制模型复杂度2. 特征间相关性强多个特征高度相关3. 需要稳定预测对异常值不敏感1. 权重变小但不为0所有特征都参与2. 权重分布均匀相关特征共享权重3. 模型更稳定预测性能更稳定2.7 多项式升维什么是多项式升维多项式升维是指通过增加特征的幂次和交叉项将原始特征映射到更高维的空间使原本线性不可分的数据变得线性可分。核心思想目的使数据线性可分考虑特征之间的交叉项和相互影响具体例子假设原始数据有2个特征 x₁ 和 x₂原始特征y θ₀ θ₁x₁ θ₂x₂升维后二次多项式y θ₀ θ₁x₁ θ₂x₂ θ₃x₁² θ₄x₂² θ₅x₁x₂新增的特征x₁²x₁的平方x₂²x₂的平方x₁x₂x₁和x₂的交叉项可视化理解想象在二维平面上有一堆红点和蓝点它们交错在一起无法用一条直线分开。但是如果我们把数据映射到三维空间升维就可以用一个平面把它们分开。类比理解原始空间低维就像一张纸上的点无法用直线分开升维空间高维就像把纸折起来变成三维空间可以用平面分开应用场景数据非线性可分线性模型无法准确分类特征间存在交互特征之间相互影响需要考虑组合需要更复杂的决策边界简单的直线无法满足需求优缺点优点可以处理非线性关系提高模型表达能力捕捉特征间的交互作用缺点特征数量急剧增加计算复杂度上升容易过拟合需要更多的数据支持实际应用在机器学习中多项式升维常用于多项式回归支持向量机SVM的核技巧神经网络的特征工程三、模型训练进阶3.1 梯度提升回归GradientBoostingRegressor属于Boosting家族的集成学习算法通过迭代方式构建一系列弱学习器通常是决策树每个新模型修正前一个模型的错误最终组合成强学习器