一、核心定义线性回归是有监督、回归任务里最基础、最经典的机器学习算法。核心目标用一条直线一元/ 超平面多元拟合自变量 X 和连续型因变量 Y 之间的线性相关关系用来做数值预测。二、适用场景线性与非线性的区别△线性两个变量之间的关系是一次函数关系的——图象是直线叫做线性。注意线性是指广义的线性也就是数据与数据之间的关系。△非线性两个变量之间的关系不是一次函数关系的——图象不是直线叫做非线性。到底什么时候可以使用线性回归呢统计学家安斯库姆给出了四个数据集被称为安斯库姆四重奏这 4 组数据均值几乎一样方差几乎一样相关系数几乎一样线性回归方程几乎一样但画出来完全不同数据集 1正常线性关系数据集 2曲线关系线性回归完全错误数据集 3有一个异常点干扰结果数据集 4x 几乎不变靠一个点强行拉出直线安斯库姆四重奏 → 线性回归 5 大假设必背每一条都能在这 4 张图里找到铁证线性回归必须满足 线性关系假设数据集 1完美线性 ✅数据集 2明显曲线关系 ❌结论非线性数据强行用线性回归结果完全错误。误差项必须服从 正态分布均值为 0数据集 4一个极端 outliers 强行拉出直线误差分布严重偏离正态 ❌结论异常值会毁掉线性模型。误差必须 同方差齐方差误差不能随 x 变大 / 变小图 2、图 3、图 4 都不满足 ❌自变量 x 必须 有变异、有波动数据集 4x 几乎全是 8只有一个 19x 几乎无变化 ❌结论x 没波动模型学不到任何规律。多元线性回归特征之间 相互独立、无多重共线性特征不能互相推导否则模型权重失效 ❌从这四个数据集的分布可以看出并不是所有的数据集都可以用一元线性回归来建模。现实世界中的问题往往更复杂变量几乎不可能非常理想化地符合线性模型的要求。因此使用线性回归需要遵守下面几个假设1.线性回归是一个回归问题。2.要预测的变量 y 与自变量 x 的关系是线性的图2 是一个非线性。3.各项误差服从正太分布均值为0与 x 同方差图4 误差不是正太分布。4.变量 x 的分布要有变异性。5.多元线性回归中不同特征之间应该相互独立避免线性相关。●核心启示先可视化数据再建立模型不看图 → 必被数据欺骗二、两种基础分类1. 一元线性回归单特征只有 1 个输入特征 x拟合一条二维直线公式ywxby预测值目标变量连续数值如房价、分数w权重 / 斜率代表 x 对 y 的影响大小b偏置 / 截距基线修正项举例核心含义展示「受教育年限」与「收入」之间的正线性关系残差线黑色竖线长度代表模型预测的误差大小线越长说明预测偏差越大图像2. 多元线性回归多特征有多个输入特征 x1, x2 … xn拟合高维超平面公式举例用「面积、房龄、地段」多个特征预测房价图表元素说明X 轴房屋面积m 2Y 轴房龄年Z 轴房价单位十万元彩色渐变平面多元线性回归拟合出的超平面代表模型学到的「面积 房龄 地段→房价」的线性规律红色 / 蓝色散点真实房价样本点颜色代表地段评分暖色调 地段好冷色调 地段差黑色竖线连接每个真实点到拟合平面直观展示残差预测误差线越长说明预测偏差越大三、算法底层原理核心思想1.初始化随机的w 和 b得到初始预测线定义损失函数平方误差损失 MSE衡量真实值和预测值的差距2.意义让所有样本的误差平方和最小这条线就是最优拟合线3.求解最优参数两种解法正规方程一步直接算出最优 w、b小数据集超快梯度下降迭代优化不断减小损失大数据、深度学习通用四、适用场景 优缺点✅ 优点简单易懂、可解释性极强权重 w 能看特征影响力训练快、计算成本低、不易过拟合输出连续数值适配绝大多数基础预测场景❌ 缺点仅拟合线性关系无法捕捉非线性规律对异常值、噪声极度敏感特征多重共线性会严重影响模型效果 典型业务场景教育用学情数据预测学生考试分数贴合你的教学场景金融销量预测、营收预估房产房价估价五、补充实操小要点教学 / 数据分析可用数据预处理归一化、剔除异常值、检验共线性评价指标拟合优度越接近 1 效果越好、MAE、MSE不满足线性时可升级多项式回归拟合曲线六实操代码:1.一元线性回归# 【1】导入需要用到的工具库 # numpy用来生成数据、做数学计算importnumpyasnp# matplotlib用来画图可视化展示importmatplotlib.pyplotasplt# LinearRegressionsklearn 内置的线性回归模型fromsklearn.linear_modelimportLinearRegression# 评价指标MSE均方误差、R²决定系数用来评估模型好坏fromsklearn.metricsimportmean_squared_error,r2_score# 【2】构造模拟数据学习时长 → 考试分数 # 固定随机种子保证每次运行生成的数据完全一样方便教学演示np.random.seed(42)# 生成自变量 x学习时长1~10小时共50个数据点# reshape(-1,1)把数据变成二维格式sklearn 要求输入必须是二维xnp.linspace(1,10,50).reshape(-1,1)# 生成因变量 y考试分数# 真实关系分数 6 * 学习时长 20# 加上随机噪声 np.random.randn()模拟真实学生成绩的波动y6*x20np.random.randn(50,1)*3# 【3】创建线性回归模型 # 初始化模型对象modelLinearRegression()# 训练模型让模型学习 x 和 y 的关系model.fit(x,y)# 输出训练好的模型参数对应公式 y w*x bprint(f斜率 w {model.coef_[0][0]:.2f})# wx对y的影响程度print(f截距 b {model.intercept_[0]:.2f})# b基准分数# 【4】用训练好的模型做预测 # 输入 x让模型预测分数 yy_predmodel.predict(x)# 【5】模型效果评估 # 均方误差 MSE预测值和真实值的平均误差平方越小越好msemean_squared_error(y,y_pred)# 决定系数 R²拟合优度越接近1说明模型拟合得越好r2r2_score(y,y_pred)# 打印评估结果print(f均方误差 MSE {mse:.2f})print(f决定系数 R² {r2:.2f})# 【6】绘图可视化无中文避免报错 # 解决负号显示异常问题plt.rcParams[axes.unicode_minus]False# 绘制散点图蓝色点代表真实的成绩数据plt.scatter(x,y,colorblue,labelReal Data)# 绘制直线红色线代表模型学到的拟合直线plt.plot(x,y_pred,colorred,linewidth2,labelFitted Line)# 设置坐标轴标签plt.xlabel(Study Hours)# x轴学习时长plt.ylabel(Score)# y轴考试分数plt.title(Linear Regression Demo)# 图表标题plt.legend()# 显示图例plt.show()# 展示图片运行结果如下2.多元线性回归2 个特征版本预测分数的版本特征 1学习时长特征 2刷题数量→ 共同预测考试分数完美适配课堂讲解# 【1】导入工具库 importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.linear_modelimportLinearRegressionfromsklearn.metricsimportmean_squared_error,r2_score# 【2】生成 多特征 模拟数据 np.random.seed(42)# 固定随机种子保证结果可复现# 特征1学习时长小时50个样本study_hoursnp.linspace(1,10,50)# 特征2刷题数量题数50个样本practicenp.linspace(5,50,50)# 把两个特征 合并成 二维特征矩阵多元回归要求输入X是二维Xnp.column_stack((study_hours,practice))# 生成真实分数 y分数 3*时长 0.5*刷题数 15 噪声y3*study_hours0.5*practice15np.random.randn(50)*2# 【3】训练 多元线性回归模型 modelLinearRegression()model.fit(X,y)# 用多特征训练模型# 输出模型公式y w1*x1 w2*x2 bprint( 多元线性回归模型参数 )print(f特征1学习时长权重 w1 {model.coef_[0]:.2f})print(f特征2刷题数量权重 w2 {model.coef_[1]:.2f})print(f截距 b {model.intercept_:.2f})# 【4】模型预测与评估 y_predmodel.predict(X)msemean_squared_error(y,y_pred)r2r2_score(y,y_pred)print(f\n 模型评估 )print(f均方误差 MSE {mse:.2f})print(f决定系数 R² {r2:.2f})# 【5】可视化真实值 vs 预测值 plt.rcParams[axes.unicode_minus]False# 绘制真实分数蓝色、预测分数红色plt.figure(figsize(10,5))plt.plot(y,bo-,labelReal Score,markersize4)plt.plot(y_pred,ro-,labelPredicted Score,markersize4)plt.xlabel(Sample Index)plt.ylabel(Score)plt.title(Multiple Linear Regression (2 Features))plt.legend()plt.grid(alpha0.3)plt.show()# 【6】实战预测新学生分数预测 # 输入[学习时长, 刷题数量]new_student[[6,30]]score_predmodel.predict(new_student)print(f\n 新样本预测 )print(f学习6小时 刷题30道 → 预测分数{score_pred[0]:.1f})运行结果