Python实战5种回归分析预测模型代码详解附完整数据集在数据分析领域回归分析就像一把瑞士军刀能帮我们从数据中挖掘出变量间的潜在关系。想象一下你手头有一份销售数据想知道广告投入和销售额之间到底存在怎样的联系或者你正在研究房价希望了解面积、地段和房龄对价格的影响权重。这些场景下回归分析就是你的得力助手。Python生态为回归分析提供了丰富的工具库从基础的NumPy到强大的scikit-learn再到可视化利器Matplotlib构成了完整的数据分析链条。本文将带你用真实数据集动手实践五种经典回归模型每段代码都经过实际验证你可以直接复制到Jupyter Notebook中运行。我们会从最简单的线性关系开始逐步深入到多项式拟合最后探讨逻辑回归在分类问题中的应用技巧。1. 数据准备与探索性分析任何回归分析的第一步都是理解数据。我们使用一个包含房屋信息的模拟数据集包含面积、卧室数量、房龄和价格等字段。这个数据集足够简单以便理解又足够复杂能展示各种回归技术的应用场景。首先加载必要的库并查看数据结构import pandas as pd import numpy as np import matplotlib.pyplot as plt from sklearn.model_selection import train_test_split # 生成模拟房屋数据集 np.random.seed(42) area np.random.randint(50, 200, 100) bedrooms np.random.randint(1, 5, 100) age np.random.randint(1, 30, 100) price 50000 300*area 10000*bedrooms - 2000*age np.random.normal(0, 10000, 100) data pd.DataFrame({面积:area, 卧室:bedrooms, 房龄:age, 价格:price}) print(data.head())执行这段代码后你会看到一个包含100条记录的DataFrame。接下来我们进行关键的数据探索步骤描述性统计data.describe()可以快速查看各变量的分布情况缺失值检查data.isnull().sum()确保数据完整性相关性分析data.corr()计算变量间的Pearson相关系数矩阵提示在正式建模前建议将数据划分为训练集和测试集比例通常为7:3或8:2。使用scikit-learn的train_test_split函数可以轻松实现X data[[面积, 卧室, 房龄]] y data[价格] X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.3, random_state42)2. 简单线性回归理解基础模型简单线性回归是理解更复杂模型的基础它假设因变量和单个自变量之间存在线性关系。我们以房屋面积预测价格为例演示完整实现流程。模型原理寻找最佳拟合直线y β₀ β₁x使预测值与实际值的残差平方和最小。β₀是截距β₁是斜率系数。from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error, r2_score # 提取面积特征需要reshape为二维数组 X_area X_train[面积].values.reshape(-1,1) # 创建并训练模型 slr LinearRegression() slr.fit(X_area, y_train) # 预测测试集 y_pred slr.predict(X_test[面积].values.reshape(-1,1)) # 评估指标 print(f斜率系数: {slr.coef_[0]:.2f}) print(f截距项: {slr.intercept_:.2f}) print(f均方误差(MSE): {mean_squared_error(y_test, y_pred):.2f}) print(fR²分数: {r2_score(y_test, y_pred):.2f}) # 可视化结果 plt.scatter(X_test[面积], y_test, colorblue, label实际值) plt.plot(X_test[面积], y_pred, colorred, linewidth2, label预测线) plt.xlabel(面积 (平方米)) plt.ylabel(价格 (元)) plt.legend() plt.show()这段代码会产生一个散点图显示数据点和回归线。关键输出包括斜率系数每增加1平方米房价的预期变化截距项面积为0时的基准价格理论值MSE预测误差的平方均值越小越好R²模型解释的方差比例0-1之间越接近1越好注意简单线性回归容易受到异常值影响。如果发现某些点明显偏离回归线可能需要检查数据质量或考虑稳健回归方法。3. 多元线性回归处理多个预测因子现实问题往往涉及多个影响因素。多元线性回归允许我们同时考虑面积、卧室数量和房龄对房价的综合影响。相比简单回归这能提供更全面的视角。模型扩展方程变为y β₀ β₁x₁ β₂x₂ β₃x₃ ... ε每个自变量都有对应的系数。# 使用所有特征训练模型 mlr LinearRegression() mlr.fit(X_train, y_train) # 输出各特征系数 features X.columns for feature, coef in zip(features, mlr.coef_): print(f{feature}的系数: {coef:.2f}) # 测试集预测与评估 y_pred mlr.predict(X_test) mlr_score r2_score(y_test, y_pred) print(f\n多元回归R²分数: {mlr_score:.2f}) # 与实际值对比 comparison pd.DataFrame({实际值: y_test, 预测值: y_pred, 残差: y_test-y_pred}) print(comparison.head(10))多元回归的关键优势在于能评估各变量的边际效应。从输出可以看到面积每增加1平方米价格预计上涨约300元保持其他因素不变每多一间卧室价格增加约9800元房龄每增加一年价格下降约1900元模型诊断除了R²还应检查残差是否随机分布。理想情况下残差不应呈现任何模式residuals y_test - y_pred plt.scatter(y_pred, residuals) plt.axhline(y0, colorr, linestyle--) plt.xlabel(预测值) plt.ylabel(残差) plt.title(残差分析图) plt.show()如果残差图显示漏斗形或曲线模式可能提示模型设定错误或需要变量转换。4. 多项式回归捕捉非线性关系当自变量和因变量之间的关系呈现曲线特征时多项式回归通过引入高阶项平方、立方等来增加模型灵活性。我们以芯片测试数据为例展示温度对失效时间的影响。核心思想将特征x转换为x²、x³等多项式特征然后用线性回归方法拟合。from sklearn.preprocessing import PolynomialFeatures # 生成非线性数据 np.random.seed(0) X np.sort(5 * np.random.rand(80, 1), axis0) y np.sin(X).ravel() np.random.normal(0, 0.1, X.shape[0]) # 创建多项式特征 poly PolynomialFeatures(degree3) X_poly poly.fit_transform(X) # 训练模型 poly_reg LinearRegression() poly_reg.fit(X_poly, y) # 预测与可视化 X_test np.linspace(0, 5, 100)[:, np.newaxis] X_test_poly poly.transform(X_test) y_pred poly_reg.predict(X_test_poly) plt.scatter(X, y, colorblue, label观测数据) plt.plot(X_test, y_pred, colorred, label三次多项式拟合) plt.xlabel(温度) plt.ylabel(失效时间) plt.legend() plt.show()关键参数degree控制多项式阶数。选择适当阶数很重要阶数过低会导致欠拟合无法捕捉数据模式阶数过高会导致过拟合对噪声敏感交叉验证确定最佳多项式次数的可靠方法from sklearn.pipeline import Pipeline from sklearn.model_selection import cross_val_score degrees [1, 2, 3, 4, 5] cv_scores [] for d in degrees: pipeline Pipeline([ (poly, PolynomialFeatures(degreed)), (reg, LinearRegression()) ]) scores cross_val_score(pipeline, X, y, scoringneg_mean_squared_error, cv5) cv_scores.append(-scores.mean()) plt.plot(degrees, cv_scores, markero) plt.xlabel(多项式次数) plt.ylabel(交叉验证MSE) plt.title(模型复杂度选择) plt.show()5. 逻辑回归解决分类问题虽然名为回归逻辑回归实际上是解决二分类问题的利器。它通过Sigmoid函数将线性组合映射到(0,1)区间解释为概率。我们使用银行客户数据预测是否开通定期存款。模型特点输出是事件发生的概率决策边界可以是线性的或通过特征工程变为非线性。from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report, confusion_matrix, roc_auc_score # 加载分类数据集此处使用模拟数据 X_clf np.random.randn(200, 2) y_clf (X_clf[:, 0] X_clf[:, 1] 0).astype(int) # 添加一些噪声 y_clf np.where(np.random.rand(200) 0.1, 1 - y_clf, y_clf) X_train_clf, X_test_clf, y_train_clf, y_test_clf train_test_split(X_clf, y_clf, test_size0.3) # 训练逻辑回归模型 logreg LogisticRegression() logreg.fit(X_train_clf, y_train_clf) # 预测与评估 y_pred_proba logreg.predict_proba(X_test_clf)[:, 1] y_pred logreg.predict(X_test_clf) print(classification_report(y_test_clf, y_pred)) print(fAUC分数: {roc_auc_score(y_test_clf, y_pred_proba):.2f}) # 可视化决策边界 xx, yy np.mgrid[-3:3:.01, -3:3:.01] grid np.c_[xx.ravel(), yy.ravel()] probs logreg.predict_proba(grid)[:, 1].reshape(xx.shape) plt.contourf(xx, yy, probs, levels[0, 0.5, 1], cmapRdBu, alpha0.5) plt.scatter(X_test_clf[:,0], X_test_clf[:,1], cy_test_clf, cmapRdBu) plt.colorbar() plt.title(逻辑回归决策边界) plt.show()评估分类模型的关键指标准确率正确分类的比例精确率与召回率针对正类的预测质量AUC-ROC模型区分能力的综合指标0.5表示随机猜测1表示完美分类特征工程可以通过多项式特征提升逻辑回归的表现poly PolynomialFeatures(degree2, interaction_onlyTrue) X_poly_clf poly.fit_transform(X_clf) X_train_poly, X_test_poly train_test_split(X_poly_clf, test_size0.3) logreg_poly LogisticRegression(C0.1) logreg_poly.fit(X_train_poly, y_train_clf) print(f多项式特征AUC: {roc_auc_score(y_test_clf, logreg_poly.predict_proba(X_test_poly)[:,1]):.2f})6. 正则化回归应对过拟合当特征数量较多或存在多重共线性时普通最小二乘回归可能不稳定。正则化技术通过惩罚大系数来提高模型泛化能力。主要分为L1正则Lasso和L2正则Ridge。比较三种回归方式方法正则化类型特点适用场景普通最小二乘无计算简单但可能过拟合特征少、样本多Ridge回归L2缩小但不消除系数多重共线性严重Lasso回归L1可将系数压缩至零特征选择from sklearn.linear_model import Ridge, Lasso from sklearn.preprocessing import StandardScaler # 标准化数据正则化对尺度敏感 scaler StandardScaler() X_scaled scaler.fit_transform(X) X_train_s, X_test_s train_test_split(X_scaled, test_size0.3) # 训练不同模型 models { OLS: LinearRegression(), Ridge (α1): Ridge(alpha1), Lasso (α0.1): Lasso(alpha0.1) } for name, model in models.items(): model.fit(X_train_s, y_train) score model.score(X_test_s, y_test) coef model.coef_ print(f{name} - R²: {score:.3f}, 系数: {np.round(coef, 2)})超参数调优正则化强度α的选择至关重要可通过交叉验证确定from sklearn.linear_model import LassoCV # Lasso路径分析 alphas np.logspace(-4, 0, 50) lasso_cv LassoCV(alphasalphas, cv5) lasso_cv.fit(X_scaled, y) plt.semilogx(lasso_cv.alphas_, lasso_cv.mse_path_.mean(axis1)) plt.axvline(lasso_cv.alpha_, colorred, linestyle--) plt.xlabel(α值) plt.ylabel(平均MSE) plt.title(Lasso交叉验证) plt.show()实际项目中正则化回归通常能带来更稳健的预测性能。特别是在特征工程生成大量特征后Lasso可以帮助自动选择重要特征。