【数据挖掘】岭回归（Ridge Regression）和线性回归（Linear Regression）对比实验

news2025/7/18 23:20:11

这是一个非常实用的 岭回归（Ridge Regression）和线性回归（Linear Regression）对比实验，使用了 scikit-learn 中的 California Housing 数据集 来预测房价。

📦 第一步：导入必要的库

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

from sklearn.linear_model import Ridge, Lasso, LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.datasets import fetch_california_housing as fch

🔹 Ridge, Lasso, LinearRegression：三种回归模型
🔹 fetch_california_housing：加载加州房价数据集
🔹 train_test_split：划分训练集和测试集
🔹 matplotlib.pyplot：画图

🏠 第二步：加载数据并观察

house_value = fch()
X = pd.DataFrame(house_value.data)
y = house_value.target
X.columns = ["住户收入中位数", "房屋使用年代中位数", "平均房间数目", "平均卧室数目", "街区人口", "平均入住率", "街区垢纬度", "街区的经度"]

Xtmp = X.copy()
Xtmp['价格'] = y
display(Xtmp)

✅ 将数据转换为 DataFrame 并设置列名，更方便分析。
✅ display(Xtmp) 会在 Jupyter Notebook 中以表格形式展示数据。

✂️ 第三步：划分训练集和测试集

xtrain, xtest, ytrain, ytest = train_test_split(X, y, test_size=0.3, random_state=420)
for i in [xtrain, xtest]:
    i.index = range(i.shape[0])  # 重置索引，避免索引错乱

✅ 划分比例为 70% 训练 + 30% 测试
✅ 重置索引是个好习惯，有利于数据对齐

🧮 第四步：使用 Ridge 回归进行建模和评估

reg = Ridge(alpha=5).fit(xtrain, ytrain)
r2_score = reg.score(xtest, ytest)
print("r2:%.8f" % r2_score)

🔹 这里用岭回归拟合训练集，使用 alpha=5 作为正则化系数。
🔹 reg.score() 返回的是 R²（决定系数），衡量模型拟合效果，越接近 1 越好。

🔁 第五步：不同 alpha 下 Ridge 与普通线性回归对比

from sklearn.model_selection import cross_val_score
alpha_range = np.arange(1, 1001, 100)
ridge, lr = [], []

for alpha in alpha_range:
    reg = Ridge(alpha=alpha)
    linear = LinearRegression()
    
    # 用交叉验证评估两种模型的平均 R²
    regs = cross_val_score(reg, X, y, cv=5, scoring='r2').mean()
    linears = cross_val_score(linear, X, y, cv=5, scoring='r2').mean()
    
    ridge.append(regs)
    lr.append(linears)

🔍 cross_val_score：使用 5 折交叉验证，平均 R² 得分

ridge.append()：记录不同 alpha 下岭回归得分
lr.append()：记录普通线性回归得分（其实是一个水平线）

📈 第六步：可视化 Ridge 与 Linear 回归对比结果

plt.plot(alpha_range, ridge, c='red', label='Ridge')
plt.plot(alpha_range, lr, c='orange', label='LR')
plt.title('Mean')
plt.legend()
plt.ylabel('R2')
plt.show()

✅ 横轴是 alpha，纵轴是交叉验证 R²
✅ 岭回归的性能随着 alpha 变化，线性回归是常数线
✅ 可以直观对比正则化对模型的影响

📌 总结这个实验做了什么？

步骤	作用
加载数据	得到特征和标签
建立模型	使用岭回归拟合预测房价
模型评估	输出 R² 指数
交叉验证	比较岭回归与线性回归的表现随 alpha 变化的趋势
可视化	看不同 alpha 对 Ridge 的影响，并与线性回归对比

✅ 建议拓展方向

可以继续做这些改进：

加入标准化（StandardScaler）：防止特征量纲影响回归权重；
尝试 Lasso 回归：看看稀疏化是否会带来更优的模型；
绘制训练误差与测试误差对比图：分析是否过拟合；
使用 GridSearchCV 自动调参：找到最优 alpha。

以下是一个完整的房价预测回归分析代码，包含：

岭回归（Ridge）
Lasso 回归
普通线性回归
标准化处理（StandardScaler）
网格搜索调参（GridSearchCV）
模型评分比较
可视化对比

✅ 完整代码如下：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_california_housing
from sklearn.linear_model import Ridge, Lasso, LinearRegression
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split, GridSearchCV, cross_val_score

# 1. 加载数据
data = fetch_california_housing()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target

# 2. 数据划分
xtrain, xtest, ytrain, ytest = train_test_split(X, y, test_size=0.3, random_state=42)

# 3. 特征标准化
scaler = StandardScaler()
xtrain_scaled = scaler.fit_transform(xtrain)
xtest_scaled = scaler.transform(xtest)

# 4. 定义回归模型
models = {
    "LinearRegression": LinearRegression(),
    "Ridge": Ridge(),
    "Lasso": Lasso()
}

# 5. 设置超参数搜索空间
param_grid = {
    "Ridge": {"alpha": np.logspace(-3, 3, 20)},
    "Lasso": {"alpha": np.logspace(-3, 3, 20)}
}

# 6. 模型训练与调参
best_models = {}
for name, model in models.items():
    if name in param_grid:
        print(f"正在搜索最优参数：{name}")
        grid = GridSearchCV(model, param_grid[name], cv=5, scoring="r2")
        grid.fit(xtrain_scaled, ytrain)
        best_models[name] = grid.best_estimator_
        print(f"{name} 最佳 alpha: {grid.best_params_['alpha']:.4f}")
    else:
        model.fit(xtrain_scaled, ytrain)
        best_models[name] = model

# 7. 模型评估
print("\n模型性能对比（R² 得分）：")
for name, model in best_models.items():
    score = model.score(xtest_scaled, ytest)
    print(f"{name}: R² = {score:.4f}")

# 8. 可视化对比
r2_scores = [model.score(xtest_scaled, ytest) for model in best_models.values()]
model_names = list(best_models.keys())

plt.figure(figsize=(8, 5))
plt.bar(model_names, r2_scores, color=["orange", "red", "green"])
plt.ylabel("R²")
plt.title("不同回归模型性能对比")
for i, score in enumerate(r2_scores):
    plt.text(i, score + 0.01, f"{score:.4f}", ha='center')
plt.ylim(0, max(r2_scores) + 0.1)
plt.grid(True, linestyle='--', alpha=0.5)
plt.show()