知识点回顾:
- PyTorch和cuda的安装
- 查看显卡信息的命令行命令(cmd中使用)
- cuda的检查
- 简单神经网络的流程
- 数据预处理(归一化、转换成张量)
- 模型的定义
- 继承nn.Module类
- 定义每一个层
- 定义前向传播流程
- 定义损失函数和优化器
- 定义训练流程
- 可视化loss过程
预处理补充:
注意事项:
1. 分类任务中,若标签是整数(如 0/1/2 类别),需转为long类型(对应 PyTorch 的torch.long),否则交叉熵损失函数会报错
2. 回归任务中,标签需转为float类型(如torch.float32)
作业:今日的代码,要做到能够手敲。这已经是最简单最基础的版本了
PyTorch这个专门用于深度学习的包,就跟之前的库一样的安装就好,至于cuda,英伟达的gpu可以装这个,不是的话装个cpu版的PyTorch就行了,要用gpu上云服务器就好。cpu和gpu区别就是:
- cpu是1个博士生,能够完成复杂的计算,串行能力强
- gpu是100个小学生,能够完成简单的计算,人多计算的快
显卡信息和cuda的检查就不说了,反正今天也没用上,直接用鸢尾花数据集通过一个全连接的神经网络训练走一下流程
今天用到的库
import pandas as pd
import numpy as np
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import MinMaxScaler
from sklearn.ensemble import RandomForestClassifier
import torch # PyTorch 的基础库,提供张量(Tensor)操作和基本数学计算功能
import torch.nn as nn # PyTorch 的神经网络模块,提供预定义的层、损失函数和模型容器,模型构建的基类(nn.Module,所有自定义模型需继承此类)
import torch.optim as optim # 提供优化算法,用于更新模型参数(如梯度下降)
import matplotlib.pyplot as plt
1、数据预处理
# 加载鸢尾花数据集
iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['target'] = iris.target # 添加目标列(0-2类:山鸢尾、杂色鸢尾、维吉尼亚鸢尾)
# 特征与目标变量
features = iris.feature_names # 4个特征:花萼长度、花萼宽度、花瓣长度、花瓣宽度
target = 'target' # 目标列名
# 划分训练集与测试集
X_train, X_test, y_train, y_test = train_test_split(
df[features], df[target], test_size=0.2, random_state=42
)
# 归一化数据,神经网络对于输入数据的尺寸敏感,归一化是最常见的处理方式
scaler = MinMaxScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test) #确保训练集和测试集是相同的缩放
# 将数据转换为 PyTorch 张量,因为 PyTorch 使用张量进行训练
X_train = torch.FloatTensor(X_train)
X_test = torch.FloatTensor(X_test)
y_train = torch.LongTensor(y_train)
y_test = torch.LongTensor(y_test.to_numpy()) # 不知道为什么就这一句要报错,奇怪,说不能直接转换series,改成numpy数组形式就可以了
2、定义一个神经网络
class MLP(nn.Module): # 定义一个多层感知机(MLP)模型,继承父类nn.Module
def __init__(self): # 初始化函数
super().__init__() # 调用父类的初始化函数
# 前三行是八股文,后面的是自定义的
self.fc1 = nn.Linear(4, 10) # nn.Linear全连接层(线性变换),输入层到隐藏层,4维输入 → 10维输出
self.relu = nn.ReLU() # 激活函数,引入非线性
self.fc2 = nn.Linear(10, 3) # 隐藏层到输出层,10维输入 → 3维输出
# 输出层不需要激活函数,因为后面会用到交叉熵函数cross_entropy,交叉熵函数内部有softmax函数,会把输出转化为概率
def forward(self, x): # 前向传播,定义了数据如何流过网络
out = self.fc1(x)
out = self.relu(out)
out = self.fc2(out)
return out
# 实例化模型
model = MLP()
3、定义一下训练用的损失函数和优化器
# 分类问题使用交叉熵损失函数
criterion = nn.CrossEntropyLoss()
# 使用自适应学习率优化器,第一个参数表明传入模型的所有参数
optimizer = optim.Adam(model.parameters(), lr=0.01)
4、训练
# 训练模型
num_epochs = 400 # 训练的轮数
# 用于存储每个 epoch 的损失值,用于后续绘制训练曲线
losses = []
for epoch in range(num_epochs): # range是从0开始,所以epoch是从0开始
# 前向传播
outputs = model.forward(X_train) # 显式调用forward函数
# outputs = model(X_train) # 常见写法隐式调用forward函数,其实是用了model类的__call__方法
loss = criterion(outputs, y_train) # output是模型预测值,y_train是真实标签
# 反向传播和优化
optimizer.zero_grad() #梯度清零,因为PyTorch会累积梯度,所以每次迭代需要清零,梯度累计是那种小的bitchsize模拟大的bitchsize
loss.backward() # 反向传播计算梯度
optimizer.step() # 更新参数
# 记录损失值
losses.append(loss.item()) # loss.item() 将单值张量转为 Python 的 float 或 int,才能添加到列表里面
# 打印训练信息
if (epoch + 1) % 20 == 0: # range是从0开始,所以epoch+1是从当前epoch开始,每20个epoch打印一次
print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}')
Epoch [20/400], Loss: 0.0594
Epoch [40/400], Loss: 0.0547
Epoch [60/400], Loss: 0.0519
Epoch [80/400], Loss: 0.0502
Epoch [100/400], Loss: 0.0490
Epoch [120/400], Loss: 0.0482
Epoch [140/400], Loss: 0.0477
Epoch [160/400], Loss: 0.0473
Epoch [180/400], Loss: 0.0471
Epoch [200/400], Loss: 0.0469
Epoch [220/400], Loss: 0.0468
Epoch [240/400], Loss: 0.0467
Epoch [260/400], Loss: 0.0467
Epoch [280/400], Loss: 0.0466
Epoch [300/400], Loss: 0.0466
Epoch [320/400], Loss: 0.0466
Epoch [340/400], Loss: 0.0466
Epoch [360/400], Loss: 0.0466
Epoch [380/400], Loss: 0.0466
Epoch [400/400], Loss: 0.0466
看得出来loss到后面已经稳定了,说明实现了收敛,可以画图看看
5、可视化loss曲线
plt.plot(range(num_epoch), looses)
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.title('Training Loss over Epochs')
plt.show()
@浙大疏锦行