Day 17神经网络入门MLP、激活函数、反向传播、优化器 目录神经网络概述感知机与多层感知机MLP激活函数详解前向传播与反向传播优化器与学习率过拟合与正则化第一部分神经网络概述1.1 什么是神经网络人工神经网络ANN是受生物神经系统启发而设计的计算模型由大量相互连接的神经元组成。生物神经元 vs 人工神经元生物神经元人工神经元树突接收信号输入x i x_ixi​细胞体处理加权和 激活函数轴突输出输出y yy突触连接强度权重w i w_iwi​1.2 神经网络的发展历程时间里程碑贡献者1958年感知机Rosenblatt1986年反向传播算法Rumelhart, Hinton2006年深度学习Hinton2012年AlexNetKrizhevsky2017年TransformerVaswani1.3 为什么需要神经网络传统机器学习 vs 神经网络特性传统ML神经网络特征工程需要手动构造自动学习特征非线性需核技巧天然非线性大数据性能饱和随数据增长可解释性较好较差第二部分感知机与多层感知机MLP2.1 单层感知机结构输入层 → 输出层无隐藏层数学形式y sign ( w 1 x 1 w 2 x 2 ⋯ w n x n b ) y \text{sign}(w_1x_1 w_2x_2 \dots w_nx_n b)ysign(w1​x1​w2​x2​⋯wn​xn​b)局限性只能解决线性可分问题如XOR问题无法解决2.2 多层感知机MLP结构输入层 → 隐藏层 → 输出层输入层 隐藏层 输出层 x₁ ────→ h₁ ────→ y₁ x₂ ────→ h₂ x₃ ────→ h₃ ...数学形式h f ( W ( 1 ) x b ( 1 ) ) h f(W^{(1)}x b^{(1)})hf(W(1)xb(1))y g ( W ( 2 ) h b ( 2 ) ) y g(W^{(2)}h b^{(2)})yg(W(2)hb(2))其中f ff和g gg是激活函数。2.3 MLP的表示能力万能近似定理一个具有足够神经元的单隐藏层MLP可以逼近任意连续函数。第三部分激活函数详解3.1 为什么需要激活函数没有激活函数多层线性变换等价于单层线性变换W 2 ( W 1 x b 1 ) b 2 W x b W_2(W_1xb_1)b_2 WxbW2​(W1​xb1​)b2​Wxb有了激活函数引入非线性可以学习复杂模式3.2 常用激活函数对比函数公式导数优点缺点Sigmoidσ ( x ) 1 1 e − x \sigma(x) \cfrac{1}{1e^{-x}}σ(x)1e−x1​σ ( x ) ( 1 − σ ( x ) ) \sigma(x)(1 - \sigma(x))σ(x)(1−σ(x))平滑输出[0,1]梯度消失非零中心Tanhtanh ⁡ ( x ) e x − e − x e x e − x \tanh(x) \cfrac{e^x - e^{-x}}{e^x e^{-x}}tanh(x)exe−xex−e−x​1 − tanh ⁡ 2 ( x ) 1 - \tanh^2(x)1−tanh2(x)输出[-1,1]零中心梯度消失ReLUReLU ( x ) max ⁡ ( 0 , x ) \text{ReLU}(x) \max(0, x)ReLU(x)max(0,x)0或1计算快缓解梯度消失神经元死亡Leaky ReLUmax ⁡ ( 0.01 x , x ) \max(0.01x, x)max(0.01x,x)0.01或1解决神经元死亡参数固定Softmaxe x i ∑ e x j \cfrac{e^{x_i}}{\sum e^{x_j}}∑exj​exi​​特殊输出概率多分类专用3.3 激活函数选择指南层类型推荐激活原因隐藏层ReLU计算快缓解梯度消失隐藏层备选Leaky ReLU, ELU解决神经元死亡输出层二分类Sigmoid输出概率输出层多分类Softmax输出概率分布输出层回归Linear输出连续值3.4 Sigmoid和Tanh的梯度消失问题# ReLU vs Sigmoid 梯度对比# Sigmoid在|x|3时梯度接近0# ReLU在x0时梯度1x0时梯度0第四部分前向传播与反向传播4.1 前向传播Forward Propagation过程输入 → 逐层计算 → 输出# 单层前向传播defforward_pass(X,W,b,activation):znp.dot(X,W)b aactivation(z)returna损失函数衡量预测与真实值的差距任务损失函数公式回归MSE$ L \frac{1}{n}\sum(y - \hat{y})^2 $二分类二元交叉熵$ L -[y\log\hat{y} (1 - y)\log(1 - \hat{y})] $多分类分类交叉熵$ L -\sum y_i\log\hat{y}_i $4.2 反向传播Backpropagation核心思想利用链式法则计算损失函数对每个参数的梯度。链式法则$ \frac{\partial L}{\partial w} \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial z} \cdot \frac{\partial z}{\partial w} $步骤计算输出层误差δ L \delta_LδL​逐层反向传播误差δ l δ l 1 ⋅ W l 1 T ⊙ σ ′ ( z l ) \delta_l \delta_{l1} \cdot W_{l1}^T \odot \sigma(z_l)δl​δl1​⋅Wl1T​⊙σ′(zl​)计算梯度∂ L ∂ W l a l − 1 T δ l \frac{\partial L}{\partial W_l} a_{l-1}^T \delta_l∂Wl​∂L​al−1T​δl​更新参数W l : W l − α ∂ L ∂ W l W_l : W_l - \alpha \frac{\partial L}{\partial W_l}Wl​:Wl​−α∂Wl​∂L​4.3 反向传播示例手算# 简化示例单隐藏层网络# 输入: x [x1, x2]# 隐藏层: h σ(W1·x b1)# 输出: y σ(W2·h b2)# 损失: L (y - y_true)²# 梯度计算:# dL/dW2 dL/dy * dy/dz2 * dz2/dW2# dL/dW1 dL/dy * dy/dz2 * dz2/dh * dh/dz1 * dz1/dW1第五部分优化器与学习率5.1 梯度下降变体优化器特点更新公式BGD使用全部样本$ \theta : \theta - \alpha \nabla J(\theta) $SGD每次一个样本快但不稳定Mini-batch每次一个batch速度和稳定性平衡5.2 自适应优化器优化器核心思想特点Momentum加入惯性加速收敛减少震荡RMSprop自适应学习率适合非平稳目标AdamMomentum RMSprop最常用默认选择AdamWAdam 权重衰减更好的正则化5.3 Adam优化器详解Adam (Adaptive Moment Estimation)一阶矩估计均值$ m_t \beta_1 m_{t-1} (1 - \beta_1) g_t $二阶矩估计未中心化方差$ v_t \beta_2 v_{t-1} (1 - \beta_2) g_t^2 $偏差校正后更新$ \theta_{t1} \theta_t - \alpha \frac{\hat{m}_t}{\sqrt{\hat{v}_t} \epsilon} $推荐配置$ \alpha 0.001 $学习率$ \beta_1 0.9 $$ \beta_2 0.999 $$ \epsilon 10^{-8} $5.4 学习率调度学习率衰减策略# 1. 阶梯衰减# 2. 指数衰减# 3. 余弦退火# 4. 循环学习率第六部分过拟合与正则化6.1 神经网络的过拟合原因模型参数远多于样本数训练时间过长网络结构过复杂6.2 正则化方法方法原理效果L1/L2正则化权重大小惩罚防止权重过大Dropout随机丢弃神经元集成效果早停验证集监控防止过度训练Batch Normalization层间标准化稳定训练数据增强增加训练样本提高泛化6.3 Dropout详解原理训练时以概率p pp随机丢弃神经元效果防止神经元共适应相当于训练多个子网络的集成Dropout比率通常取 0.2-0.56.4 Early Stoppingfromsklearn.neural_networkimportMLPClassifier# 使用早停mlpMLPClassifier(hidden_layer_sizes(100,50),early_stoppingTrue,validation_fraction0.1,n_iter_no_change10)