文章目录前言一、输入数据训练从样本开始二、向前传播模型先算出一个预测结果三、先把第一个公式讲明白为什么会有 z Wx b四、只有线性计算还不够所以还需要激活函数1. ReLU2. Sigmoid五、预测结果模型先给出自己的答案六、损失函数模型怎么知道自己错了多少七、向后传播把误差信息从后往前传八、先把“梯度”这个概念具体化九、为什么误差要“从后往前传”十、参数更新模型真正“学会”的地方十一、下一轮训练为什么训练是一个循环十二、用一句话串起整张图写在最后提问前言上一篇文章里我用“让机器学会认出猫”的案例讲了什么是深度学习。但写完之后一个更关键的问题其实才刚刚开始模型到底是怎么学会这些规律的它不是人不会“看着看着就懂了”。那它到底是怎么从一开始什么都不会到最后慢慢变得越来越准的要理解这个过程就绕不开四个关键词向前传播损失函数向后传播参数更新这篇文章我就结合下面这张图把深度学习训练过程完整梳理一遍。如果只用一句话总结这张图我会这样说向前传播负责“先算出答案”损失函数负责“看错多少”向后传播负责“把错误往回传”参数更新负责“让模型下次更接近正确答案”。整套训练流程其实就是一个不断循环的闭环输入数据 → 向前传播 → 预测结果 → 损失函数 → 向后传播 → 参数更新 → 下一轮训练你可以先把这个主线记住。后面无论公式还是代码本质上都在围绕这个闭环展开。一、输入数据训练从样本开始深度学习训练的第一步不是公式也不是代码而是先有数据。模型不可能凭空学习。它必须先看到样本才能从中总结规律。比如在“认猫”的场景里输入数据可以是很多猫的图片 很多非猫的图片 每张图片对应的标签而在更一般的任务里输入数据也可以是文本 语音 表格数据 数值特征图里的“输入数据”其实是在强调一件非常基础但很重要的事模型学的不是概念本身而是数据里的模式。也就是说深度学习从来不是“先定义规则再执行”而是先给数据再让模型从数据里学二、向前传播模型先算出一个预测结果接下来进入第一步真正的计算过程向前传播Forward Propagation这个名字听起来很专业但如果换成更直白的话其实就是让输入数据从前往后走一遍网络最后算出一个预测结果。比如你把一组输入送进模型后它会一层一层往前计算最后输出一个结果是猫的概率 属于哪个类别 一个预测分数 一个生成结果所以向前传播的核心目标非常简单模型先猜一个答案出来。三、先把第一个公式讲明白为什么会有 z Wx b很多人一看到深度学习公式就紧张其实第一条公式没有那么可怕。最常见的形式就是我们先不要急着看符号先看它在表达什么。它其实只是在说输入*权重即模型会把输入乘上不同权重再加上一个偏置得到当前层的计算结果。你可以把它理解成x输入数据 W每个输入的重要程度也就是权重 b一个整体调整项也就是偏置 z这一层算出来的中间结果————下面是一个非常具体的小例子————这一步的直觉是什么这一步本质上是在做根据输入特征按不同重要程度加权打分。比如这里你可以粗略理解成耳朵特征贡献了 0.4 胡须特征贡献了 0.18 偏置再整体补了 0.1最后模型当前对“这是猫”这件事先打出了一个 0.68 的中间分数。所以 z Wx b 并不神秘它只是把输入特征做一次加权求和。四、只有线性计算还不够所以还需要激活函数如果网络每一层都只是简单做z Wx b那问题来了无论堆多少层本质上都还是线性计算。这样模型就学不会复杂模式所以神经网络里还要再加一个关键角色激活函数Activation Function它的作用可以先简单理解成给模型加入非线性能力模型不只是机械加权而是能够表达更复杂的关系。————最常见的两个激活函数————1. ReLU公式是这是什么意思很简单···如果输入是负数就变成 0如果输入是正数就原样保留例如ReLU(-2) 0ReLU(3) 3它的好处是简单、有效所以在隐藏层里非常常见。2. Sigmoid公式是​这个公式看起来复杂一点但你不用先记形式先记作用它会把一个数压缩到 0 到 1 之间。比如很大的正数 → 接近 1很大的负数 → 接近 0中间值 → 落在 0 到 1 之间所以它特别适合做“概率输出”。比如刚刚我们算出来如果通过 sigmoid结果会变成一个 0 到 1 之间的值比如大约 0.66 左右。这时你就可以把它解释成模型认为“这是猫”的概率大约是 66%。五、预测结果模型先给出自己的答案经过向前传播以后模型就会先给出一个预测值。比如真实标签y 1表示“这就是猫”模型预测值\hat{y} 0.66a这时候模型已经完成了一件事它先给出了自己的判断。注意这个判断可能是对的也可能是错的。但无论如何它必须先给出一个答案后面才能知道自己错了多少。六、损失函数模型怎么知道自己错了多少有了预测值之后下一步就是把预测值和真实值进行比较。这时候就要用到损失函数Loss Function。损失函数的作用非常好理解它用来衡量模型这次预测错了多少。你可以把它想成一次考试后的“扣分机制”如果模型预测得很接近真实答案损失就小如果模型偏得很远损失就大——最简单的理解方式——那模型虽然方向没错但还不够准它离真正的 1 还有差距。这个差距就会通过损失函数被量化出来。你现在不需要先把所有损失函数公式背下来只要先抓住一句话损失函数负责把“模型错了多少”变成一个可以计算的数。这一步特别关键因为它是向前传播和向后传播之间的桥梁。七、向后传播把误差信息从后往前传现在模型已经知道自己错了,但仅仅知道“错了”还不够。更关键的问题是到底是哪些参数导致它错了这些参数应该往哪个方向改这时就轮到向后传播Backward Propagation出场了。你可以先把向后传播理解成把“错了多少”这个信息从输出层一层层往回传。它的目标不是重新算一遍答案而是找出哪些参数影响了最终结果每个参数应该改多少八、先把“梯度”这个概念具体化很多人一听反向传播就会被“梯度”吓到。其实你可以先把梯度理解成一句很朴素的话如果我把某个参数改一点点损失会变大还是变小如果某个参数稍微增大会让损失明显变大说明这个方向不对。如果某个参数稍微调整会让损失变小说明这个参数可以往这个方向改。这就是梯度想表达的核心含义。所以反向传播其实就是在回答每个参数对错误负责多少九、为什么误差要“从后往前传”因为最终的损失是在输出层才算出来的。也就是说先有输出再有预测误差所以误差信息必须从最后一层开始往回传这也是“向后传播”这个名字的来源它不是随便倒着算而是在做一件非常具体的事沿着网络的反方向把误差一层层传回去再逐层计算各参数的梯度。如果你后面要继续深入数学这里就会自然接到链式法则。不过在这篇科普里你先记住直觉就够了反向传播 从结果出发反过来找每一层该怎么改。十、参数更新模型真正“学会”的地方向后传播算出梯度之后下一步就是参数更新。这一部分才真正对应“学习”这件事:因为模型所谓的“会了”本质上不是它突然理解了世界而是它内部的参数被一点一点调得更适合当前任务。这一步的直觉非常重要参数更新就是沿着“让损失变小”的方向去调参数。你可以把学习率 理解成“步子大小”步子太大可能会跨过最优点步子太小训练会特别慢所以训练过程并不是一次就成功而是很多轮“小步调整”的累积。十一、下一轮训练为什么训练是一个循环参数更新完之后训练不会立刻结束。模型会带着“更新后的参数”重新进入下一轮再跑一次向前传播 再算一次预测 再计算一次损失 再做一次向后传播 再更新一次参数于是这就构成了一个完整闭环输入数据 → 向前传播 → 预测结果 → 损失函数 → 向后传播 → 参数更新 → 下一轮训练这也是为什么深度学习训练不是一次性过程而是一个不断重复的循环。你可以把它理解成模型并不是一下子学会而是在“先预测—再纠错—再调整”的循环里慢慢逼近更好的结果。十二、用一句话串起整张图现在我们再回头看这张图它其实想表达的就是这件事输入数据进入模型向前传播先算出预测结果损失函数计算模型错了多少向后传播把误差信息往回传参数更新让模型下一次更接近正确答案整个过程不断循环模型就慢慢学会了规律所以如果让我把整张图压缩成一句话我会这样总结向前传播负责算结果损失函数负责量化错误向后传播负责找出哪里该改参数更新负责让模型下一次更准。写在最后到这里其实你已经抓住了深度学习训练最核心的闭环。很多人一开始学深度学习会被大量术语吓到前向传播反向传播梯度损失函数参数更新但如果把它们放回训练流程里看本质并不神秘先猜一个答案再看错了多少然后根据错误去调整自己。这就是深度学习训练过程最核心的逻辑。提问为什么神经网络里一定要有激活函数如果只有线性计算多层网络为什么学不出复杂模式