引言不知道有没有和我当初一样的朋友刚接触深度学习的时候信心满满翻开《深度学习》花书刚看了两章神经元满页的偏导、矩阵乘法直接给我干懵了。合上书脑子里就一个想法神经网络这玩意儿是不是给天才准备的我这种普通人是不是学不会后来被逼着我从0写一个简单的全连接神经网络做手写数字识别写完调通跑通准确率出来那一瞬间我突然发现原来神经网络的原理根本没那么复杂所有复杂的推导本质上都是为了支撑几个非常简单的核心逻辑。这篇文章是我当初整理的原始笔记把所有复杂的概念都拆成了普通人能懂的类比跳过晦涩的纯推导先把核心逻辑讲透适合新手快速建立对神经网络的整体认知看完你就能说清楚神经网络到底是怎么干活的。文章比较长建议收藏慢慢看肯定比你啃三天干巴巴的教材有用。一、先搞懂背景神经网络到底是为了解决什么问题很多新手上来直接啃原理连为什么需要神经网络都没搞懂看了半天也不知道学了干嘛我当时走了这个坑所以先把背景说清楚。1.1 从传统机器学习的痛点说起在神经网络火起来之前我们解决AI任务用的是传统机器学习算法比如SVM、决策树、随机森林这些。这些算法解决简单问题没问题但遇到复杂任务就暴露了一个致命缺点需要人工做特征工程。什么叫人工特征工程举个例子你要做一个识别图片里有没有猫的模型用传统算法的话你得手动告诉模型猫长什么样。你要写规则猫有两只尖耳朵、有胡须、体型大多是椭圆形、毛色有很多种… 就算你写一百条规则遇到一个歪脖子睡觉的猫、只露出半个身子的猫规则立马就失效了。更复杂的任务呢比如让模型翻译一段话你能手动写出所有语义、语法的规则吗根本不可能人类语言太灵活了规则永远写不完。那神经网络呢它最大的优势就是不需要人工特征工程。你不用告诉它猫长什么样你只要把几十万张带标签的猫和狗的图片喂给它它自己会从数据里学到猫的特征自己总结规则越复杂的任务这个优势越明显。1.2 神经网络的起源从仿生学开始的半个世纪脑洞神经网络不是最近十年才出来的它的历史比很多人想的久多了整个发展脉络其实很有意思1943年心理学家McCulloch和数学家Pitts一起模仿生物神经元的工作方式提出了世界上第一个人工神经元模型这就是所有神经网络的祖宗。核心逻辑就是生物神经元收到信号累计到阈值就激活传给下一个神经元人工神经元就把这个过程数学化了。1958年科学家罗森布拉特提出了「感知机」这是第一个可以自动学习权重的神经网络当时火了一阵大家都觉得AI马上就要实现了结果很快发现感知机连最简单的异或问题都解决不了直接给神经网络泼了一盆冷水凉了快二十年。1986年反向传播算法被重新整理推广解决了多层神经网络的训练问题神经网络又火了一阵但当时计算能力不够数据也少深层网络训不动所以还是没有大规模应用。2012年AlexNet在ImageNet图像分类比赛里把传统算法的准确率直接甩出了十几个百分点一举夺冠神经网络彻底火了加上GPU计算能力的提升海量数据的积累就发展成了现在我们说的深度学习。说白了神经网络就是一个模仿人类神经元连接方式自动从数据里学习规律的统计模型没有什么玄乎的黑科技本质就是喂数据学规律做预测。1.3 为什么新手必须先搞懂基础神经网络原理现在打开任何AI平台铺天盖地都是GPT、Transformer、扩散模型、多模态大模型很多新手上来就说我要学大模型基础神经网络还有必要学吗我可以很明确的说太有必要了。不管是CNN做图像RNN做序列还是Transformer做GPT核心的工作原理从来没变过都是前向传播算预测反向传播调权重梯度下降降误差。基础原理搞懂了你学任何新的网络结构都是换汤不换药半个月就能摸到门道基础不牢你学大模型只会背“自注意力”“残差连接”这些名词遇到问题根本不知道怎么调找工作面试一问原理就露馅。所以别着急跳级把基础打牢后面走的才快。二、从0开始拆解单个神经元到底是怎么工作的很多新手上来就看多层神经网络越看越懵其实所有复杂的神经网络都是一个个单个神经元堆起来的把单个神经元搞懂了多层就是重复计算一点都不难。2.1 用通俗类比讲透单个神经元的结构人工神经元就是模仿生物神经元做的我们用生活中的例子对应每个部分看完你绝对能记住输入信号对应生物神经元树突接收到的信号放到AI任务里就是我们的原始数据。比如你识别图片输入就是每个像素的数值你判断垃圾邮件输入就是每个词是否出现的标记。权重Weight就是每个输入信号的重要程度。比如判断垃圾邮件输入里“中奖”“转账”这两个词对判断垃圾邮件的贡献特别大所以它们的权重就很高“的”“这个”这种常用词对判断没什么用权重就很低。偏置Bias就是神经元激活的门槛。你可以理解成找工作的学历门槛要求本科及以上这个“本科”就是偏置没达到就不激活不输出信号。激活函数Activation Function就是决定要不要把这个信号传给下一个神经元。累计完输入信号之后超过门槛我就激活把信号传出去没超过就不激活或者只传很小的信号。输出对应生物神经元轴突传出去的信号就是这个神经元处理完的最终结果传给下一层的神经元继续处理。把这些用数学写出来其实就一个公式yf(W⋅Xb) y f(W \cdot X b)yf(W⋅Xb)翻译成人话就是神经元输出 激活函数(所有输入乘以对应权重再加偏置)就这么简单没有任何复杂的东西。我们举个生活中真实的例子你瞬间就能懂现在你要决定周末要不要去户外打球两个输入x1今天出不出太阳出就是1不出就是0权重w10.6出太阳对打球很重要x2今天你有没有空有空就是1没空就是0权重w20.6有空也很重要偏置b-0.8也就是两个条件都满足才够门槛激活函数用最常用的ReLU小于0输出0大于0输出本身那我们算一下如果今天出太阳你也有空输出 max(0, 0.6*1 0.6*1 - 0.8) 0.4输出大于0激活所以决定去打球。如果今天出太阳你没空输出 max(0, 0.6*1 0.6*0 - 0.8) -0.2输出0不激活不去。如果今天不出太阳你有空结果和上面一样还是不去。完美整个逻辑通顺和人做判断的过程一模一样你看单个神经元是不是就是这么简单2.2 激活函数为什么一定要加这一步很多新手这里卡壳我直接输出加权和不行吗为什么非要加个激活函数核心原因只有一句话激活函数给神经网络引入了非线性让它可以拟合复杂的规律。如果没有激活函数不管你堆多少层神经网络最后本质上还是一个线性变换说白了就是只能用一条直线或者高维空间的超平面分类只能解决线性可分的简单问题。而我们遇到的大部分任务都是非线性的比如我们后面要说的异或问题一条直线根本分不了两类必须用曲线激活函数就是给神经网络画曲线的能力没有它多少层都没用。现在常用的激活函数新手只要记住这三个就够了都是一句话就能讲清楚Sigmoid把输出压缩到0~1之间很像概率适合二分类任务的输出层。缺点是输入太大或太小的时候梯度会变得接近0也就是常说的梯度消失深层网络会训不动所以现在隐藏层基本不用它了。ReLU现在隐藏层用的最多的激活函数公式就是max(0, x)小于0就输出0大于0就输出本身计算超级简单还不容易梯度消失所以从提出来到现在一直是隐藏层的首选。Softmax多分类任务输出层的标配把多个输出压缩到0~1之间所有输出加起来等于1刚好对应每个类别的概率比如手写数字识别10个输出每个输出就是这个图片是对应数字的概率非常好用。2.3 从神经元到感知机最简单的神经网络原来长这样把多个输入神经元接到一个输出神经元就成了感知机也就是世界上最简单的单层神经网络。感知机可以自动学习权重和偏置能解决所有线性可分的分类问题但是它有一个致命缺陷解决不了异或问题为什么异或问题的规则很简单两个输入相同输出0不同输出1我们把四个点画在坐标系上(0,0)输出0(0,1)输出1(1,0)输出1(1,1)输出0你现在拿笔试试能不能画一条直线把输出0的两个点和输出1的两个点分开你试多少次都不行对不对因为异或问题本身就不是线性可分的感知机本质就是线性分类器所以肯定解决不了。那怎么解决加层加隐藏层变成多层神经网络就可以解决非线性问题了。三、多层神经网络核心前向传播和反向传播到底在干啥这部分是整个神经网络原理的核心也是90%的新手卡壳的地方我不会上来就堆链式法则的推导先讲逻辑再举例子最后说数学保证你能懂。3.1 多层神经网络的结构三层就够讲清楚所有逻辑我们今天讲最基础的全连接前馈神经网络也是所有神经网络的基础结构超级清晰一共就三层输入层放我们的原始输入数据有多少个输入特征就有多少个神经元比如手写数字是28*28的图片一共784个像素输入层就有784个神经元输入层不需要计算只要把数据传进去就行。隐藏层就是输入层和输出层中间的所有层可以有1层也可以有100层所有的特征提取、特征转换都在这里做每个神经元都按照我们刚才说的单个神经元的规则计算把结果传给下一层。因为这一层的结果我们看不到所以叫隐藏层。输出层最后输出我们要的结果分类任务输出类别概率回归任务输出预测数值就这么简单。全连接的意思就是上一层的每个神经元都和下一层的所有神经元相连每个连接都有一个独立的权重结构就是这么简单没有任何玄乎的地方。3.2 前向传播从输入到输出神经网络是怎么得到预测结果的前向传播这个词听起来高级其实超级直白就是数据从输入层进去按照输入→隐藏→输出的顺序每个神经元依次做计算把结果一步步传到输出层最后得到预测结果这个从头到尾走一遍的过程就是前向传播。我们还是拿最经典的MNIST手写数字识别举例子完整走一遍前向传播你看完就懂了我们要识别一张手写数字3的图片网络结构是784个输入神经元→128个隐藏神经元→10个输出神经元对应0~9十个数字。输入层把784个像素的数值0~1之间越接近1颜色越深传给隐藏层的128个神经元。隐藏层每个隐藏神经元都计算一次激活函数(784个输入×对应权重 偏置)得到自己的输出然后把这个输出传给输出层的10个神经元。128个隐藏神经元就算128次就完了。输出层每个输出神经元接128个隐藏层的输出同样计算加权和加偏置最后用Softmax把10个输出转成概率每个概率就是这张图片是对应数字的可能性。比如输出神经元3的概率是0.92其他都低于0.02那神经网络就预测这张图片是数字3。你看整个过程就是单个神经元计算的重复从前往后走一遍就完了我当初刚学的时候以为前向传播是什么高级概念原来就是从头到尾算一遍名字起的玄乎而已。3.3 反向传播错了就改从后往前改核心就一句话反向传播是新手最害怕的概念我当初看到这四个字就头大其实反向传播的核心逻辑超级简单一句话就能说清楚前向传播得到了预测结果和真实标签比有误差我们要算出每个权重对这个误差贡献了多少然后从输出层往输入层走一步步把所有权重都往减小误差的方向调整就完了。还是用刚才的手写数字例子说那张图片真实就是数字3要是神经网络预测3的概率是0.92误差就很小不用怎么调要是它预测5的概率是0.8误差就很大就要调权重过程是这样的第一步先算输出层每个权重对这个误差的影响有多大数学上就是误差对这个权重的偏导数也叫梯度影响越大调的幅度就越大。第二步再算隐藏层每个权重对输出层误差的贡献是多少同样算出每个权重的梯度——因为隐藏层的输出影响输出层的输入所以隐藏层权重也会影响最终误差要一层层倒推。第三步每个权重都往梯度反方向走一步新的权重就能让误差变小一点。那为什么要用链式法则本质就是为了倒推梯度啊误差在输出层你要算隐藏层权重对误差的梯度就得从输出层往回链式拆解一层一层算过去没有别的魔法就是一个计算梯度的方法而已。我当初学的时候背了快一周反向传播的推导还是记不住后来自己写代码实现了一遍才发现逻辑根本不用背错了就改从后往前改每个改多少按贡献来就这么简单推导只是把这个过程用数学写出来而已新手先把逻辑搞懂推导需要的时候再看也完全不迟。3.4 梯度下降调权重为什么要这么调梯度下降也是新手经常搞混的概念其实一句话就能说清楚梯度就是误差对权重的导数导数告诉我们两件事权重变一点点误差会变多少往哪个方向变误差会变大。梯度下降就是说既然梯度方向是误差上升最快的方向那我往反方向走不就是误差下降最快的方向吗所以每次我都走一小步走的次数多了误差自然就降到最低得到最优的权重。这里还有个核心概念叫学习率就是每次走的步长步长太大一下就跳过了误差的最低点永远降不下去步长太小走半天走不到最低点训练速度太慢所以要选合适的学习率现在都有自动调整学习率的方法不用新手手动调但你要知道这个概念是什么意思。3.5 从头到尾走一遍完整训练流程看完绝对通我现在把整个神经网络训练的完整流程用手写数字识别的例子从头到尾走一遍你看完就能对整个过程有清晰的认知初始化我们定好网络结构784输入→128隐藏→10输出给所有权重和偏置赋一个初始的随机小值。选样本从6万张训练图片里随机抽100张这100张就是一个批次batch size就是100。前向传播把100张图片依次输入网络每个都算出预测概率得到100个预测结果。算误差把100个预测结果和真实标签对比算出总的误差我们一般用交叉熵损失就是衡量预测和真实差多少的指标。反向传播从输出层往回算算出每个权重和偏置的梯度也就是对误差的贡献。更新权重用梯度下降法每个权重减去「梯度×学习率」把所有的权重偏置都更新一遍。循环重复步骤2到6几千次几万次误差会越来越小训练集上的准确率越来越高。测试拿训练好的网络测一万张没见过的测试图片看准确率有多高整个训练就完成了。我当初刚学的时候不用PyTorch、TensorFlow纯用numpy写这个完整流程一共才150行代码跑了10个epoch就是把整个训练集过10遍最终测试准确率就到97%了当时那种成就感真的无法形容原来神经网络真的就是这么工作的一点都不神秘。四、训练神经网络的核心概念新手必须搞懂的几个坑讲完核心流程我再把新手经常搞混的几个核心概念用通俗话讲清楚帮你避坑。4.1 学习率、Batch Size、Epoch到底是什么这三个词是你看教程、跑代码每天都会遇到的很多新手学了好久都没搞清楚一句话区分Epoch把整个训练集的所有样本都过一遍就是一个Epoch。比如我们MNIST训练集有6万张把6万张都学了一遍就是一个Epoch一般训练要跑几个到几十个Epoch让网络充分学习。Batch Size每次更新权重之前一次性喂给网络的样本数量。刚才我们一次喂100张Batch Size就是100。为什么不一次喂完6万张一是6万张一起算内存放不下计算量太大二是一次喂一张梯度波动太大不稳定。所以现在一般用小批量就是32、64、128这样的大小兼顾计算速度和稳定性。学习率就是每次更新权重的步长刚才已经说过了一般初始设0.001或者0.01记住学习率不对网络根本训不出来。4.2 欠拟合和过拟合怎么判断怎么解决这两个是训练神经网络最常见的问题用类比一下子就能懂欠拟合就是网络学的不够训练集上准确率都很低误差降不下去相当于老师讲题你还没听懂上考场肯定考不好。解决方法很简单多训练几轮或者增加网络的复杂度加层、加神经元数量。过拟合这个是最常见的就是网络学的太“过”了把训练集里的噪音、特殊情况都当成规律学了训练集准确率特别高但是测试集没见过的样本准确率很低。相当于你考试前把往年真题的答案都背下来了换一道同知识点的新题你就不会泛化能力差。解决过拟合的方法新手记住这四个就够了Dropout训练的时候随机让一部分神经元不工作不让网络依赖某几个神经元的输出强迫它学到更通用的规律就像你训练做题的时候故意遮住几个知识点让你不能依赖某个知识点要整体理解。正则化给损失函数加一个惩罚项让权重不要太大避免网络对个别输入太敏感常用的是L2正则化。增加训练数据这个是最根本的更多的训练数据就能让网络学到更通用的规律减少过拟合。早停训练的时候每过一个Epoch就在验证集上测一次误差如果验证集误差连续好几轮不下降了就停止训练避免继续训练学进去太多噪音。4.3 为什么深层神经网络比浅层好深度真的是力量吗很多人都听过一个定理通用近似定理说一个足够宽的单层隐藏层神经网络可以拟合任意连续函数那为什么我们现在要搞几十层、上百层的深层神经网络其实这个问题很好理解定理说的没错但是那需要的神经元数量是爆炸级的参数多到根本训练不动内存都装不下。而深层神经网络有一个巨大的优势分层提取特征参数效率更高。比如你用深层神经网络识别猫第一层提取简单的边缘特征第二层把边缘组合成形状耳朵、眼睛、鼻子第三层把形状组合成猫的各个部位第四层就得到整个猫的轮廓一层层抽象用很少的参数就能表达很复杂的规律同样的参数数量深层网络的效果比浅层好太多了这就是深度学习为什么这么强的核心原因。五、新手学习神经网络常见的3个误区我踩过你别踩这都是我当初学的时候实打实踩过的坑写出来给你避开5.1 误区一必须先把所有数学推导都搞懂才能动手我刚学的时候就是这个误区啃了半个月反向传播的推导还是云里雾里什么代码都不会写后来导师跟我说你先写个简单的跑通再回头看推导一下子就懂了真的是这样。对于新手来说先搞懂核心逻辑动手跑通一个简单的例子比背会所有推导有用一万倍。你跑通了知道每个步骤对应什么过程再看推导每个符号代表什么你都清楚一下子就理解了完全不用一开始就死磕数学纯浪费时间还打击信心。5.2 误区二神经网络是黑箱我只要会调包就行不用懂原理现在很多新手学深度学习上来就是PyTorch搭模型调包跑跑出来结果就完了根本不懂原理遇到问题根本不会调。比如训出来准确率上不去不知道是学习率不对还是过拟合还是梯度消失只会瞎试参数试半个月都试不出来。懂原理你一看误差曲线就知道问题出在哪该调什么效率高太多了而且找工作面试的时候一问原理就露馅所以基础原理必须懂不能只会调包。5.3 误区三上来就学Transformer、GPT跳过基础全连接现在大模型火很多新手上来就说我要学GPT不学基础其实所有的神经网络不管多复杂核心原理都是相通的全连接网络是基础把全连接的原理搞懂了学CNN就是改了连接方式学Transformer就是加了自注意力机制核心的前向传播、反向传播、梯度下降从来没变过半个月就能上手。基础不牢你学Transformer只会背名词根本不知道为什么要加残差连接为什么要层归一化遇到问题根本改不了所以一定要从基础来慢慢来才是最快的。六、总结神经网络工作原理核心梳理最后我把核心点梳理一遍你看完可以对着复盘快速记住整个逻辑神经网络本质是模仿生物神经元的工作方式用多层神经元层层提取特征自动从数据中学习规律不需要人工特征工程适合处理复杂的AI任务。单个神经元的计算非常简单输出 激活函数(输入加权和 偏置)激活函数引入非线性让神经网络可以拟合复杂的规律。整个神经网络的训练过程分为两个核心步骤前向传播数据从输入到输出层层计算得到预测结果。反向传播计算预测和真实的误差从输出往输入层层推导每个权重的梯度然后用梯度下降更新权重减小误差。训练就是不断重复「前向传播→算误差→反向传播→更新权重」的过程循环多次误差越来越小网络的预测越来越准。新手学习不用死磕推导先懂逻辑动手跑通例子再逐步深入避开常见误区就能快速入门。这篇差不多是我当初学神经网络整个过程的梳理从最开始的一头雾水到后来搞懂最大的感悟就是神经网络真的没那么难很多时候是被教材里的一堆公式给吓住了拆解开每个步骤都非常简单。。