1. 向量链式法则① 例子1是一个线性回归的例子如下图所示。内积是一个标量相当于对标量求导标量对行向量求导结果还是行向量这时X是一个矩阵这里统一采用分子布局分子布局和分母布局只差一个转置。I为单位矩阵2. 自动求导3. 计算图MXNet 框架的符号式编程代码主要用于定义计算图4. 两种模型① b是之前计算的结果是一个已知的值。5. 复杂度6. 自动求导① 假设想对函数关于列向量x求导。import torch x torch.arange(4.0) xtensor([0., 1., 2., 3.])② 在外面计算y关于x的梯度之前需要一个地方来存储梯度。场景requires_grad设置模型参数权重、偏置True输入数据图像、文本False默认标签False特征提取时冻结某些层设为False停止梯度相关操作python# 查看是否需要梯度 print(w.requires_grad) # True # 修改是否需要梯度 w.requires_grad False # 在不需要梯度时临时关闭加快计算、节省内存 with torch.no_grad(): y model(x) # 这里不会计算梯度一句话总结requires_gradTrue就是告诉 PyTorch“这个张量是需要学习的参数请记录它的操作以便后面计算梯度、更新它。”import torch x torch.arange(4.0) x.requires_grad_(True) # 等价于 x torch.arange(4.0,requires_gradTrue) print(x.grad) # 默认为NoneNoneimport torch x torch.arange(4.0,requires_gradTrue) print(x.grad) # x.grad是存梯度的地方默认为None即还没有求导求出梯度出来None③ 现在计算y。import torch x torch.arange(4.0,requires_gradTrue) y 2 * torch.dot(x,x) print(y) # grad_fn是隐式的构造了梯度函数 tensor(28., grad_fnMulBackward0)当你执行torch.dot(x,x)时PyTorch 不仅算了点积还在背后悄悄做了两件事记录了计算图谁是谁的输入给结果张量贴上一个标签grad_fn注明“我是通过乘法得到的”grad_fnMulBackward0的含义部分含义Mul乘法操作MultiplicationBackward这个函数知道如何进行反向传播0编号区分多个相同操作合起来就是“这个张量是由一个乘法操作产生的如果你想对某个变量求导可以用我这个函数来反向传播。”④ 通过调用反向传播函数来自动计算y关于x每个分量的梯度。import torch x torch.arange(4.0,requires_gradTrue) y 2 * torch.dot(x,x) y.backward() # 反向传播后会有梯度计算出来 print(x.grad) # 访问导数即访问梯度 print(x.grad 4 * x) # 4 * x 是 2 * x * x 的导数 tensor([ 0., 4., 8., 12.]) tensor([True, True, True, True])计算关系图textx → a x·x → y 2a第1步从 y 到 atexty 2a dy/da 2 # y 对 a 的导数第2步从 a 到 xtexta x₁² x₂² x₃² x₄² da/dx [2x₁, 2x₂, 2x₃, 2x₄] # 每个位置的导数第3步链式法则核心textdy/dx dy/da * da/dx 2 * [2x₁, 2x₂, 2x₃, 2x₄] [4x₁, 4x₂, 4x₃, 4x₄]代入 x [0,1,2,3]textx.grad [0, 4, 8, 12]正好是你代码输出的结果4. 图解反向传播text正向传播方向 →→→→→→→→→→→→→→→ x ──→ a ──→ y ↓ ↓ ↓ [0,1,2,3] → 14 → 28 反向传播方向 ←←←←←←←←←←←←←←← x ←── a ←── y ↓ ↓ ↓ [0,4,8,12] ← 2 ← 1 (梯度) (dy/da) (起点)⑤ 计算x的另一个函数。import torch x torch.arange(4.0,requires_gradTrue) y 2 * torch.dot(x,x) y.backward() # 默认情况下PyTorch会累积梯度需要清除之前的值 x.grad.zero_() # y.backward() 后才能产生梯度才能梯度清零没有反向传播无法梯度清零 y x.sum() # 这里的y是一个标量sum函数其实就是x_1x_2...x_n求偏导自然是全1啊 y.backward()#反向求导 print(x.grad)tensor([1., 1., 1., 1.])⑥ 在深度学习中目的不是计算微分矩阵而是批量中每个样本单独计算的偏导数之和。backward()只能对标量一个数调用不能直接对向量调用。PyTorch 的 backward() 要求什么backward()只能对标量一个数调用不能直接对向量调用。为什么因为梯度定义的是“输出对输入的导数”如果输出是标量 y可以求 dy/dx一个值对一组变量求导如果输出是向量 Y [y₁, y₂, y₃, y₄]你想求什么是 dy₁/dx 还是 dy₂/dx不确定3. 解决方法先把向量变成标量最常见的做法是对向量求和得到一个标量pythony.sum() # 把向量所有元素加起来计算过程texty [0., 1., 4., 9.] y.sum() 0 1 4 9 14现在y.sum()是一个标量14可以求导了。4. 执行y.sum().backward()后发生了什么pythony.sum().backward()PyTorch 计算的是y.sum()对 x 的导数链式推导texty.sum() y₁ y₂ y₃ y₄ x₁² x₂² x₃² x₄² d(y.sum())/dx₁ 2x₁ d(y.sum())/dx₂ 2x₂ d(y.sum())/dx₃ 2x₃ d(y.sum())/dx₄ 2x₄代入 x [0,1,2,3]textx.grad [0, 2, 4, 6]import torch x torch.arange(4.0,requires_gradTrue) y 2 * torch.dot(x,x) y.backward() # 默认情况下PyTorch会累积梯度需要清除之前的值 # 对非标量调用 backward 需要传入一个 gradient 参数该参数指定微分函数 x.grad.zero_() y x * x # 这里的y不是一个标量这是一个向量 print(y) # 等价于y.backward(torch.ones(len(x))) y.sum().backward() # y.sum()后就讲向量转为标量了对标量求导 x.gradtensor([0., 1., 4., 9.], grad_fnMulBackward0)tensor([0., 2., 4., 6.])⑦ 将某些计算移动到记录的计算图之外。import torch x torch.arange(4.0,requires_gradTrue) y 2 * torch.dot(x,x) y.backward() x.grad.zero_() y x * x print(y) u y.detach() # y.detach把y当作一个常数而不是关于x的一个函数 print(y.detach()) print(u) z u * x z.sum().backward() x.grad utensor([0., 1., 4., 9.], grad_fnMulBackward0) tensor([0., 1., 4., 9.]) tensor([0., 1., 4., 9.])tensor([True, True, True, True])import torch x torch.arange(4.0,requires_gradTrue) y 2 * torch.dot(x,x) y.backward() x.grad.zero_() y x * x # 这里的y是关于x的函数 x.grad.zero_()#这是多余的 y.sum().backward() x.grad 2 * xtensor([True, True, True, True])⑧ 即使构建函数的计算图需要通过Python控制流例如条件、循环或任意函数调用仍然可以计算得到的变量的梯度。def f(a): b a * 2 while b.norm() 1000: # norm是L2范数 b b * 2 if b.sum() 0: c b else: c 100 * b return ctorch.randn正态分布随机数size()创建标量0维张量requires_gradTrue开启梯度跟踪a torch.randn(size(),requires_gradTrue) print(a) d f(a) d.backward() print(a.grad) print(d/a) a.grad d/a # d是a的线性函数所以导数就是斜率d/a tensor(-0.7712, requires_gradTrue) tensor(204800.) tensor(204800., grad_fnDivBackward0) tensor(True)参考github作者我只是用来学习。