一、单个样本的Logistic回归的梯度下降法
在本节中，我们学习如何计算偏导数来实现Logistic回归的梯度下降法。
我们将使用导数流程图来计算梯度。
首先回顾一下Logistic回归的公式
z = w T x + b z = w^Tx+b z=wTx+b
y ^ = a = σ ( z ) = 1 1 + e − z \widehat{y}=a = \sigma(z) = \frac 1 {1+e^{-z}} y =a=σ(z)=1+e−z1
L ( a , y ) = − ( y l o g ( a ) + ( 1 − y ) l o g ( 1 − a ) ) L(a,y)=-(ylog(a) +(1-y)log(1-a)) L(a,y)=−(ylog(a)+(1−y)log(1−a))
现在只考虑单个样本的情况
L
(
a
,
y
)
=
−
(
y
l
o
g
(
a
)
+
(
1
−
y
)
l
o
g
(
1
−
a
)
)
L(a,y)=-(ylog(a) +(1-y)log(1-a))
L(a,y)=−(ylog(a)+(1−y)log(1−a))，为Logistic的损失函数，a是Logistic回归的输出，y是样本的基本真值标签值。
现在写出该样本的偏导数流程图
假设样本只有两个，特征x1和x2，为了计算z，我们需要输出参数w1,w2和b，还有样本特征x1，x2，因此用来计算z的偏导数公式，
z
=
w
1
∗
x
1
+
w
2
∗
x
2
+
b
z=w1*x1+w2*x2+b
z=w1∗x1+w2∗x2+b，
y
^
=
a
=
σ
(
z
)
\hat y = a = \sigma(z)
y^=a=σ(z)是偏导数流程图的下一步，最后计算L(a,y).
因此，在逻辑回归中，我们需要做的是变换参数w和b的值，来最小化损失函数。
接下来我们讨论怎样向后计算偏导数，想要计算损失函数 L ( a , y ) L(a,y) L(a,y)的导数，首先我们要向前一步，先计算损失函数的导数 d L ( a , y ) d a \frac {dL(a,y)} {d a} dadL(a,y),即L关于变量a的导数，在代码中，我们用da来表示这个变量。如果你熟悉微积分的话，这个da的结果为 d L ( a , y ) d a = d a = − y a + 1 − y 1 − a \frac { dL(a,y)} {da} = d a = \frac {-y} a+\frac {1-y} {1-a} dadL(a,y)=da=a−y+1−a1−y，损失函数的导数计算公式就是这样，计算关于变量a的导数，就是这个式子。
现在计算出da，最终结果关于变量a的导数，现在可以在向后一步，计算dz，dz是代码中的变量名，dz是损失函数关于z的导数，
d
z
=
d
L
d
z
=
d
L
(
a
,
y
)
d
z
=
a
−
y
dz = \frac {dL} {dz} = \frac {dL(a,y)} {dz} = a-y
dz=dzdL=dzdL(a,y)=a−y；其中
d
L
d
z
=
d
L
(
a
,
y
)
d
a
∗
d
a
d
z
\frac {dL} {dz} = \frac {dL(a,y)} {da}* \frac {da} {dz}
dzdL=dadL(a,y)∗dzda，其中
d
a
d
z
=
a
∗
(
1
−
a
)
\frac {da} {dz} = a*(1-a)
dzda=a∗(1−a)，这个推导的过程，即“链式法则”。
现在后向传播的最后一步，计算看看w和b需要如何变化，特别的关于w1的导数 d L d w 1 = d w 1 = x 1 ∗ d z \frac {dL} {dw1} = dw1 = x1 *dz dw1dL=dw1=x1∗dz，同样的 d L d w 2 = d w 2 = x 2 ∗ d z \frac {dL} {dw2} = dw2 = x2 *dz dw2dL=dw2=x2∗dz， d L d b = d b = d z \frac {dL} {db} = db = dz dbdL=db=dz。
因此关于单个样本的梯度下降法，你说需要做的就是这些事情。使用上面的公式计算dz、dw1、dw2、db。
更新
w
1
=
w
1
−
α
∗
d
w
1
;
w
2
=
w
1
−
α
∗
d
w
2
;
b
=
b
−
α
∗
d
b
w1= w1 - α*dw1;w2= w1 - α*dw2;b = b - α*db
w1=w1−α∗dw1;w2=w1−α∗dw2;b=b−α∗db。这是单个样本实例的一次梯度更新的步骤。
详细的推导过程
z = w T x + b z = w^Tx+b z=wTx+b
y ^ = a = σ ( z ) = 1 1 + e − z \widehat{y}=a = \sigma(z) = \frac 1 {1+e^{-z}} y =a=σ(z)=1+e−z1
L
(
a
,
y
)
=
−
(
y
l
o
g
(
a
)
+
(
1
−
y
)
l
o
g
(
1
−
a
)
)
L(a,y)=-(ylog(a) +(1-y)log(1-a))
L(a,y)=−(ylog(a)+(1−y)log(1−a))
∂ L ( a , y ) d a = − y a + ( 1 − y 1 − a ) \frac {\partial L(a,y)} {da} = -\frac y a + (\frac {1-y} {1-a}) da∂L(a,y)=−ay+(1−a1−y)
= a − y a ( 1 − a ) =\frac {a-y} {a(1-a)} =a(1−a)a−y,其中 ∂ L ( a , y ) d a \frac {\partial L(a,y)} {da} da∂L(a,y)就是L(a,y)关于a的偏导数。
∂ L ( a , y ) d z = ∂ L ( a , y ) d a d a d z \frac {\partial L(a,y)} {dz} = \frac {\partial L(a,y)} {da} \frac {da} {dz} dz∂L(a,y)=da∂L(a,y)dzda,其中
d a d z = e − z ( 1 + e − z ) 2 \frac {da} {dz} =\frac {e^{-z}} {(1+e^{-z})^2} dzda=(1+e−z)2e−z
= 1 + e − z − 1 ( 1 + e − z ) 2 =\frac {1+e^{-z} - 1} {(1+e^{-z})^2} =(1+e−z)21+e−z−1
= 1 1 + e − z − 1 ( 1 + e − z ) 2 =\frac 1 {1+e^{-z}} - \frac 1 {(1+e^{-z})^2} =1+e−z1−(1+e−z)21
= a − a 2 = a ( 1 − a ) =a - a^2 = a(1-a) =a−a2=a(1−a)
因此，推导出， ∂ L ( a , y ) d z = a − y \frac {\partial L(a,y)} {dz} = a - y dz∂L(a,y)=a−y,代码中用dz表示。
∂ L ( a , y ) d w 1 = ∂ L ( a , y ) d a ∗ d a d z ∗ d z d w 1 = d w 1 = x 1 ∗ d z \frac {\partial L(a,y)} {dw1} = \frac {\partial L(a,y)} {da} *\frac {da} {dz}* \frac {dz} {dw1} = dw1 = x1*dz dw1∂L(a,y)=da∂L(a,y)∗dzda∗dw1dz=dw1=x1∗dz，代码中，用dw1表示
∂ L ( a , y ) d w 2 = ∂ L ( a , y ) d a ∗ d a d z ∗ d z d w 2 = d w 2 = x 2 ∗ d z \frac {\partial L(a,y)} {dw2} = \frac {\partial L(a,y)} {da} *\frac {da} {dz}* \frac {dz} {dw2} = dw2 = x2*dz dw2∂L(a,y)=da∂L(a,y)∗dzda∗dw2dz=dw2=x2∗dz，代码中，用dw2表示
∂ L ( a , y ) d b = ∂ L ( a , y ) d a ∗ d a d z ∗ d z d b = d b = d z \frac {\partial L(a,y)} {db} = \frac {\partial L(a,y)} {da} *\frac {da} {dz}* \frac {dz} {db} = db = dz db∂L(a,y)=da∂L(a,y)∗dzda∗dbdz=db=dz，代码中，用db表示
对参数w和b进行更新，其中α是学习率
w
1
=
w
1
−
α
∗
d
w
1
w1= w1 - α*dw1
w1=w1−α∗dw1
w
2
=
w
1
−
α
∗
d
w
2
w2= w1 - α*dw2
w2=w1−α∗dw2
b
=
b
−
α
∗
d
b
b = b - α*db
b=b−α∗db
二、m个样本的Logistic回归的梯度下降法
首先，我们需要记住关于成本函数J(w,b)的定义
J
(
w
,
b
)
=
1
m
∑
i
=
1
m
L
(
a
(
i
)
,
y
(
i
)
)
J(w,b) = \frac 1 m \sum_{i=1}^m{L(a^{(i)},y^{(i)})}
J(w,b)=m1∑i=1mL(a(i),y(i))
a
(
i
)
=
y
^
(
i
)
=
σ
(
z
(
i
)
)
=
σ
(
w
T
x
(
i
)
+
b
)
a^{(i)} = \hat{y}^{(i)} = \sigma(z^{(i)}) = \sigma{(w^Tx^{(i)}+b)}
a(i)=y^(i)=σ(z(i))=σ(wTx(i)+b)
全局成本函数是一个求和，实际上是1到m项，损失函数和的平均。
它表明全局成本函数对w1的导数，也同样是各项损失函数对w1导数的平均。
∂
∂
w
1
J
(
w
,
b
)
=
1
m
∑
i
=
1
m
∂
∂
w
1
L
(
a
(
i
)
,
y
(
i
)
)
\frac {\partial} {\partial w1} J(w,b) = \frac 1 m \sum_{i = 1}^m\frac {\partial} {\partial w1} L(a^{(i)},y^{(i)})
∂w1∂J(w,b)=m1∑i=1m∂w1∂L(a(i),y(i))，其中
∂
∂
w
1
L
(
a
(
i
)
,
y
(
i
)
)
=
d
w
1
(
i
)
=
(
x
(
i
)
,
y
(
i
)
)
\frac {\partial} {\partial w1} L(a^{(i)},y^{(i)}) = dw1^{(i)} = (x^{(i)},y^{(i)})
∂w1∂L(a(i),y(i))=dw1(i)=(x(i),y(i)),即对单个训练样本进行计算，所以真正需要做的是计算这些导数，如我们之前的训练样本上做的，并且求平均，会得到全局梯度值，你可以将它直接应用到梯度下降算法中。
让我们将其使用到一个具体的算法中。
J = 0;dw1 = 0;dw2 = 0;db = 0
For i = 1 to m
z
(
i
)
=
w
T
x
(
i
)
+
b
z^{(i)} = w^Tx^{(i)} + b
z(i)=wTx(i)+b
a
(
i
)
=
σ
(
z
(
i
)
)
a^{(i)} = \sigma(z^{(i)})
a(i)=σ(z(i))
J
+
=
−
[
y
(
i
)
l
o
g
a
(
i
)
+
(
1
−
y
(
i
)
)
l
o
g
(
1
−
a
(
i
)
)
]
J+=-[y^{(i)}loga^{(i)}+(1-y^{(i)})log(1-a^{(i)})]
J+=−[y(i)loga(i)+(1−y(i))log(1−a(i))]
d
z
(
i
)
=
a
(
i
)
−
y
(
i
)
dz^{(i)} = a^{(i)} - y^{(i)}
dz(i)=a(i)−y(i)
d
w
1
+
=
x
1
(
i
)
d
z
(
i
)
dw1+=x1^{(i)}dz^{(i)}
dw1+=x1(i)dz(i) 目前特征2个，n=2
d
w
2
+
=
x
2
(
i
)
d
z
(
i
)
dw2+=x2^{(i)}dz^{(i)}
dw2+=x2(i)dz(i)
d
b
+
=
d
z
(
i
)
db +=dz^{(i)}
db+=dz(i)
J/=m
dw1/=m
dw2/=m
db/=m
其中，
d
w
1
=
∂
J
∂
w
1
dw1 = \frac {\partial J} {\partial w1}
dw1=∂w1∂J
w
1
:
=
w
1
−
α
d
w
1
w1:= w1 - \alpha dw1
w1:=w1−αdw1
w
2
:
=
w
2
−
α
d
w
2
w2:= w2 - \alpha dw2
w2:=w2−αdw2
b
:
=
b
−
α
d
b
b:= b - \alpha db
b:=b−αdb
上述代码只应用了一次梯度下降法，因此，你需要重复上述内容很多次，以应用多次梯度下降。
上述计算中有两个缺点，即我们需要编写两个for循环，第一个for循环是遍历m个训练样本的小循环，第二个for循环是遍历所有特征的for循环，这个例子中，我们有两个特征，所以n等于2，n_x等于2，但是如果你有更多特征，你就需要一个for循环，来遍历所有的n个特征，当你应用深度学习算法，你会发现，在代码中显式的使用for循环，会使算法效率很低。同时在深度学习领域，会有越来越大的数据集，所以能够应用你的算法，完全不用显式for循环的话，会是重要的，会帮助你处理更大的数据集，有一门向量化技术，帮助你的代码，摆脱这些显式的for循环。在深度学习的早期，向量化技术有时候用来加速运算是非常棒的，在深度学习时代，用向量化来摆脱for循环已经变得相当重要。
