逻辑回归
逻辑回归是一种用于解决二分类任务（如预测是否是猫咪等）的统计学习方法。尽管名称中包含“回归”，但其本质是通过线性回归的变体输出概率值，并使用Sigmoid函数将线性结果映射到[0,1]区间。
以猫咪预测为例
假设单个样本/单张图片为（
x
\mathbf{x}
x，
y
\mathbf{y}
y），特征向量X =
x
\mathbf{x}
x，则
y
^
\hat{y}
y^即为X的预测值，
y
^
\hat{y}
y^=P（y=
y
\mathbf{y}
y/
x
\mathbf{x}
x）,
y
^
\hat{y}
y^∈（0,1）。
假设特征权重参数为
w
\mathbf{w}
w，是一个nx维的向量，则有：
y
^
\hat{y}
y^=
σ
\sigma
σ（
w
⊤
w^\top
w⊤
x
\mathcal{x}
x+
b
\mathcal{b}
b）
z
\mathcal{z}
z =
w
⊤
w^\top
w⊤
x
\mathcal{x}
x+
b
\mathcal{b}
b
y
^
\hat{y}
y^=
σ
（
z
）
\sigma（z）
σ（z）
Sigmoid函数
Sigmoid函数是一种常用的S型激活函数，数学表达式为：
σ
(
z
)
=
1
1
+
e
−
z
\sigma(z) = \frac{1}{1 + e^{-z}}
σ(z)=1+e−z1
机器学习便是学习参数
x
\mathcal{x}
x和
b
\mathcal{b}
b，使得
y
^
\hat{y}
y^尽可能接近实际值
y
\mathcal{y}
y。
符号惯例介绍
定义一个额外特征向量
x
0
\mathcal{x_0}
x0 =1，
y
^
\hat{y}
y^=
σ
\sigma
σ(
θ
T
\theta^{T}
θT
x
\mathcal{x}
x )，其中
θ
0
\theta_0
θ0充当
b
\mathcal{b}
b，其余
θ
1
\theta_1
θ1到
θ
n
x
\theta_{nx}
θnx充当
w
\mathbf{w}
w
核心特性
- 输出范围：$ (0,1) $，适合概率映射
- 单调性：全程可导且导数最大值为$ 0.25 （出现在 （出现在 （出现在x=0$处）
- 导数特性： σ ′ ( x ) = σ ( x ) ( 1 − σ ( x ) ) \sigma'(x) = \sigma(x)(1 - \sigma(x)) σ′(x)=σ(x)(1−σ(x))，便于梯度计算
Python实现
import numpy as np
def sigmoid(x):
return 1 / (1 + np.exp(-x))
# 支持向量化计算
print(sigmoid(np.array([-1.0, 0.0, 1.0]))) # 输出：[0.2689, 0.5, 0.7311]
典型应用
- 逻辑回归中的概率转换
- 神经网络隐藏层的激活函数
- 强化学习中的动作选择概率
局限说明
- 深层网络易出现梯度消失（导数值随网络深度指数衰减）
- 输出不以零为中心可能影响优化效率
- 现多被ReLU系列函数替代用于隐藏层
