偏置的更新步骤

假设我们有一个三层神经网络（输入层、隐藏层和输出层），并且每层的激活函数为 sigmoid 函数。我们需要更新隐藏层和输出层的偏置。以下是详细的步骤：

1. 计算误差项（Error Term）

输出层的误差项

对于输出层的第  个神经元，其误差项  为：

其中：

• 是预测输出

• 是真实输出

隐藏层的误差项

对于隐藏层的第 j 个神经元，其误差项  为：

 

其中：

• 是从隐藏层到输出层的权重

•  是隐藏层的输出

2. 更新偏置

使用误差项来更新偏置。根据梯度下降法，对每个偏置进行更新：

输出层的偏置更新

其中：

• η 是学习率

隐藏层的偏置更新

3. 更新权重

同样地，误差项也用于更新权重：

隐藏层到输出层的权重更新

输入层到隐藏层的权重更新