神经网络之互动练习详解：从基础到拟合非线性数据

news2025/5/9 18:44:52

神经网络之互动练习详解：从基础到拟合非线性数据

在机器学习的世界里，神经网络是一种强大而神奇的工具，它可以帮助我们解决各种复杂的问题。今天，我们就通过一个有趣的互动练习，来深入了解神经网络的工作原理以及如何通过调整参数来拟合非线性数据。这个练习由两个部分组成，每个部分都包含了丰富的知识点，让我们一起来探索吧！

练习 1：探索神经网络的结构与输出

任务 1：输入特征与输出预测

题目内容：
神经网络模型的三个输入特征的值均为 0.00。点击网络中的每个节点，观察值的变化。在点击“播放”按钮之前，请先回答以下问题：

您会获得什么样的输出值？预测将生成的内容：正值、负值还是 0？

解答内容：
由于输入特征的值都是 0.00，无论权重和偏置如何，隐藏层节点的输入值都是 0。经过 ReLU 激活函数处理后，隐藏层节点的输出值也将是 0。最终，输出节点的输入值也是 0，经过 ReLU 激活函数后，输出值仍然是 0。

知识点：

ReLU 激活函数：ReLU（Rectified Linear Unit）是一种常用的激活函数，它的公式是 $\max(0, x)$ 。这意味着当输入值小于 0 时，输出为 0；当输入值大于或等于 0 时，输出等于输入值。
神经元的计算：每个神经元的输出是其输入值与权重的加权和，再加上一个偏置项，然后通过激活函数进行处理。公式为： $\text{ReLU}(w_1x_1 + w_2x_2 + w_3x_3 + b)$ 。

结论：
在这种情况下，神经网络的输出值为 0。

任务 2：添加隐藏层对输出的影响

题目内容：
如果再添加一个隐藏层，在第一个隐藏层之后传递到神经网络，并为这个新的第 3 层节点赋予 3 个节点，输入和权重/偏差参数相同，计算是否会受到影响？

解答内容：
只有输出节点会发生变化。因为这种神经网络的推理为“前馈”（计算从开始到结束），加上新的隐藏层只会影响新层的节点，而不是其前面的层。

知识点：

前馈神经网络：神经网络的计算过程是从输入层开始，逐层向前传递，直到输出层。每一层的输出只影响下一层的输入，而不会影响前面的层。

结论：
添加新的隐藏层不会影响输出节点的值。

任务 3：调整权重对网络的影响

题目内容：
点击网络第一个隐藏层中的第二个节点（从顶部开始）。在对网络配置进行任何更改之前，请先回答以下问题：

如果您更改权重 $w_{12}$ （显示在第一个输入节点 $x_1$ 下方），哪些其他节点的某些输入值可能会影响计算结果？

解答内容：
在第一个隐藏层中，唯一受影响的节点是第二个节点。第一个隐藏层的其他节点未包含 $w_{12}$ 作为参数，因此它们的值不会改变。第二个隐藏层中的所有节点都会受到影响，因为它们的输入值取决于第一个隐藏层中第二个节点的值。同样，输出节点值也会受到影响，因为它取决于第二个隐藏层中节点的值。

知识点：