| 神经网络类型 | 层 | 线性or非线性 | 创新 | 问题 | 备注 |
|---|---|---|---|---|---|
| 感知器 | 单层 | 线性模型，输出 + 1 +1 +1， − 1 -1 −1 | 误差反馈学习 | 阈值函数不可导，构造学习规则 | 与感知器准则等价 |
| 线性神经元 | 单层 | 线性模型 | 梯度下降法训练参数 | 线性函数，多层仍是线性变换 | 本质上是最小二乘准则，最小化误差平方和 |
| 浅层神经网络（早期） | 多层 | 非线性模型 | Sigmoid、非线性、BP算法 | 一般单个隐含层、多层梯度消失 | 多元复合函数求导的链式法则 |
| 深层神经网络（现代） | 多层 | 非线性模型 | ReLU、学习算法、参数初始化 | —— | 更好的神经层激活函数（如ReLU） 更好的权重初始化方案 更好的梯度下降法（如RMSprop和Adam） |
