一、经典网络架构-Alexnet

2012年ImageNet竞赛冠军
8层神经网络、5层卷积层、3层全连接

二、经典网络架构-Vgg

2014 年ImageNet 竞赛冠军
VGG 最大的特点就是它在之前的网络模型上，通过比较彻底地采用 3x3 尺寸的卷积核来堆叠神经网络，从而加深整个神经网络的层级。并且VGG论文给出了一个非常振奋人心的结论：卷积神经网络的深度增加和小卷积核的使用对网络的最终分类识别效果有很大的作用。

红色框住部分：MAXPOOL后，会损失信息，通过通道数翻倍进行弥补。

三、经典网络架构-Resnet

在探索深层网络中遇到了问题，20层和56层的 "普通 "网络进行对比，更深的网络却有较高的训练误差和测试误差。因此提出了一个新的结构残差网络（Residual Network），能够把模型一直堆叠到上百层，而且不出现退化。

由下图可知，模型的泛化能力随着层数的增多而逐渐增加。

四、感受野

感受野是指feature map上某个元素受输入图像上影响的区域，2个33的conv可以代替1个55的conv层。