【每周CV论文推荐】初学模型蒸馏值得阅读的文章

欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。

模型蒸馏是非常重要的模型压缩方法，在学术界研究非常广泛，本次我们来简单给大家推荐一些初入该领域值得阅读的工作。

作者&编辑 | 言有三

1 基于优化目标驱动的知识蒸馏框架

Hinton最早在文章“Distilling the knowledge in a neural network”中提出了知识蒸馏的概念，其核心思想是一旦复杂网络模型训练完成，便可以用另一种训练方法从复杂模型中提取出来更小的模型。

文章引用量：11000+

推荐指数：✦✦✦✦✦

[1] Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015, 2(7).

2 基于特征匹配约束的知识蒸馏框架

上述基本的蒸馏框架以优化目标来约束teacher模型和student模型进行协同学习，模型学习的具体细节难以控制，会让训练不稳定且缓慢，更通用的方法其实是利用隐藏层特征来进行匹配约束，典型框架是FitNets。

文章引用量：2000+

推荐指数：✦✦✦✦✦

[2] Romero A, Ballas N, Kahou S E, et al. Fitnets: Hints for thin deep nets[J]. arXiv preprint arXiv:1412.6550, 2014.

[3] Huang Z, Wang N. Like what you like: Knowledge distill via neuron selectivity transfer[J]. arXiv preprint arXiv:1707.01219, 2017.

3 自蒸馏框架

在上面我们介绍的框架中，假设教师模型一定是比学生模型表现更好，但是教师模型的存在增加了训练的难度，而且教师模型的存在是否一定是必要的，研究者后面开始思考不需要教师模型的框架，这些可以统一归为自蒸馏框架。

文章引用量：1000+

推荐指数：✦✦✦✦✧

[4] Zhang Y, Xiang T, Hospedales T M, et al. Deep mutual learning[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 4320-4328.

[5] Zhang L, Song J, Gao A, et al. Be your own teacher: Improve the performance of convolutional neural networks via self distillation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 3713-3722.

4 对知识蒸馏的理解

关于知识蒸馏本身的有效性问题，这几年研究者有不少新的发现，比如知识蒸馏到底是不是真的比从头训练小模型更好，教师模型的存在是必要的吗，教师模型是不是越强越好，与剪枝量化框架的结合，大家也可以多关注关注。

文章引用量：300+

推荐指数：✦✦✦✦✧

[6] Cho J H, Hariharan B. On the efficacy of knowledge distillation[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 4794-4802.

[7] Yuan L, Tay F E H, Li G, et al. Revisit knowledge distillation: a teacher-free framework[J]. 2019.

5 如何实战

为了帮助大家掌握模型优化压缩的相关知识！我们推出了相关的专栏课程《深度学习之模型优化：理论与实践》，讲解模型剪枝、模型量化、模型蒸馏等方向的理论与实践，感兴趣可以进一步阅读：

【视频课】AI必学，超10小时，4大模块，掌握模型优化核心技术！