听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了Network Compression，包括为什么要压缩，压缩的主要手段（pruning,knowledge distillation,parameter quantization,architecture design,dynamic computation）

引言

为什么要压缩模型？

1. resource-constrained：因为有时需要把模型跑在计算资源有限的设备上，比如手表
2. lower latency：比如智能驾驶，把资料从车传到云端又传回来，sensor需要非常及时的响应
3. privacy：把资料传到云端，则云端系统持有者就能看到我们的资料

Network Pruning

概念

有些没有工作的参数可以剪掉，不然会占资源。就像人刚出生时没什么神经连接，但是6岁时就很多，再长大到14岁时反而少一点了。

基本框架

1. 预训练（此时是大模型）
2. 评估重要性（参数或者神经元的）
3. 剪枝
4. 微调
5. 可以再次回到评估阶段，循环多次
   在剪枝后准确率会下降，但是可以通过微调，让模型恢复一些。最好不要一下子剪太多，不然模型无法恢复。可以一次剪一点，比如10%。
   

weight pruning

剪掉参数之后，模型不规则。所以用pytorch不好实践（主要是函数库的问题，如果写了不规则模型的函数库也可以），硬件也不允许。所以想通过把剪掉的参数补0来让模型变得规则，但实际上模型并没有变小。

sparsity是指有多少百分比的参数被剪掉了，图中的sparsity接近1，但基本上没加速，多数情况下还变慢了

neuron pruning

Why pruning?

提出大乐透假说

为什么要先train大的再把它变成小的？怎么不直接从小的开始train？
因为大的模型更好train，直接train小的比train完大的变小的结果差。
为什么大的更好train？有一个假说叫大乐透假说。

大乐透假说的解释

一开始买更多彩票增加中奖率。可以把一个大的network看做是很多的sub-network。只要有一个sub-network成功，那这个大的network就能成功。

实验证明大乐透假说

剪枝之后的小network，如果里面的参数都是random init的而不是没剪枝之前的，那就train不起来（对应绿色的参数）；但是如果是用的剪枝之前的参数，相应位置的参数一一对应（红色的参数），这个小网络就能train。

正负号是初始化参数能不能训练得起来的关键，绝对值不重要

反驳大乐透假说

1. 直接train小的也可以，只要多点epoch（Scratch-B）
2. 大乐透假说只在特定条件下起作用（小learning rate, unstructured）
   这里的unstructured指的是以weight为单位prune才能观察到大乐透现象。

Knowledge Distillation

Parameter Quantization

Architecture Design

Dynamic Computation