1.Lion优化器介绍

论文：https://arxiv.org/abs/2302.06675

代码：automl/lion at master · google/automl · GitHub

 1.1  简单、内存高效、运行速度更快

1）与 AdamW 和各种自适应优化器需要同时保存一阶和二阶矩相比，Lion 只需要动量，将额外的内存占用减半；

2）由于 Lion 的简单性，Lion 在我们的实验中具有更快的运行时间（step/s），通常比 AdamW 和 Adafactor 提速 2-15%；

       

 1.2 Lion优化器在各种模型、任务和领域上的优越