【OpenMMLab社区开放麦讲座】《颠覆性创新：多模态对话与精准区域分割 - VPGTrans & NExT-Chat》

1 VPGTrans

1.1 研究问题

1.1.1 模态对齐预训练开销很大：训练时间长

解决方案：迁移已有的VPG(比如BLIP-2 OPT 27B上的VPG)

1.2 训练技巧：两步框架

1. Projector初始化大学习率warm-up（加速+防止掉点正常训练）
2. 正常训练

2 NExT-Chat

2.1 研究目标：全都用embedding/特征来做检测和分割

优点

1. 扩展到segmentation之类的任务比较方便
2. 可以延续已有的detection或者segmentation的回归loss