最近发展起来的SAM模型,表示分割模型的一个大的跃进,尤其是在零样本的能力和灵活提升方面。尽管利用1.1bollion的mask,SAM在掩码预测方面已经存在很大的问题,尤其是目标有着复杂结构的时候。
我们提出一个HA-SAM。
设计学习一个高质量的输出token,插入到SAM的掩码解码器中,来预测高质量的掩码。
SAM的各种变种模型,性能、速度、模型大小:

SAM模型包含三部分的组件:1) image encoder; 2) Prompt encoder; 3) Mask decoder
改进的HQ-SAM框架如下:

HQ-SAM引入HQ-Output Token and Global-local feature fusion to SAM来生成高质量的掩码图。
通过利用和固定SAM的掩码decoder,一个新的可学习的HQ-Output Token (1-256)和SAM原有的SAM output Token(4*256)+prompt token (N*256), 三者联合在一起,输入到mask decoder中,更新HQ-Output Token。 利用三层MLP来生成动态卷积核,与那些融合的HQ-feature进行点乘,生成高质量的掩码。














![[已解决]Mysql想删掉一个表里所有的数据,直接删总是卡住](https://img-blog.csdnimg.cn/img_convert/6445ca085236a2d9d95d8d882916318c.png)

![[nodejs] 爬虫加入并发限制并发实现痞客邦网页截图](https://img-blog.csdnimg.cn/73dd35f4507149dc9d43329543b92d2a.png)


