YOLO26改进96:全网首发--c3k2模块添加ConvAttn模块
论文介绍论文核心内容翻译本文致力于解决轻量级图像超分辨率(SR)任务中Transformer模型的高计算开销问题。基于对自注意力机制层间重复性的观察,提出了一种卷积化自注意力模块——卷积注意力(ConvAttn),该模块通过单个共享大核和动态卷积核,模拟自注意力机制的远程建模能力和实例依赖权重分配特性。采用ConvAttn模块后,在保持Transformer表征能力的同时,显著降低了对自注意力机制及其内存受限操作的依赖。进一步解决了将闪存注意力(flash attention)整合到轻量级SR框架中的挑战,有效缓解了自注意力固有的内存瓶颈问题。通过将窗口尺寸扩展至32×32并应用闪存注意力(而非设计复杂自注意力模块),在Urban100×2数据集上PSNR提升0.31dB的同时,延迟和内存占用分别降低16倍和12.2倍。基于这些方法构建的网络——卷积模拟自注意力网络(ESC),在Urban100×4数据集上较HiT-SRF模型PSNR提升0.27dB,延迟和内存占用分别减少3.7倍和6.2倍。大量实验表明,尽管大部分自注意力被ConvAttn模块替代,ESC网络仍保持远程建模能力、数据可扩展性以及Transformer的表征优势。关键技术亮点卷积注意力创新:用共享大核+动态核实现自注意力
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2413689.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!