2025_NIPS_HoliTom: Holistic Token Merging for Fast Video Large Language Models

news2026/4/27 6:47:16

HoliTom 论文总结与核心内容翻译一、文章主要内容本文针对视频大语言模型（video LLMs）因视频令牌冗余导致的计算效率低下问题，提出了一种无训练的整体令牌合并框架 HoliTom。该框架通过协同整合模型外（outer-LLM）时空压缩与模型内（inner-LLM）令牌合并策略，在大幅降低计算成本的同时保持了极高的模型性能。核心背景视频大语言模型在视频理解任务中表现出色，但编码后的视频令牌数量庞大，且注意力机制的二次复杂度导致推理成本极高。现有令牌剪枝方法存在局限：模型内剪枝（如 FastV）在浅层网络存在固有计算开销，难以充分降低 FLOPs；模型外剪枝（如 VisionZip）仅处理单帧空间冗余或有限时间窗口的 temporal 冗余，忽略全局时间动态性；两类方法的协同潜力未被探索。技术框架HoliTom 包含三个关键阶段（前两阶段为模型外剪枝，第三阶段为模型内合并）：全局冗余感知时间合并：通过动态规划对视频进行全局分割，合并连续帧中相似度超阈值的冗余令牌，最大化时间维度压缩；空间合并：对非冗余令牌采用注意力权重引导的选择策略，对冗余令牌采用密度峰值聚类（DPC-KNN）合并，进一步降低空间冗余；模型内合并：基于令牌相似度合并模型内部低

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2554249.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！