文章Circuit Tracing in Vision–Language Models: Understanding the Internal Mechanisms of Multimodal Thinking代码https://github.com/UIUC-MONET/vlm-circuit-tracing单位美国伊利诺伊大学厄巴纳-香槟分校、独立研究者一、问题背景当下CLIP、Flamingo、Gemma3-4B、GPT4-o等VLMs在视觉问答、图像描述、复杂视觉推理等任务中表现亮眼能无缝融合视觉感知与语言理解完成跨模态的多步推理。但即便应用广泛其内部决策机制仍处于不透明状态带来了三大核心问题可解释性缺失难以诊断模型错误、缓解固有偏见无法确保与人类价值观对齐现有模型可解释性研究多聚焦纯文本大模型VLMs需要整合统计特征、语义完全不同的两种模态跨模态特征绑定、注意力协调等问题均无成熟解析方法对VLMs内部机制的未知限制了更高效、更强大的多模态模型架构设计也无法深入探究视觉与语言的交互规律。在此背景下构建一套针对VLMs的专属解析方法成为破解多模态AI黑箱的关键需求。二、方法创新研究团队首次提出适用于VLMs的电路追踪框架基于文本大模型可解释性技术进行跨模态拓展打造了三大核心组件并设计了因果验证手段实现了对VLMs内部计算通路的系统解析核心创新点如下层式转码器Transcoders在VLMs各MLP层插入并训练转码器通过编码器将多模态多义表征映射为稀疏潜特征解码器还原MLP输出同时摒弃传统L1正则化采用TopK策略直接保证特征稀疏性还会追踪重建残差并作为误差节点加入电路图解决了多模态特征的可解释分解问题融合图像嵌入残差的归因图将模型在固定输入下线性化构建以令牌嵌入、转码器特征、输出logit为节点的归因图量化特征间的因果贡献关系通过剪枝低贡献边简化图谱清晰追踪视觉输入到最终输出的信息流动路径多模态特征的注意力分析与电路发现结合特征激活分析统计特征在跨模态输入中的激活规律和视觉编码器注意力图可视化解析未命名的多模态特征再由人类专家对功能相似的特征分组标注形成简化、可解释的多模态电路因果验证的干预手段设计特征引导修改特征激活值观察输出变化和电路修补将一个电路的子模块移植到结构相似的另一电路两种方法验证发现的电路是否具备真实的因果作用而非简单的事后相关性。三、实验结果研究以开源SOTA模型Gemma3-4B-it为实验对象基于SmoLIM2文本、ImageNet图像描述、Cauldron视觉问答数据集完成转码器训练在H100 GPU上开展全流程实验得到了一系列关键结果一模型训练与表征分析结果转码器扩展因子会显著影响潜特征利用率模型早期层死特征比例远高于中层说明低层视觉表征更难分解多模态数据训练的转码器未解释方差比例FVU显著低于纯文本训练尤其在模型中层差距最大验证了视觉特征能让多模态表征更易解释。二核心多模态推理机制发现多模态表征层级整合仅在模型高层约20层后才会出现同时编码视觉和语义的特征低层以模态特异性特征为主跨模态关联随网络深度逐步构建特征表征随深度抽象化低层聚焦数字、纹理等细粒度视觉模式高层形成物体、概念级特征且与语义对齐符合视觉模型的表征规律存在独立视觉电路支撑数学推理对于视觉算术任务如12的图像推理模型可通过视觉电路完成计算中层存在对应结果数字的视觉特征无需依赖纯语义计算幻觉现象的成因解析以“六指识别为五指”为例模型幻觉由视觉编码器的感知偏差内部电路动态共同导致手部视觉特征被放大并激活数字5的电路压制了计数特征即便模型具备视觉计数能力也会被主导性的语义/感知信号掩盖视觉与语义通路并行且晚期融合模型深层仍保留独立的视觉和语义表征流视觉特征会产生无文本支撑的关联激活如火星图像激活航天飞机特征高层还会保留视觉相似性最终在最后几层整合为统一的多模态表征。三干预实验验证电路修补实验中压制火星视觉特征并激活地球视觉特征后模型输出完全转向地球相关概念直接验证了发现的电路具备真实的因果可控性可通过干预特征激活实现模型输出的定向调控。四、优势与局限一核心优势开创性首次将电路追踪方法拓展至多模态领域填补了VLMs可解释性研究的空白为解析跨模态推理机制提供了首个系统框架因果性通过转码器分解和归因图构建捕捉的是特征间的因果关系而非简单的相关性解析结果更具科学性实用性框架可实现对VLMs内部电路的定向干预和调控为模型调试、故障缓解如解决幻觉问题提供了实用工具也能为更优的VLMs架构设计提供理论指导可复现研究开源了代码和模型为后续多模态模型可解释性研究提供了基础工具和参考范式。二研究局限视觉特征解析受限视觉编码器的注意力图可读性较差有时无法准确定位相关图像区域且难以区分视觉计算的中介特征和输出特征转码器设计存在短板采用的层式转码器无法捕捉跨层叠加特征图像嵌入的高特征密度导致归因图中出现大量近重复视觉特征计算成本较高沿用文本大模型的电路追踪思路导致多模态特征解析的计算成本大幅上升自动化特征解释方法仍存在算力瓶颈模型适配性单一仅以Gemma3-4B-it为研究对象其SigLIP视觉编码器和双向注意力机制可能带来特殊的电路复杂性结论尚未在其他VLMs中验证依赖人工参与电路发现需要大量人类专家的标注工作难以实现定量评估也无法直接应用于模型微调与优化规模化应用受限。五、一句话总结该研究首次构建了视觉语言模型的电路追踪框架通过转码器、归因图和注意力分析实现了对多模态推理内部因果电路的系统解析揭示了VLMs层级整合、并行通路等核心推理机制且通过干预实验验证了电路的可控性为可解释、可控制的多模态AI发展奠定了重要基础同时也指出了转码器设计、自动化解析、多模型适配等未来亟待解决的问题。