视觉神经元究竟“喜欢”什么样的图像这个问题看似简单却困扰了视觉神经科学几十年。对于初级视觉皮层V1的神经元我们已经知道它们偏好边缘、方向、空间频率等较为简单的特征但越往高级视觉区域走情况就越复杂。很多神经元会同时对语义上毫不相关的图像产生强烈反应一只蜈蚣、一辆卡车、一座桥可能都能激活同一个神经元。它们背后到底在编码什么是完整的“物体类别”还是某些更隐蔽、更局部的关键视觉特征近日哈佛大学Kempner研究所王彬旭研究员与她的博士导师、哈佛大学医学院Carlos R. Ponce此前在华盛顿大学医学院在Nature Neuroscience上发表了题为Neuronal tuning aligns dynamically with object and texture manifolds across the visual hierarchy的研究论文提出了一种新的研究思路不再由人来猜神经元喜欢什么图而是让神经元自己“引导”图像生成。研究团队利用两类深度生成模型——一种更偏向生成纹理化、抽象化图像另一种更偏向生成逼真、物体中心化图像——构建了两个不同的“视觉空间”。随后在清醒恒河猴的 V1、V4 和 PIT后下颞皮层中研究者记录神经元放电并让神经元的反应直接反馈给生成模型驱动图像一步步进化寻找最能激活自己的刺激。结果显示沿着灵长类腹侧视觉通路向前神经元与“纹理空间”的对齐逐渐下降而与“物体空间”的对齐逐渐增强但即使在高级区域 PIT许多神经元也并不是只偏好完整物体而是仍然能够被两类空间中共享的局部视觉母题所激活。更有意思的是这种对齐并非静态的PIT 神经元在反应早期更像是在响应纹理线索而在后期则更明显地转向物体相关表征。这项工作不仅为理解视觉系统层级组织提供了新的证据也展示了生成模型如何成为研究大脑表征的“实验接口”。一、让神经元来“驾驭”生成模型过去神经科学家通常通过两类方式研究视觉神经元一类是用人工设计的刺激比如条纹、边缘、方向另一类是用自然图像库看神经元对什么图像反应更强。但这两种方法都有局限。前者过于依赖研究者预设的假说后者虽然更自然却很难系统覆盖高维图像空间。尤其对于高级视觉皮层中的神经元它们偏好的特征可能既不是简单几何形状也不是某个明确语义类别而是隐藏在复杂图像统计之中的局部组合特征。为了解决这个问题研究团队引入了闭环生成优化closed-loop optimization范式。简单来说就是把神经元的放电当作“评分器”让生成模型不断调整图像朝着更能激活该神经元的方向搜索。这项研究使用了两种图像生成器1. DeePSim纹理生成空间。它更擅长产生丰富、连续、可塑性高的纹理样图像虽然看起来往往不够“像照片”却可以更自由地覆盖各种自然图像特征。2. BigGAN物体生成空间。它以 ImageNet 为基础训练更容易生成逼真、具有明确物体结构的图像但相对而言表达更受限更偏向“对象中心”的自然图像先验。研究者让同一个神经元同时驱动这两套生成过程一边在“纹理空间”里进化一边在“物体空间”里进化。通过比较两条进化轨迹的成功率、收敛速度、最终激活强度以及时间动态就可以判断该神经元的调谐更“对齐”哪一种视觉空间。二、看起来不同但可能在局部“说着同一种视觉语言”实验中一个非常有趣的现象是同一个神经元引导DeePSim和BigGAN优化出来的图像往往整体长得很不一样但局部却包含相似的关键结构。比如一张 BigGAN 优化图像可能看起来像一只站在草地上的鸟而同一神经元在 DeePSim 空间中优化出的图像则更像一片抽象纹理拼贴但仔细看会发现它们都共享某种局部弯曲边缘、颜色组合或者某个特定位置上的高对比结构。也就是说这个神经元也许并不是在编码“鸟”这个整体概念而是在编码某种可以嵌入不同全局场景中的局部视觉母题。为了验证这一点作者进一步构建了空间归因分析定位每张优化图中哪些局部区域最能解释神经元放电变化。结果发现来自同一神经元的DeePSim与BigGAN图像在归因区域上比不同神经元之间更相似。而且这种跨生成器图像之间的相似性还和神经元反应时间曲线PSTH的相似程度相关——图像越共享局部特征神经元对它们的时间响应模式也越相近。这说明许多视觉神经元并不是简单地“认物体”或“认纹理”而更可能是在多个图像空间中抽取可重组、可迁移的局部结构单元。这种结果支持了一种更具组合性的视觉编码观点神经元偏好的不是完整模板而是可以在不同图像中重复出现的局部关键特征。三、从V1到PIT神经元与“纹理空间”和“物体空间”的对齐在变化这项研究最核心的发现之一是沿着视觉层级神经元与不同生成空间的“对齐关系”发生了系统性变化。作者把这种对齐理解为一种“爬山便利度”如果某个神经元在某一生成空间中的调谐函数更平滑、更容易被优化器找到高点那么就说明它与这个空间更对齐。研究中主要用了三个指标来刻画这种对齐1.优化成功率。2.起点与终点激活强度。3.收敛速度。结果非常清楚在V1和V4神经元整体上更容易被DeePSim的纹理空间优化成功最终激活也更高收敛更快。这说明在这些较早和中间的视觉区域中纹理样、局部统计样的视觉空间仍然更贴近神经元的调谐结构。在PIT情况发生了变化。BigGAN 的成功率明显提升最终优化后的激活水平与 DeePSim 相当甚至在部分分析中表现得更快。也就是说到了更高级的视觉区域神经元已经能够很好地“嵌入”一个更偏向物体结构的生成空间中。但是PIT并没有彻底抛弃纹理空间。许多 PIT 神经元同样能够在 DeePSim 中被有效优化。这意味着高级视觉表征并不是从“纹理”切换成“物体”的单向替代而更像是在保留局部特征编码能力的同时逐步获得对更复杂物体变量的可逆映射能力。四、同一个PIT神经元早期更像“看纹理”晚期更像“看物体”如果说前面的结果揭示了不同脑区对图像空间的偏好差异那么这项工作的另一大亮点是把这种比较推进到了神经动力学层面。大多数人工视觉模型对一张静态图像只输出一个固定表征但真实神经元不是这样。它们对同一图像的反应会随时间变化早期可能更敏感于局部特征后期则逐渐体现更整合、更抽象的信息。研究者分析了优化图像诱发的动态激活曲线PSTH结果发现在V4神经元DeePSim 优化图像在大部分早期和中期时间窗中都优于 BigGAN说明 V4 仍然整体偏向纹理样空间。在 PIT出现了鲜明的时间分工早期响应DeePSim 图像更占优势晚期响应BigGAN 图像逐渐反超。换句话说PIT神经元并不是静态地“同时对齐”两种空间而是在时间上动态切换。早期它更像是在利用局部纹理或中层特征快速响应随后物体样图像所携带的整体结构和高级语义线索开始发挥更大作用驱动更强的后期活动。这一结果与近期加州理工大学石悦琳、Doris Tsao团队在Nature发表的视觉神经元动态编码结果不谋而合。这个发现很重要因为它为理解生物视觉与人工视觉之间的差异提供了一个关键线索大脑表征不仅是“看到了什么”还包括“什么时候以什么方式看到”。当前多数卷积神经网络之所以无法像 PIT 那样同时良好对齐纹理和物体空间可能正是因为它们缺少这种丰富的时间演化维度。五、神经元调谐不是单一峰值而是高维图像流形中的复杂地形除了比较两类生成空间这项工作还进一步追问在 BigGAN 这样一个物体图像空间里神经元的调谐曲线到底长什么样研究者在优化结束后从最优点附近沿多个正交方向继续采样系统测量神经元放电如何随潜变量扰动变化。这相当于在局部“扫描”神经元在该图像空间中的调谐地形。结果发现当进化已经成功接近神经元偏好的峰值时沿许多方向看到的是钟形调谐曲线bell-shaped当进化并没有真正接近峰值时沿某些方向则更像是斜坡型调谐ramp-like。这意味着过去文献中关于某些高级视觉神经元到底是“峰形调谐”还是“单调调谐”的争论可能并不是非此即彼而取决于你在高维图像空间中采样到了什么位置。换句话说神经元并不是只沿着单一特征轴工作而是嵌在一个复杂的高维调谐地形中。我们观察到的“峰”“坡”甚至“多峰”都可能只是这个地形在不同切面上的投影。这一视角也帮助解释了为何高级视觉神经元常常会对多个语义上不相干的图像都有反应这些图像在全局上可能不同但在高维空间中或许共享了通往同一响应高地的若干局部路径。六、这项工作意味着什么这项研究带来的意义至少体现在三个层面。1.它为理解视觉层级组织提供了新的框架从 V1 到 V4 再到 PIT视觉系统并不是简单地从“低级特征”走向“高级物体”的线性替代过程而更像是在保留对局部纹理和关键特征敏感性的同时逐渐获得对更复杂物体流形的可操作表征能力。2.它提出了更具“因果性”的大脑-模型对齐定义过去常见的对齐分析alignment往往比较的是模型表征与脑活动在统计上的相似性而这里更进一步问的是神经元能否直接操纵一个生成模型把图像朝自己喜欢的方向推过去。这种“能不能被神经元驱动”的标准更接近一种因果意义上的对齐。3.它展示了生成模型在神经科学中的新角色生成模型不再只是用来“生图”的工具而可以成为连接大脑与刺激空间的动态接口。通过多模型、闭环、可优化的实验范式研究者可以更加直接地逼近神经元真正偏好的视觉变量。作者也指出未来这类研究应进一步拓展到diffusion models等新一代生成模型上。与 GAN 相比扩散模型拥有不同的潜空间结构和生成机制或许会为研究神经调谐提供新的机会也会提出新的挑战。七、结语当我们问“一个神经元喜欢什么”时真正的答案也许并不是某张具体的图片、某个明确的物体类别甚至不是一个单独的视觉特征而是一个可以在多个图像流形中被不断逼近的高维偏好结构。这项研究表明灵长类视觉系统并没有把“纹理”和“物体”割裂开来。相反随着视觉层级上升神经元一边保持对局部特征的敏感一边逐渐获得对物体空间的动态对齐能力。而在时间维度上这两种表征还会彼此交错、接力展开。也许大脑真正擅长的从来不是识别某个孤立的视觉模板而是在复杂多变的世界中灵活地重组局部线索逐步拼出对对象、场景与意义的理解。