Project Page:https://gasaiyu.github.io/PAM.github.io/01▪ 在只给定初始姿态、目标姿态和不含外观的物体几何信息的输入下如何直接生成逼真的手物交互HOI视频▪ 现有方法存在一系列问题姿态合成方法只能预测 MANO 轨迹而不能生成像素细节文生图方法能生成能产生外观但缺乏动态信息而视频生成方法目前大多依赖完整的姿态序列和首帧作为输入导致其无法真正应用于 Sim-to-Real数据生成管线。▪ 我们提出PAM (Pose-Appearance-Motion)一个统一的数据生成引擎利用姿态、外观和运动的解耦生成过程完美解决上述痛点。▪ 这是第一个仅需条件初始姿态、目标姿态和物体的几何信息作为输入即可实现高质量 Sim-to-Real 手物交互视频生成的框架且利用这个管线合成的数据能显著提升下游任务例如手部姿态估计的性能。02简介手物交互HOI的重建与合成正逐渐成为具身智能和 AR/VR 领域的核心基石。尽管数据驱动范式推动了准确的手部姿态估计和视频生成领域的的快速发展但获取带有详细标注的真实 HOI序列需要耗费极大的人力物力这严重限制了可扩展性。为了打破这一数据壁垒北京大学联合清华大学、智源研究院BAAI、上海交通大学及东方理工大学提出了一个突破性的统一引擎——PAM。PAM 能够将姿态Pose、外观Appearance和运动Motion无缝整合到一个连贯的框架中。用户只需提供初始和目标姿态以及物体几何形状PAM 就能生成具有连贯动态和逼真手物交互的视频。实验证明PAM 不仅在视频保真度和几何准确度上大幅超越现有方法其生成的合成视频还能直接作为数据增强工具使下游手部姿态估计模型在仅使用 50%真实数据加上合成数据的情况下就能匹配使用100%真实数据的效果03研究动机随着深度学习和扩散模型的出现大规模生成 HOI 视频展现出了巨大潜力。然而纵观当前最先进的方法整个研究领域呈现出三种趋势1.纯姿态合成Pose-only synthesis只预测手部MANO轨迹而不生成外观缺乏视觉真实感降低了其实用价值。2.单图外观生成Appearance generation根据掩码或 2D 提示生成外观但完全无法捕捉时间上的动态连贯性。3.视频运动生成Motion generation虽然能生成视频但需要完整的姿态序列和真实的视频第一帧作为输入这些条件在实际场景中较难获得容易获得的是模拟器中的手部姿态数据但由于模拟器中根本无法获取真实的第一帧这类方法不适合 Sim-to-Real的部署。基于上述痛点研究团队认为 HOI 生成亟需一个能统一融合姿态、外观和运动的引擎。因此PAM 引入了整合运动与外观的扩散过程绕过了对第一帧条件和完成手部姿态序列的依赖从而最大化了运动和外观的多样性。04PAM 方法方法概览给定初始 MANO 手部姿态 、无外观的物体 Mesh 、初始 6-DoF 物体姿态 以及目标手部 MANO 姿态 PAM 的目标是生成一段逼真的 HOI 视频。整个模型可以形式化为一个生成函数 该模型最终输出一段连贯且具有物理约束的 RGB 视频帧序列 。为了应对生成 HOI 视频的高维时空流形的复杂性PAM 将生成过程解构为三个核心阶段第一阶段姿态生成 (Pose Generation)在这个阶段模型主要解决中间物理运动的插值问题。使用预训练的姿态生成模型如 GraspXL来合成对齐的手物交互姿态序列。模型接收 作为输入输出时间上连贯的手部和物体运动轨迹 。这确保了物理一致性为后续的视觉渲染奠定几何基础。第二阶段外观生成 (Appearance Generation)为了解决从模拟器到真实视频的视觉鸿沟PAM 利用可控的图像扩散模型 Flux 来合成逼真的视频第一帧 。单靠深度图和语义掩码不足以处理手部的高自由度。模型将以下三种条件融合并作为生成引导它们均为 的特征图▪深度图 (Depth Maps)保证全局的几何连贯性。▪语义掩码 (Semantic Masks)保证实例级别的语义一致性。▪手部关键点映射 (Hand Keypoints)提供精确的手部骨骼拓扑结构保证手部细节生成的一致性。这些条件首先通过 VAE 编码为的潜在表示在通道维度上拼接后注入到 ControlNet 分支的 DiT 块中。特征的注入计算公式如下其中是原始 Flux 模型中第 7 层 DiT 块的输出是接收拼接条件输入的复制 DiT 块的输出而零卷积层 (Zero-convolution layer) 为参数全零初始化的卷积层。第三阶段运动生成 (Motion Generation)在生成首帧 后模型将第一阶段生成的序列 逐帧渲染得到对应的深度图、语义图和关键点序列。随后利用预训练的视频 VAE 将这些空间条件编码为形状为 的潜在张量。PAM 采用基于 CogVideoX 的可控视频扩散模型来生成最终的视频流。为了保持与姿态序列的一致性视频模型沿用了上述公式的特征融合机制将多模态特征通过 12 个复制的 DiT 块注入网络。特别地在训练阶段为了防止模型过度依赖某单一模态特征每种条件都会以 的概率被随机掩码从而提升模型的泛化能力。05实验结果基准测试团队在 DexYCB聚焦于单手交互和 OAKINK2聚焦于双手复杂交互两个基准数据集上对 PAM 进行了全面评估并与当前最先进的 ManiVideo、InterDyn 和 CosHand 等方法进行了对比。定量结果▪ 在DexYCB数据集上PAM 实现了 29.13 的 FVDFréchet Video Distance反映视频整体的时空连贯性与真实度该数值越低越好大幅优于 InterDyn 的 38.83。在反映手部姿态准确度的 MPJPE 指标上PAM 达到了19.37 mm远优于 CosHand 的 30.05 mm。此外在结构相似性SSIM和运动保真度MF等指标上PAM 也稳居第一。▪在OAKINK2数据集上面对更复杂的双手交互场景PAM 同样展现出强大的建模能力将 FVD 从 CosHand 的 68.76 显著降至 46.31MPJPE 从 14.49 mm 大幅降低至 7.01 mm。▪更高清的分辨率相比于基线方法生成的256 \times 256 (CosHand) 或 256 \times 384 (InterDyn) 模糊视频PAM 能够稳定生成 480 \times 720 的高保真、高分辨率交互视频。定性结果▪如上图所示现有方法如 CosHand由于仅依赖手部掩码作为单一条件缺乏深度的几何引导且缺少显式的时间建模机制导致生成的视频往往出现手部姿态畸变以及严重的帧间闪烁。相比之下PAM 利用带有时间注意力机制的视频扩散基础模型加以多条件的控制保证了较强的帧间连贯性。06多条件的消融实验▪ DexYCB数据集上的消融实验证实PAM 的“深度图语义掩码手部关键点”多模态控制组合缺一不可。如上图所示仅靠手部关键点会导致整体外观质量下降而仅靠语义掩码或深度图则会引发手部姿态的错位失真。PAM 巧妙结合了全局场景理解深度与语义与局部手部细节关键点明确保留了手部结构的细节。这使得 PAM 不仅在背景和前景的生成上具备更高的视觉保真度还成功消除了几何错位生成了准确、流畅且符合物理常理的视频序列。07Sim-To-Real生成如上图所示PAM 展现了强大的 Sim-to-Real 迁移能力。仅仅给定初始和终止状态的HOI Pose利用解耦架构模型成功结合了 GraspXL 的运动先验与扩散模型的外观建模合成了具有不同主体和背景的多样化、逼真的视频。这些视频为之后的下游任务提供了源源不断的数据生成管线。08下游任务验证为了评估生成视频的实用性研究人员将合成视频用于下游手部姿态估计任务SimpleHand 模型的数据增强。PAM 训练生成了 3,400 个视频序列包含 207,400 帧作为增强数据。结果表明使用合成数据结合不同比例的真实数据进行训练始终能提高手部姿态估计的准确度。从上图中可以看到仅使用 50% 真实数据加上 PAM 生成的合成样本其性能就足以具备与使用 100% 真实数据基线相竞争的实力这证明了合成数据能有效弥补真实数据量的不足。09总结PAM 提出了一个创新的 Pose-Appearance-Motion 解耦架构成功打破了传统方法依赖真实第一帧的瓶颈实现了从极简姿态输入到高保真 HOI 视频的生成。其卓越的感知质量、几何准确度以及对下游任务的显著增益为具身智能领域的生成模型研究提供了坚实的基础。