1. 视觉-物理对齐机器人学习的新范式在机器人学习领域视觉-语言-动作VLA模型正逐渐成为主流范式。这类模型通过整合视觉感知与语言指令理解指导机器人与物理世界进行交互。然而当前大多数VLA模型面临一个根本性挑战它们依赖2D视觉输入来感知世界却需要在3D物理环境中执行动作。这种维度错配导致模型难以建立准确的物理空间理解限制了其在真实场景中的应用效果。想象一下当你通过手机屏幕观看一段烹饪视频时虽然能理解厨师的操作步骤但若需要你实际复现这些动作仅凭2D画面很难准确把握刀具与食材的空间关系、下刀的力度和角度等三维信息。这正是当前VLA模型面临的困境——它们缺乏将2D像素映射到3D物理空间的能力。2. VIPA-VLA的核心创新2.1 空间感知预训练范式VIPA-VLA的核心创新在于提出了空间感知VLA预训练范式。这一范式通过两个关键阶段使模型在正式学习机器人策略前就具备3D空间理解能力第一阶段3D视觉预训练我们从预训练的视觉语言模型(VLM)出发利用带有3D视觉标注的人类演示视频通过双编码器融合模块将2D视觉特征与3D空间表征对齐。这一阶段专注于建立视觉观察与空间配置之间的对应关系。第二阶段3D动作预训练通过分析人类手部运动轨迹提供的3D动作监督信号模型学习物理基础的动作先验。这一阶段使模型理解不同动作在3D空间中的实际含义如抓取、移动等操作的空间轨迹。关键突破传统方法通常直接使用机器人数据进行端到端训练而VIPA-VLA创新性地通过人类视频进行预训练解决了机器人数据获取困难、多样性不足的问题。2.2 双编码器架构设计VIPA-VLA采用双编码器架构同时处理语义和空间信息语义视觉编码器提取图像的高级语义特征3D视觉编码器基于Cut3R模型提供场景的显式几何理解融合层通过交叉注意力机制整合两种特征这种设计使模型既能理解这是什么物体也能判断物体在空间中的位置和姿态为后续动作执行提供全面的空间认知基础。3. Hand3D数据集构建3.1 数据来源与处理我们整合了来自9个不同来源的人类操作视频数据包括动作捕捉数据集(Arctic, HOI4D等)VR录制数据集(EgoDex)伪标注数据集(Taste-Rob)为确保数据一致性所有手部标注都统一到MANO参数化手部模型。对于仅有视频的数据我们使用HaWoR模型估计手部MANO参数。3.2 3D视觉标注通过结合点云估计、物体提议和手部姿态信息我们构建了丰富的3D视觉标注使用Cut3R模型获取每帧的密集点云估计应用Gemini-2.5-flash生成物体提议利用GroundingDINO获取2D边界框结合深度信息将物体定位到3D空间特别重要的是尺度校准步骤通过匹配手部关节的绝对空间位置与点云坐标确保所有标注都在一致的物理尺度下。3.3 3D动作标注从人类手部运动序列中我们提取手腕轨迹作为空间坐标序列并将其离散化为运动标记。每个3D路径点(x,y,z)被转换为三个运动标记(mx,my,mz)形成最终的标记化运动序列。4. 模型实现细节4.1 架构组件VIPA-VLA基于InternVL3.5-2B初始化主要包含以下关键组件语义视觉编码器标准的ViT架构提取图像语义特征3D视觉编码器Cut3R模型提供几何理解融合层交叉注意力机制公式为Vf Vsem αFspa其中α是可学习的缩放参数初始设为0.5动作头扩散变换器(DiT)模型基于流匹配目标进行训练4.2 训练流程第一阶段预训练数据Hand3D-visual目标对齐语义与空间特征参数仅训练融合层时长8块A800 GPU约6小时第二阶段预训练数据Hand3D-action目标预测运动标记参数训练融合层和LLM骨干时长8块A800 GPU约20小时后训练阶段数据机器人任务数据目标适应具体任务参数训练LLM骨干和动作头时长根据任务不同5-40小时5. 实验结果与分析5.1 仿真环境测试我们在LIBERO和RoboCasa两个标准基准上评估了VIPA-VLA的性能LIBERO结果单视角输入平均成功率92.4%双视角输入平均成功率96.8%显著优于TraceVLA、OpenVLA等基线模型RoboCasa结果Pick Place任务20.8%Doors/Drawers任务67.7%其他任务52.8%整体表现优于GR00T N1和π0.5等强基线5.2 真实机器人测试我们设计了三个真实世界任务来评估VIPA-VLAPut-Three-Obj将三种水果放入抽屉子任务成功率52%完整任务成功率10%Wipe-Board用布擦除白板上的笔迹子任务成功率83%完整任务成功率60%Water-Plant给植物浇水子任务成功率57%完整任务成功率50%在未见过的环境设置下VIPA-VLA仍保持稳定性能证明了其强大的泛化能力。6. 应用价值与未来方向6.1 实际应用价值VIPA-VLA的核心价值在于降低数据获取成本利用丰富的人类视频替代昂贵的机器人演示数据提升泛化能力通过3D空间理解适应多样化的场景和任务简化部署流程预训练模型只需少量机器人数据即可适应新任务6.2 技术挑战与解决方案在实际部署中我们总结了以下经验挑战1手-眼标定误差解决方案在融合层引入可学习的校准参数效果提升空间一致性约15%挑战2动作序列稳定性解决方案在DiT中增加状态历史缓存效果连续动作平滑度提升22%挑战3多视角融合解决方案扩展融合层支持多视图输入效果RoboCasa任务成功率提升8.3%6.3 未来发展方向基于当前成果我们认为有几个有前景的研究方向多模态感知扩展引入触觉、力觉等模态丰富物理交互理解动态场景适应处理移动物体和非刚性变形终身学习框架使模型能持续从新经验中学习在实际机器人应用中我们发现模型的3D空间理解能力显著降低了任务编程的复杂度。例如在物流分拣场景中只需提供少量示例模型就能适应不同尺寸和形状的包裹大大缩短了部署周期。