本章内容围绕“感知—运动”耦合与行为理解展开系统讲解了人形机器人如何将视觉、触觉等多模态感知信息转化为稳定、灵活的运动与操作行为。首先介绍了视觉与步态的耦合机制重点分析了落脚点选择、动态障碍物规避以及步态参数的自适应调整方法。随后讲解了感知驱动的操作动作包括基于视觉伺服的目标抓取、触觉反馈闭环控制以及双臂协同操作。最后从行为理解角度介绍了人类行为识别、行人轨迹预测与交互建模以及机器人对人类意图推测的知识为人机协作与自主决策奠定基础。11.1 视觉与步态的耦合机制视觉与步态的耦合是实现机器人稳定行走与环境适应能力的核心基础。通过将视觉感知结果直接融入步态规划与控制过程机器人能够在复杂、未知或动态环境中实时调整行走策略。在本节的内容中将从落脚点选择、动态障碍物规避以及步态参数自适应三个方面系统讲解视觉信息驱动和优化机器人步态生成与执行的知识。11.1.1 视觉驱动的落脚点选择视觉驱动的落脚点选择是足式机器人实现稳定行走与复杂地形通过能力的关键环节其核心在于将环境视觉信息转化为安全、可执行且具备稳定裕度的落脚决策。通过构建“感知—决策—执行”一体化闭环机制机器人能够在未知或动态环境中持续调整行走策略提高行走的鲁棒性与适应性。1.感知层感知层负责获取并理解机器人前方地面的几何与语义信息。系统通过单目或双目相机、深度相机以及多传感器融合技术对行走区域进行三维重建提取地面高度、坡度、台阶边缘以及障碍物分布等关键特征。同时结合语义分割与地面可行性分析将可承载区域与潜在危险区域如空洞、松散地面或不稳定边缘进行区分。经过处理后的环境信息通常以高度图、点云或局部栅格地图的形式表示为后续落脚点规划提供统一的数据基础。2.决策层决策层基于感知层构建的环境模型生成多个候选落脚点并对其进行综合评估与筛选。评估过程中需同时满足腿部运动学可达性、行走稳定性以及安全裕度等约束条件。工程实践中常通过构建落脚点评分函数对不同候选点进行量化比较其形式可表示为J(pi)wh⋅H(pi)ws⋅S(pi)wd⋅D(pi)其中pi表示第i个候选落脚点H(pi)描述该位置的地形高度或平整度代价S(pi)表示落脚后的支撑稳定性指标D(pi)表示该落脚点与期望步态或参考轨迹之间的偏差;wh、ws、wd为相应的权重系数。通过最小化该评分函数系统可在多种约束条件下选择综合性能最优的落脚位置。此外候选落脚点还需满足基本的运动学可达性约束以确保腿部能够在当前姿态下顺利完成落脚动作∥pi-phip∥≤lmax其中phip表示髋关节位置lmax为腿部最大可达长度。该约束有效避免了视觉上可行但实际无法执行的落脚决策。3.执行层执行层负责将选定的落脚点转化为具体的摆动腿运动轨迹并通过底层控制器实现。在摆动相内系统持续接收来自视觉传感器和本体感知的反馈信息对落脚位置进行在线修正以应对感知误差或环境变化。常见的在线修正形式可表示为pfoott1pfoottα(pvision-pfoott)其中pfoott表示当前时刻的足端位置pvision为视觉更新后的期望落脚点α为修正系数。通过这种视觉—运动闭环机制机器人能够在不规则地形和动态环境中保持行走的稳定性与连续性。总之视觉驱动的落脚点选择通过感知、决策与执行三层协同将环境视觉信息有效融入步态规划与控制过程使机器人具备在复杂地形中自主选择安全落脚位置并实时调整的能力为后续步态参数自适应与高层行为决策提供了重要基础。11.1.2 动态障碍物的实时规避在真实环境中机器人行走区域往往存在行人、其他机器人或移动物体等动态障碍物。相比静态地形动态障碍物的不确定性和快速变化对步态稳定性和行走安全提出了更高要求。动态障碍物的实时规避要求机器人能够在行走过程中持续感知环境变化并将感知结果快速反馈到步态规划与控制中形成高频、低延迟的感知—运动闭环。1. 感知与跟踪层感知层不仅需要识别障碍物的存在还需对其运动状态进行持续估计。机器人通常通过视觉传感器或视觉—激光融合系统对环境中的行人和移动物体进行目标检测与多目标跟踪实时获取障碍物的位置po(t)、速度vo(t)和运动方向θo(t)。结合时间序列信息系统可对障碍物的短期运动趋势进行预测为后续避障决策提供时序依据。2. 预测与风险评估层基于感知与跟踪结果系统需要对障碍物与机器人之间的潜在碰撞风险进行量化。障碍物的未来位置可以通过线性预测公式表示为po(tΔt)po(t)vo(t)⋅Δt其中po(tΔt)表示障碍物在未来时间Δt的预测位置vo(t)为当前速度。随后将预测位置与机器人未来足端轨迹pfoot(tΔt)进行时空距离评估定义风险指标R为Rmin⁡Δt∥pfoot(tΔt)-po(tΔt)∥当R小于安全阈值Rsafe时系统认为存在潜在碰撞风险需要触发避障策略。3. 决策与步态调整层决策层根据风险评估结果选择合适的避障动作。在低风险情况下可以通过微调落脚点或摆动腿轨迹实现柔性避障在高风险情况下则可能调整步长、延长支撑相甚至触发紧急停步或绕行行为。针对低风险微调落脚点修正公式可表示为pfootnewpfootorigβ⋅(pfootsafe-pfootorig)其中pfootorig为原计划落脚点pfootsafe为计算得到的安全修正点β∈[0,1]为调整权重系数保证步态连续性与稳定性。4. 执行与闭环修正层执行层将避障决策转化为具体运动指令并在行走过程中持续修正。随着动态障碍物状态不断变化视觉与本体感知信息实时更新系统可在摆动相内对足端轨迹和落脚时序进行在线调整实现闭环修正pfoott1pfoottα⋅(pfootnew-pfoott)其中α为闭环修正系数控制调整速度确保机器人在动态环境中保持稳定、连续的行走。总之动态障碍物的实时规避通过感知、预测、决策和执行的多层协同将外界运动信息快速融入步态控制过程使机器人具备对环境变化的即时响应能力。公式化的风险评估与落脚点修正机制不仅提升了行走安全性也为机器人在人机共存环境中的自主运动和协作奠定了坚实基础。11.1.3 步态参数自适应调整策略在复杂或动态环境中仅依靠固定步态参数难以保证机器人行走的稳定性和适应性。步态参数自适应调整策略旨在根据视觉感知、触觉信息以及运动状态对步长、步高、步频及身体姿态等关键参数进行实时优化使机器人能够在不规则地面、斜坡或障碍密集区域中保持平稳、灵活的行走。该机制同样遵循感知—决策—执行三层闭环结构。1. 感知层感知层获取地形特征、地面接触信息及机器人运动状态。视觉系统提供高度、坡度、台阶信息触觉传感器和力矩传感器获取足端接触力及支撑状态惯性测量单元IMU反馈姿态和加速度信息。这些多模态数据被融合生成局部地形模型和实时运动状态向量为步态参数调整提供环境感知依据。2. 决策层决策层根据感知数据动态调整步态参数使行走动作适应地形变化。步态参数优化通常通过评价函数量化机器人稳定性、能耗及运动效率例如步态适应代价函数可表示为J(u)ws⋅S(u)we⋅E(u)wc⋅C(u)其中u为步态参数向量包括步长、步高、步频等S(u)表示稳定性指标E(u)表示能耗或运动效率C(u)表示与预期轨迹或目标行为的偏差ws,we,wc为权重系数。通过最小化该代价函数可得到当前环境下最优步态参数u*。为了保证实时性步态参数调整可结合预测模型和学习方法在已知地形特征或障碍物位置的情况下系统提前计算预期步态参数并在运动中进行微调从而实现平滑过渡与连续性。3. 执行层执行层将优化后的步态参数转化为关节运动指令并通过低层控制器实现实际动作。在行走过程中系统持续接收视觉和触觉反馈对步长、步高及身体姿态进行在线修正其闭环调整公式可表示为ut1utα⋅(u*-ut)其中ut为当前步态参数u*为优化得到的目标参数α为修正系数控制参数更新速度确保调整平滑且不引起不稳定。总之步态参数自适应调整策略通过感知、决策与执行的闭环协作将环境与自身状态信息实时融入步态规划使机器人能够在复杂地形中保持稳定性和灵活性。这一机制不仅提高了行走的鲁棒性也为机器人完成动态避障、落脚点选择以及高层行为规划提供了坚实的运动基础。