具身智能中的传感器技术35——RGB-D相机0
摘要RGB-D相机是具身智能机器人的核心传感器通过RGB彩色图像和深度信息实现3D感知。主流技术包括1结构光技术基于几何三角测量近距离精度高但抗光性差适用于精细操作2ToF技术通过测量光飞行时间实现中远距离探测抗干扰强但精度一般适合避障应用3主动双目技术结合双目视差和主动投影环境适应性强但计算量大常用作机器人主摄像头。三种技术各具优势需根据机器人应用场景精细操作、避障导航或环境感知选择合适方案。RGB-D 相机是具身智能机器人的“慧眼”。它不仅能拍出彩色的二维照片RGB还能给每个像素点标上**“距离”**Depth, D。有了它机器人才知道前面的杯子离自己有 30 厘米远而不是画在墙上的画。目前获取深度信息3D 感知的三大主流技术路线是结构光 (Structured Light)、ToF (Time of Flight)和主动双目 (Active Stereo)。以下是深度的技术原理与对比解析一、 结构光 (Structured Light) —— “我在看你变形”核心逻辑几何三角测量。关键词精度极高、近距离、怕强光、边缘清晰1. 技术原理发射端 (Projector)一个红外投影仪向物体投射一种已知编码图案的光如条纹、散斑、编码光栅。接收端 (Camera)一个红外摄像头拍摄物体表面的图案。计算过程如果投射在平面上图案是规则的。如果投射在凹凸不平的物体表面图案会发生扭曲变形。算法通过分析图案在像素坐标上的偏移量利用三角测量原理反算出物体表面每个点的深度。2. 核心特点优势近距离精度极高在 1米以内精度可达亚毫米级 1mm。这是 iPhone FaceID 刷脸支付选它的原因。细节还原度高能看清物体表面的纹理凹凸边缘锐利。劣势怕强光室外太阳光包含大量红外线会把投射的图案“淹没”掉导致致盲。量程短随着距离增加图案光斑会变大、变淡精度急剧下降。通常有效范围 0.2m ~ 1.5m。3. 具身智能应用手眼相机 (Eye-in-Hand)安装在机械臂手腕上用于近距离精密操作如插拔插头、抓取微小零件。二、 ToF (Time of Flight, 飞行时间) —— “光飞了多久”核心逻辑时间测量。关键词速度快、抗强光、中远距离、精度一般1. 技术原理发射端像雷达一样向物体发射连续的光脉冲dToF或调制连续波iToF通常是红外光。接收端特殊的传感器接收反射回来的光。计算过程光速 cc 是已知的常量。dToF (直接飞行时间)直接测量光子飞出去再回来的时间差 ΔtΔt。iToF (间接飞行时间)测量发射波和反射波之间的相位差。公式距离 dc×Δt/2dc×Δt/2。2. 核心特点优势抗强光不依赖图案只看信号相位/时间室外也能用。响应速度快算法简单不用解算复杂的图像帧率可达 60-100fps适合捕捉动态动作。无盲区只要有光反射就能测。劣势精度一般通常是厘米级误差且边缘容易有噪点飞点。多径干扰光线在角落里反弹几次才回来会导致测距偏大。3. 具身智能应用躯干避障/手势识别安装在机器人胸口或头顶用于探测 3-5米 范围内的障碍物或者像 Kinect 一样识别人的手势指令。三、 主动双目 (Active Stereo) —— “自带手电筒的双眼”核心逻辑双目视差 纹理投影。关键词鲁棒性强、室内外通吃、通用性好1. 技术原理基础 (Passive Stereo)仿生人眼。左右两个摄像头拍同一物体利用视差 (Disparity)原理近大远小近处物体在左右图中位置偏移大计算距离。痛点纯双目怕白墙。如果对着一面白墙左右眼看到的都是白色算法找不到匹配点算不出距离。主动 (Active)为了解决“白墙痛点”在两个摄像头中间加一个红外投影仪。它主动往白墙上打上散斑图案制造人工纹理。这时候左右摄像头就能看见图案了就能算出视差了。2. 核心特点优势环境适应性最强室内白墙能看靠投影仪室外强光能看投影仪失效但靠自然纹理也能用被动双目模式。量程适中覆盖 0.3m ~ 3m 甚至更远取决于基线长度。劣势算力消耗大双目立体匹配算法Stereo Matching极其消耗 CPU/GPU 资源。体积大必须有两个镜头拉开一定距离基线做不到像手机摄像头那么小。3. 具身智能应用通用主摄 (Main Camera)大多数人形机器人如 Tesla Optimus, Unitree头部的主相机采用此方案。因为它最皮实啥环境都能凑合用。四、 总结选型对比表特性结构光 (Structured Light)ToF (Time of Flight)主动双目 (Active Stereo)核心原理几何三角 (看变形)时间测量 (看回波)视差原理 (看偏移)测量精度极高( 1mm)一般 (cm级)较高 (随距离衰减)最佳距离近距(0.2 - 1.2m)中远距(0.5 - 5m)中距(0.3 - 3m)抗强光能力差 (见光死)良优(室内外通吃)算法复杂度中低 (直接出深度)高(需立体匹配)机器人应用灵巧手/手腕(精细操作)躯干/底盘(避障/导航)头部主摄(环境感知)
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2559846.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!