相机标定在机器人系统中的作用

1.确定相机的内部参数

• 相机的内部参数包括焦距、主点坐标、像素尺寸等。这些参数决定了相机成像的几何关系。通过标定，可以精确获取这些参数，从而将图像中的像素坐标与实际的物理坐标建立联系。例如，已知相机的焦距和主点坐标，就可以根据成像原理计算出物体在图像中的位置与实际位置之间的关系，这对于机器人准确理解视觉信息至关重要。

Opencv库中的solvepnp函数，传入相机内参，畸变参数，实际物体大小，图像物体大小，即可得出物体的x,y,z坐标和旋转矩阵

2.纠正图像畸变

• 实际的相机镜头会引入各种畸变，如径向畸变和切向畸变。径向畸变会使图像中的直线变得弯曲，切向畸变则会导致图像在不同方向上的缩放比例不一致。这些畸变会严重影响机器人对环境的感知和理解。通过相机标定，可以建立畸变模型，并对图像进行校正，使机器人看到的图像更接近真实场景，从而提高视觉检测和识别的准确性。

3.实现机器人坐标系与相机坐标系的转换

• 机器人需要将相机获取的图像信息与自身的运动和操作联系起来，这就需要知道相机坐标系与机器人坐标系之间的相对位置和姿态关系。相机标定可以精确测量这两个坐标系之间的转换关系，使机器人能够将图像中的目标位置转换到自身坐标系下，从而准确地进行目标定位、路径规划和抓取等操作。

Robomaster比赛机器人中，我们的相机坐标系与发生机构存在一定的空间偏差，我们需要用ROS2的urdf(xacro)表述这两个组件之间的空间关系，控制枪口对准目标而不是相机！

4.提高机器人视觉系统的精度和可靠性

• 精确的相机标定可以减少视觉测量中的误差，提高机器人对物体位置、形状和姿态的测量精度。这对于需要高精度操作的机器人任务，如装配、焊接等非常重要。同时，准确的标定也可以提高视觉系统的可靠性，使机器人在不同的光照条件、环境背景下都能稳定地工作，减少因标定不准确而导致的错误决策和操作失误。

每次调整焦距后，建议重新标定；根据环境光调整曝光，太暗容易识别不到，太亮噪声太多。

5.多相机系统的协同工作

• 在一些复杂的机器人应用中，可能会使用多个相机来获取更全面的环境信息。对于多相机系统，相机标定不仅要确定每个相机的内部参数和外部参数，还要精确校准各个相机之间的相对位置和姿态关系，以实现多相机图像的融合和协同工作。这样可以扩大机器人的视觉感知范围，提高对复杂场景的理解能力。

例如，双头哨兵，配备有两个摄像头，分别检测一定的视觉范围，检测效率远高于常规哨兵，可以更加快速的发现目标并追踪打击。

---

相机标定

(详细内容推荐Opencv4快速入门这本书中的单目视觉和双目视觉部分，在此只是简单的介绍重要内容）

一、核心概念与坐标系定义

1. 定义

相机标定是通过数学建模，确定相机成像系统从三维世界到二维图像的几何映射关系，并校正镜头畸变的过程。其本质是求解两类参数：

• 内参数（Intrinsic）：相机固有属性，与外部环境无关，包括焦距（$f_x$, $f_y$）、主点坐标（$c_x$, $c_y$）、畸变系数（径向 $k_1$, $k_2$, $k_3$)，切向 ($p_1$, $p_2$）。
  

2. 四大核心坐标系

• 像素坐标系（$u$-$v$）：原点位于图像左上角，单位为像素，通过缩放和平移与图像坐标系关联。
• 图像坐标系（$o$-$xy$）：原点为光轴与成像平面的交点（理想主点），单位为物理长度（如毫米），遵循小孔成像模型。
• 相机坐标系（$O_c$-$X_c$$Y_c$$Z_c$）：原点位于相机光心，($Z_c$) 轴沿光轴方向，($X_c$, $Y_c$) 轴与成像平面平行。
• 世界坐标系（$O_w$-$X_w$$Y_w$$Z_w$）：用户定义的全局坐标系，用于描述物体的三维位置（如标定板平面设为 ($Z_w$=0）。

二、数学模型：从3D到2D的映射

1. 理想成像：针孔相机模型

从世界坐标到像素坐标的转换分三步：

2. 畸变模型：校正光学缺陷

实际镜头存在两类畸变：

• 径向畸变（中心对称）：

  • 桶形畸变（广角镜头）：边缘像素向中心收缩，($k_1$ < 0)；
  • 枕形畸变（长焦镜头）：边缘像素向外扩张，($k_1$ > 0)。
    校正公式（以归一化坐标 ($x$,$y$) = ($X_c$/$Z_c$, $Y_c$/$Z_c$) 为例）：
    

• 切向畸变（非对称）：
  由镜头安装误差导致，像素点沿切线方向偏移：
  

校正顺序：先对归一化坐标去畸变，再转换为像素坐标。

三、标定方法分类与实现

1. 按标定物分类

• 传统3D标定法：

  • 使用高精度三维标定物（如立方体），已知所有角点的3D坐标。
  • 优点：精度极高（亚毫米级），适用于工业测量；缺点：设备昂贵，操作复杂。

• 张正友标定法（2D标定板）：

  • 使用平面棋盘格（世界坐标设为 ($Z_w$=0），通过至少6张不同视角图像求解参数。
  • 步骤：

    1. 角点检测：用OpenCV的findChessboardCorners()获取像素坐标 ($u_i$, $v_i$)；

    2. 线性求解初值：通过最小二乘解超定方程组，得到 ($K$,$R$, $t$) 的初始估计；

    3. 非线性优化：以重投影误差(如下式)为目标，用LM算法优化所有参数（包括畸变系数）；

    4. 精度评估：计算平均重投影误差（理想<1像素）。

  • 优点：简单易用，无需3D设备；缺点：精度依赖标定板精度和图像质量。

• 自标定法：
  • 无需标定板，利用相机运动（如不同视角的图像序列）和场景结构信息求解参数。
  • 适用于动态场景（如SLAM初始化），但精度较低，需结合Bundle Adjustment优化。

2. 按相机数量分类

• 单目标定：求解单个相机的内外参数。

• 双目/多相机标定：

  • 除单目参数外，还需求解相机间的相对外参数（如双目相机的基线距离 ($B$) 和旋转矩阵 ($R_{left-right}$），用于立体匹配和深度计算。
  • 联合标定方法：同时拍摄标定板，确保所有相机视野覆盖标定板，利用全局优化求解所有相机参数。

• 传感器联合标定（如相机-IMU）：

  • 目标：求解相机与IMU的外参数（旋转 ($R_{cam-imu}$)、平移 ($t_{cam-imu}$），以及时间同步参数。
  • 方法：使用Kalibr工具，通过手持标定板运动，利用IMU的惯性测量和相机的视觉观测联合优化参数，适用于SLAM系统。

四、标定板设计与数据采集

1. 标定板类型

• 棋盘格（最常用）：
  • 优点：角点检测算法成熟（如Harris角点），适合快速标定；
  • 缺点：存在对称性，需设置不对称角点（如缺角）辅助定位。
• 圆形阵列：
  • 圆心检测精度高（亚像素级），适合高精度场景（如工业视觉）；
  • 缺点：检测算法较复杂。
• 其他：不对称图案、三维结构光标定板（用于大视角相机）。

2. 数据采集要点

• 视角多样性：拍摄至少10张图像，覆盖不同距离（0.5~3倍焦距）、角度（倾斜±30°）、旋转（绕各轴转动），避免正对或单一视角。
• 图像质量：
  • 光照均匀，避免过曝/欠曝（影响角点检测）；
  • 标定板占图像比例适中（1/4~3/4），边缘清晰无运动模糊。
• 标定板精度：格子尺寸需精确测量（误差<0.1mm），建议使用工业级标定板。

五、优化算法与误差分析

1. 线性最小二乘（初值求解）

将投影模型线性化，忽略畸变，建立关于内/外参数的超定方程：

通过奇异值分解（SVD）求解最小二乘解，作为非线性优化的初值。

2. 非线性优化（Bundle Adjustment）

• 目标函数：重投影误差平方和
  

• 优化算法：Levenberg-Marquardt（LM）算法，结合高斯牛顿法和梯度下降法，处理非线性最小二乘问题。

3. 误差来源

• 系统误差：标定板加工精度、相机热漂移（长时间使用焦距变化）。
• 检测误差：角点定位精度（亚像素级检测可提升至0.1像素以下）。
• 模型误差：忽略高阶畸变（如k3）或使用简化模型（如假设 ($f_x$ = $f_y$）。

六、特殊相机标定

1. 鱼眼相机/广角镜头

• 畸变模型：传统针孔模型失效，改用球面投影或等距投影模型，如：
  

• 标定方法：使用圆形标定板或专用鱼眼标定算法（如OpenCV的fisheye模块），畸变系数通常包含4项（$k1,k2,k3,k4$）。

2. 多镜头相机（如全景相机）

• 需对每个镜头单独标定，再通过坐标变换拼接全景图像，关键是精确求解各镜头间的相对外参数。

七、工具与库

工具	特点	适用场景
OpenCV	支持张正友标定、鱼眼标定，提供calibrateCamera()、fisheye::calibrate()等函数，代码开源。	通用视觉、快速原型开发
MATLAB Toolbox	图形化界面，自动检测角点，支持误差可视化，适合教学与初步标定。	非编程用户、精度验证
Kalibr (ROS)	支持多相机、相机-IMU联合标定，输出ROS可用的参数文件，兼容机器人系统。	机器人导航、SLAM系统集成
Camera Calibration Toolbox (Bouguet)	经典Matlab工具，支持自定义标定板，提供径向/切向畸变校正，精度高。	科研、工业视觉预处理

八、应用场景与精度要求

领域	典型应用	精度要求
工业视觉	零件尺寸测量、缺陷检测	亚像素级（<0.5像素），重投影误差<0.3像素
自动驾驶	目标距离测量、车道线检测	1~2像素，需实时标定更新
三维重建	SfM、SLAM地图构建	0.5~1像素，依赖场景复杂度
AR/VR	虚拟物体定位与渲染	1~3像素，兼顾实时性与精度
医学影像	手术导航、病灶三维建模	亚毫米级，需高精度3D标定物

九、注意事项与最佳实践

1. 标定板选择：根据相机类型（普通/鱼眼）和精度需求选择棋盘格或圆形板，尺寸覆盖相机视野的1/3~2/3。
2. 数据预处理：对图像进行灰度化、去噪（如高斯滤波），提高角点检测成功率。
3. 初值敏感性：非线性优化依赖初值，若线性解误差大，可手动调整主点坐标（设为图像中心）或焦距（根据图像分辨率估算）。
4. 长期稳定性：定期重新标定（如相机更换、环境温度变化），避免参数漂移影响系统精度。

十、扩展：从标定到视觉系统构建

相机标定是视觉测量的起点，后续应用需结合标定结果：

• 立体视觉：利用双目相机的内参数和相对外参数，通过极线约束计算视差，恢复场景深度。
• SLAM：单目SLAM需通过三角化估计尺度，而相机-IMU联合标定可提供初始尺度和重力方向，提升定位精度。
• 增强现实：根据实时外参数 $(R,t)$，将虚拟物体坐标转换为相机坐标系下的坐标，再通过内参数投影到屏幕像素。

总结

**相机标定是连接三维世界与二维图像的桥梁，其核心是通过数学建模和优化求解内外参数，消除畸变影响。**从基础的张正友标定到复杂的多传感器联合标定，标定方法的选择依赖于应用场景的精度、实时性和设备条件。掌握坐标系转换、畸变模型、优化算法等核心知识点，是实现高精度视觉测量、三维重建和机器人导航的关键。通过合理设计标定流程、选择工具并严格控制误差，可确保后续视觉算法的可靠性和鲁棒性。