相机标定相关总结

1. 为什么需要相机标定？

相机机标定的目的：建立相机成像几何模型并矫正透镜畸变。

建立相机成像集合模型：计算机视觉的首要任务就是要通过拍摄到的图像信息获取到物体在真实三维世界里相对应的信息，于是，建立物体从三维世界映射到相机成像平面这一过程中的几何模型就显得尤为重要，而这一过程最关键的部分就是要得到相机的内参和外参。

矫正透镜畸变：我们最开始接触到的成像方面的知识应该是有关小孔成像的，但是由于这种成像方式只有小孔部分能透过光线就会导致物体的成像亮度很低，于是聪明的人类发明了透镜。虽然亮度问题解决了，但是新的问题又来了：由于透镜的制造工艺，会使成像产生多种形式的畸变，于是为了去除畸变（使成像后的图像与真实世界的景象保持一致），人们计算并利用畸变系数来矫正这种像差。虽然理论上可以设计出不产生畸变的透镜，但其制造工艺相对于球面透镜会复杂很多，所以相对于复杂且高成本的制造工艺，人们更喜欢用数学来解决问题。

常见术语：

• 内参矩阵: Intrinsic Matrix
• 焦距: Focal Length
• 主点: Principal Point
• 径向畸变: Radial Distortion
• 切向畸变: Tangential Distortion
• 旋转矩阵: Rotation Matrices
• 平移向量: Translation Vectors
• 平均重投影误差: Mean Reprojection Error
• 重投影误差: Reprojection Errors
• 重投影点: Reprojected Points

2. 基础知识

相机标定的目的之一是为了建立物体从三维世界到成像平面上各坐标点的对应关系，所以首先我们需要定义这样几个坐标系来为整个过程做好铺垫：

世界坐标系(world coordinate system)：用户定义的三维世界的坐标系，为了描述目标物在真实世界里的位置而被引入，单位为m。

相机坐标系(camera coordinate system)：在相机上建立的坐标系，为了从相机的角度描述物体位置而定义，作为沟通世界坐标系和图像/像素坐标系的中间一环。单位为m。

图像坐标系(image coordinate system)：为了描述成像过程中物体从相机坐标系到图像坐标系的投影透射关系而引入，方便进一步得到像素坐标系下的坐标。 单位为m。

像素坐标系(pixel coordinate system)：为了描述物体成像后的像点在数字图像上（相片）的坐标而引入，是我们真正从相机内读取到的信息所在的坐标系。单位为个（像素数目）。

下图可以更清晰地表达这四个坐标系之间的关系：

世界坐标系：$X_w$ 、$Y_w$、$Z_w$

相机坐标系： $X_c$、$Y_c$、$Z_c$

图像坐标系：$x$、$y$

像素坐标系：$u$、$v$。

相机坐标系的 $Z$ 轴与光轴重合，且垂直于图像坐标系平面并通过图像坐标系的原点，相机坐标系与图像坐标系之间的距离为焦距$f$（也即图像坐标系原点与焦点重合）。像素坐标系平面$u-v$和图像坐标系平面$x-y$重合，但像素坐标系原点位于图中左上角（之所以这么定义，目的是从存储信息的首地址开始读写）。

棋盘是一块由黑白方块间隔组成的标定板，我们用它来作为相机标定的标定物（从真实世界映射到数字图像内的对象）。之所以我们用棋盘作为标定物是因为平面棋盘模式更容易处理（相对于复杂的三维物体），但与此同时，二维物体相对于三维物体会缺少一部分信息，于是我们会多次改变棋盘的方位来捕捉图像，以求获得更丰富的坐标信息。如下图所示，是相机在不同方向下拍摄的同一个棋盘图像。

下面将依次对刚体进行一系列变换，使之从世界坐标系进行仿射变换、投影透射，最终得到像素坐标系下的离散图像点，过程中会逐步引入各参数矩阵。

(1) 从世界坐标系到相机坐标系

刚体从世界坐标系转换到相机坐标系的过程，可以通过旋转和平移来得到，我们将其变换矩阵由一个旋转矩阵和平移向量组合成的齐次坐标矩阵来表示：

其中，$R$为旋转矩阵，$t$为平移向量。其中变换矩阵

即为前文提到的外参矩阵，之所称之为外参矩阵可以理解为只与相机外部参数有关，且外参矩阵随刚体位置的变化而变化。下图表示了用R，t将上述世界坐标系转换到相机坐标系的过程。

(2) 从相机坐标系到理想图像坐标系

这一过程进行了从三维坐标到二维坐标的转换，也即投影透视过程（用中心投影法将物体投射到投影面上，从而获得的一种较为接近视觉效果的单面投影图，也就是使我们人眼看到景物近大远小的一种成像方式）。我们还是拿针孔成像来说明（除了成像亮度低外，成像效果和透镜成像是一样的，但是光路更简单）。成像过程如图二所示：针孔面（相机坐标系）在图像平面（图像坐标系）和物点平面（棋盘平面）之间，所成图像为倒立实像。

但是为了在数学上更方便描述，我们将相机坐标系和图像坐标系位置对调，变成图三所示的布置方式（没有实际的物理意义，只是方便计算）：

此时，假设相机坐标系中有一点M，则在理想图像坐标系下（无畸变）的成像点P的坐标为（可由相似三角形原则得出）：

将上式化为齐次坐标表示形式为：

(3) 从理想图像坐标系到实际图像坐标系（考虑畸变）

​ 透镜的畸变主要分为径向畸变和切向畸变，还有薄透镜畸变等等，但都没有径向和切向畸变影响显著，所以我们在这里只考虑径向和切向畸变。

• 径向畸变是由于透镜形状的制造工艺导致。且越向透镜边缘移动径向畸变越严重。下图所示是径向畸变的两种类型：桶形畸变和枕形畸变。

实际情况中我们常用r=0处的泰勒级数展开的前几项来近似描述径向畸变。矫正径向畸变前后的坐标关系为：

由此可知对于径向畸变，我们有3个畸变参数需要求解。

• 切向畸变是由于透镜和CMOS或者CCD的安装位置误差导致。因此，如果存在切向畸变，一个矩形被投影到成像平面上时，很可能会变成一个梯形。切向畸变需要两个额外的畸变参数来描述，矫正前后的坐标关系为：

由此可知对于切向畸变，我们有2个畸变参数需要求解。

综上，我们一共需要5个畸变参数（k1、k2、k3、p1和p2 ）来描述透镜畸变。

(4) 从实际图像坐标系到像素坐标系

由于定义的像素坐标系原点与图像坐标系原点不重合，假设图像坐标系原点在像素坐标系下的坐标为（u0，v0），每个像素点在图像坐标系x轴、y轴方向的尺寸为：dx、dy，且像点在实际图像坐标系下的坐标为（xc，yc），于是可得到像点在像素坐标系下的坐标为：

化为齐次坐标表示形式可得：

公式2中(xp, yp)与公式5中(xc, yc)相同，都是图像坐标系下的坐标。

若暂不考虑透镜畸变，则将式2与式5的转换矩阵相乘即为内参矩阵M：

之所以称之为内参矩阵可以理解为矩阵内各值只与相机内部参数有关，且不随物体位置变化而变化。

最后用一幅图来总结从世界坐标系到像素坐标系（不考虑畸变）的转换关系：

3. 标定方法

(1)、传统相机标定

最简单的相机标定为线性标定，即不考虑相机的畸变而只考虑空间坐标转换。
每个坐标点有X,Y两个变量，可列两个方程，相机内参有5个未知数，外参平移和旋转各3个，共有11个变量，因此至少需要6个特征点来求解。

(2)、非线性标定

当镜头畸变明显时必须考虑畸变，一般较为便宜的网络摄像头畸变特别大，而价格较贵的工业摄像头则畸变很小，因为其中已经嵌入了许多消除畸变的程序。这时线性模型转化为非线性模型，需要通过非线性标定方法求解。有最速下降法，遗传算法，高斯牛顿法和神经网络算法等。

(3)、张正友标定

4. 相机标定步骤：

(1)、打印一张棋盘格，把它贴在一个平面上，作为标定物。
(2)、通过调整标定物或摄像机的方向，为标定物拍摄一些不同方向的照片。
(3)、从照片中提取棋盘格角点。
(4)、估算理想无畸变的情况下，五个内参和六个外参。
(5)、应用最小二乘法估算实际存在径向畸变下的畸变系数。
(6)、极大似然法，优化估计，提升估计精度。

5. 参考资料：

• 从零开始学习张氏相机标定发： https://zhuanlan.zhihu.com/p/35223115
• 相机标定（Camera calibration）原理、步骤https://blog.csdn.net/qq_37791134/article/details/80942171
• 谭平：从相机标定到SLAM，极简三维视觉六小时课程视频 http://www.sohu.com/a/317611305_100007727
• SLAM book： https://github.com/gaoxiang12/slambook
• 双目视觉之相机标定：https://www.cnblogs.com/zyly/p/9366080.html
• 最详细、最完整的相机标定讲解https://blog.csdn.net/lxy_2011/article/details/80675803
• OPENCV 相机参数标定 https://www.jianshu.com/p/967a35dbb56a