利用OpenCV进行3d相机手眼标定（眼在手上/眼在手外）

韭菜钟

234人浏览 · 2026-07-08 10:21:56

韭菜钟 · 2026-07-08 10:21:56 发布

文章目录

0.函数原型
1.眼在手上
2.眼在手外

0.函数原型

本文提到的3d相机，指的是RGBD相机，因为必须需要用RGB来拍摄标定板（目前我们使用RGBD相机来测试）。3d线扫相机可能得用其他方式,也有可能用这个，因为这个函数需要你传入的是变换矩阵，RGBD相机和线扫相机得各自采用自己的方式得到变换矩阵。

在opencv中有一个函数，calibrateHandEye,他是用来进行眼在手上（相机在机械臂上）的标定。

void calibrateHandEye( InputArrayOfArrays R_gripper2base, InputArrayOfArrays t_gripper2base,
                       InputArrayOfArrays R_target2cam, InputArrayOfArrays t_target2cam,
                       OutputArray R_cam2gripper, OutputArray t_cam2gripper,
                       HandEyeCalibrationMethod method=CALIB_HAND_EYE_TSAI );

其中各个形参的意义为：
注意，前面四个参数都是InputArrayOfArrays的形式，这是因为我们要传入机械在多组姿态数据（而姿态数据本身又是一个矩阵、arrays），所以这个就是一个array of arrays的形式。

参数	意义
R_gripper2base	机械臂末端法兰（初始工具）坐标系到机械臂基坐标系的旋转变换
t_gripper2base	机械臂末端法兰（初始工具）坐标系到机械臂基坐标系的平移变换
R_target2cam	标定板坐标系到相机坐标系的旋转变换
t_target2cam	标定板坐标系到相机坐标系的平移变换
R_cam2gripper	得到的相机坐标系到法兰（初始工具）坐标系的旋转变换
t_cam2gripper	得到的相机坐标系到法兰（初始工具）坐标系的平移变换
CALIB_HAND_EYE_TSAI	求解AXXB的算法

opncv官方提供这个函数的本意是只支持眼在手上这种方式的标定，但是，其实我们只要稍微修改一下输入的矩阵，就可以实现眼在手外的标定。

推导过程如下：

1.眼在手上

在这里插入图片描述

因为眼在手上时，相机到法兰的坐标（图中的B）变换是固定的，也是我们要求解的，因此我们让X就为相机到法兰的变换矩阵，也就是
$X = ^gT{_c}$
那么机械臂在两个不同的姿态 i 和 j 下，存在这么一个等式（calibrateHandEye就是按照这个等式来求解的）

$^bT_{g_i} X ^cT_{t_i} = ^bT_{g_j} X ^cT_{t_j}$
代入X后也就是
$^bT_{g_i} ^{g_i}T{_c} ^cT_{t_i} = ^bT_{g_j} ^{g_j}T{_c} ^cT_{t_j}$
也就是物理链是这样的 标定板--》相机--》法兰--》到基座，也就是标定板到基座的变换。这是一个固定值，这个值我们不用求，他只是用来构建等式，我们真正要求的是X。上面的X求出来后，我们在使用时，也就是将3d相机得到的点云P（此时是相机坐标系下的）经过变换矩阵变换到机械臂的基坐标系下，也就是
$P_{b} = ^bT_{g} ^gT_{c} P_{c}$
其中 $^bT_{g}$ 是可以实时从机械臂中读取的

2.眼在手外

在这里插入图片描述

我们让X为相机到基坐标的变换，也就是
$X = ^bT{_c}$
然后将原本形参中的gripper2base改成 base2gripper, 代入calibrateHandEye中的求解等式，就可以得到这么一条等式
$^{g_i}T_{b} X ^cT_{t_i} = ^{g_j}T_{b} X ^cT_{t_j}$
把X代入，可以等到
$^{g_i}T_{b} ^bT{_c} ^cT_{t_i} = ^{g_j}T_{b} ^bT{_c} ^cT_{t_j}$