手眼标定原理:眼在手上与眼在手外的 AX=XB
现场挺常见的一种情况:示教那个位置抓得挺稳,相机一引导到旁边,爪子就偏出去一点。更烦的是,件转了 90° 再抓,偏的方向又不一样。有人会把这事归到定位算法上,我一般先问,手眼是怎么标的,标完有没有转 180° 再试一抓。
上一篇把内参、外参和畸变参数拆开了。那些是相机自己的成像关系。手眼要接的是另一段:相机坐标系跟机器人坐标系怎么对上。内参要是漂着,后面这段再认真,也是在错的像素坐标上凑。
说白了,手眼标定是在求一个固定的空间变换,不是在图像和机器人 XY 之间凑一个平面比例。
相机跟着走,和相机固定看着,未知数不是同一个
工业里常见就两种装法。
一种叫眼在手上,相机装在法兰或者工装上,手臂动,相机一起动。要求和的那个 X,是法兰(有的软件写成工具坐标系)到相机的变换。法兰位姿控制器能读出来,相机相对标定板的位姿,要靠上一篇那些内参、外参去求。中间缺的就是这段固定的 X。
另一种叫眼在手外,相机吊在机架上,不动,看着下面的机器人。未知数换成了机器人基座到相机的变换。标定的时候,板子通常是固定在法兰或者工装上,跟着手臂走。相机看到板,再结合当时的法兰位姿,把基座到相机这段解出来。
两种装法都会写成同一个式子:
AX=XB AX=XB AX=XB
A 是机器人两次位姿之间的相对运动,从控制器读出来的法兰(或工具)位姿里算。B 是这两次里,相机相对标定板的位姿变化。X 就是要求和的那个固定变换。眼在手上,X 是法兰到相机;眼在手外,X 是基座到相机。字母一样,里面装的东西不一样,软件对话框里也经常把方向写反,我拿到结果会先问一句:这个 X 是谁相对谁。只把平移取个负号,旋转是不对的。
眼在手上时,常见的写法是:
f1Tf2X=Xc1Tc2 {}^{f_1}T_{f_2} X=X {}^{c_1}T_{c_2} f1Tf2X=Xc1Tc2
左边是法兰从姿态 1 到姿态 2 的相对运动,右边是相机在这两次观察里的相对运动。要让这个式子有解,光平移不够。法兰只是在视野里挪来挪去、几乎不转,A 的旋转接近零,X 里的旋转部分就约束不住。我自己采的时候,会让手臂绕不同方向转一转,转角别太小,两次运动的转轴也别平行。板在视野里还要完整,糊掉、挡住的图别硬留。

九点能用,并不等于手眼已经标完
现场还有一种更常用的做法,叫九点标定。相机拍到特征点的像素坐标,机器人把工具走到对应的位置,记一组图像坐标和机器人 XY,再拟合一个仿射或者单应。平面上的抓取,这样确实很快,示教位置附近往往看起来挺准。
它跟真正的手眼不是一回事。九点给的是某一张工作平面、某一种拍照姿态下,图像到机器人平面的映射。拍照姿态固定、工件又几乎在同一个高度上,它够用。相机换了个高度再拍、件从料盘里翘起来一截、抓取前还要按朝向转个角度,这张平面映射就对不上了。好多方案书上把九点也写成手眼标定,沟通的时候我都会再问一句,到底是平面九点,还是 AX=XB 那种。
眼在手上尤其容易混。有的项目每次都把相机走到同一个拍照位,拍完再去抓,九点是在给这个固定拍照位做平面换算,未必需要把法兰到相机的 X 完整求出来。后来为了省节拍,改成走到哪拍到哪,或者工件朝向要转,原先那组九点就突然不灵了。不是算法坏了,是当时根本没标过真正的手眼。
差半度、平面高了 5 mm,再转 180°
下面这组是计算例,不是某天在现场刚测的数。假定手眼旋转绕 Z 差了 0.5°,特征点在相机坐标系里落在 (45, -12) mm 这个位置,离光轴大约 46.57 mm。把点按这 0.5° 转过去,跟真值比,平面上大约偏 0.406 mm。转角不大的时候,可以记 rθr\thetarθ,θ 用弧度:46.57 × 0.5 × π/180 ≈ 0.406 mm。到了 1°,大约就是 0.81 mm。特征离中心越远,同样的角度误差越大。要是工作平面上按 0.08 mm/像素来算,中心旁边 200 个像素只相当于 16 mm,0.5° 也还有大约 0.140 mm。
高度同样会耍人。镜头不是远心的,工作距离按 200 mm 算,工件比标定时的平面高了 5 mm,横向比例大约会变 2.5%。离光轴 40 mm 的一个点,按原来的平面比例去换,位置大约差 1.0 mm:
ΔR≈R⋅ΔZZ \Delta R \approx R\cdot\frac{\Delta Z}{Z} ΔR≈R⋅ZΔZ
前面那个 (45, -12) 的点,大约差 1.16 mm。九点如果只在一个高度上采,换一种料厚,偏差就出来了。机械上的工作距离若从镜头前端量,也不能直接当成这里的光心距离。
再看平移。手眼的 X 里,XY 方向要是固定偏了 0.4 mm,单一朝向的平面标定常常能把这个偏差吃进映射里,0° 看起来还行。法兰转 180° 再抓,这段平移误差会跟着转到对面,两次抓取之间大约会差 0.8 mm。现场我愿意拿 0° 和 180° 各试一把,比只看标定残差踏实。
法兰到相机的平移本身也不小。比方说 X 的平移是 (80, 20, 150) mm,XY 上离法兰轴大约 82.46 mm。法兰绕自己的 Z 转 30°,相机光心会在空间里走一段弦:
L=2rsin(θ/2) L=2r\sin(\theta/2) L=2rsin(θ/2)
算出来大约是 42.69 mm。这段运动里同时有旋转和位移,正好是 AX=XB 要吃进去的东西。只在一个姿态附近微微平移,吃不到它。
from math import hypot, radians, sin, cos
# 0.5° 旋转误差
x, y = 45.0, -12.0
r = hypot(x, y)
th = radians(0.5)
c, s = cos(th), sin(th)
xw, yw = c * x - s * y, s * x + c * y
err = hypot(xw - x, yw - y)
# 高度变化、以及法兰转 30° 时相机走的弦长
Z, dZ, R = 200.0, 5.0, 40.0
tx, ty, ang = 80.0, 20.0, radians(30)
roff = hypot(tx, ty)
chord = 2 * roff * sin(ang / 2)
print(r, err, r * th)
print(R * dZ / Z, r * dZ / Z)
print(roff, chord)

标完以后,我比较在意这几处
式子对了,数据采集仍能把 X 带歪。标定板跟法兰之间要是松的,或者相机支架只靠两颗螺丝吊着,采的过程中 X 其实已经在变,算出来的残差不一定吓人。线缆拖着相机微微扭,也是同类问题。标完我习惯再摸一眼螺丝,并不是仪式,是现场真碰到过隔两天又偏回来的。
机器人也有自己的脾气。重复定位精度往往比绝对精度好一截,AX=XB 用的是控制器报出来的位姿。示教点附近来回走,看着稳,并不等于大范围转过去以后,绝对位姿还那么准。标定运动尽量铺开一点,验证也别只在标定时走过的那一小块做。
坐标系约定还是要核对。有的库要法兰到相机,有的要相机到法兰;工具坐标系要是跟法兰差了一个 TCP,X 会把这段差也缠进去。换了夹爪、TCP 改过,手眼通常得重做,或者至少确认软件用的是哪一层。上一篇说的内参也别忘了:标手眼前后,焦距和光圈不要再大动,对一次焦等于光学系统变了。
我自己验收,除了看优化残差,会在视野中间和靠边各放一个特征,0°、90°、180° 转着抓一把,看偏差是不是跟着角度转。残差很小但 180° 对不上,优先查 X 的平移和旋转,而不是先去改定位阈值。
下篇聊 亚像素边缘提取原理:为什么能测到 1/10 像素。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)