ChArUco 标定:原理、生成与标定实战
ChArUco标定
1. 什么是 ChArUco
ChArUco(Chessboard + ArUco)是 OpenCV aruco 模块提供的一种复合标定板,它把 ArUco 二维码标记 与经典 棋盘格(chessboard) 融合在同一个平面靶标中。棋盘格提供精确、均匀分布的角点,ArUco 标记则提供稳定、唯一的识别 ID,两者结合后即可获得“既知道某个角点是谁、又知道它在图像中的精确位置”的强约束。
对于一个 5 x 7 的 ChArUco 板,板上会分布 35 个方块,每个方块内部都嵌入一个带有唯一 ID 的 ArUco 标记,方块之间的顶点就是 ChArUco 角点。这些角点既可以通过图像处理精确定位,又可以通过标记 ID 映射到靶标坐标系中的已知三维坐标。
2. 为什么选择 ChArUco
传统棋盘格标定有很多局限:棋盘格被部分遮挡、离开视野、倾斜角度过大时,角点检测容易失败或丢失;而且纯棋盘格的角点没有身份信息,难以处理局部遮挡场景。
ChArUco 的核心优势在于:
- 抗遮挡能力强:即使棋盘格的一部分被遮挡或移出画面,只要画面中保留了若干个完整的 ArUco 标记,仍然能够恢复出对应的 ChArUco 角点参与标定。
- 角点精度高:ChArUco 角点是亚像素级别插值得到的,融合了 ArUco 角点和棋盘格角点双重信息。
- 可扩展到多板拼接:由于每个标记都有唯一 ID,可以把多块 ChArUco 板拼接成更大的标定场景。
- 适用于大范围、高精度标定:相比单个 ArUco 板,ChArUco 能在相同面积下提供更多、更均匀的特征点。
因此,在机器人视觉、工业相机标定、增强现实和多相机系统标定中,ChArUco 是非常常用的选择。
3. 环境准备
ChArUco 相关功能位于 opencv-contrib 的 cv2.aruco 模块中,普通版 opencv-python 不包含。推荐安装最新的 contrib 版本:
pip install opencv-contrib-python numpy
建议使用 OpenCV 4.7 及以上版本,因为本文使用的新版 API(CharucoBoard、CharucoDetector、generateImage)在 4.7+ 中稳定可用:
import cv2
import numpy as np
print("OpenCV 版本:", cv2.__version__)
如果你使用的是 4.6 及更早版本,可以使用旧版 API:cv2.aruco.CharucoBoard_create、cv2.aruco.drawPlanarBoard、cv2.aruco.interpolateCornersCharuco。后文主要演示新版写法,并在关键位置说明旧版对应关系。
4. 生成 ChArUco 标定板
4.1 核心参数
创建 ChArUco 板时需要指定以下参数:
squaresX / squaresY:标定板上横向、纵向的方块数量。squareLength:棋盘格中单个方块的边长,单位为米(或任意一致的长度单位)。markerLength:方块内部 ArUco 标记的边长,同样使用一致单位。dictionary:ArUco 字典,决定每个标记的编码方式和可容纳的 ID 数量。
使用 DICT_6X6_250 字典时,标记由 6x6 的二进制网格构成,共 250 个可用 ID。下面生成一块 5 x 7 的 ChArUco 板,方格边长 4 cm,标记边长 2 cm:
import cv2
# 选择 ArUco 字典
dictionary = cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_6X6_250)
# 创建 5 列 x 7 行的 ChArUco 板
board = cv2.aruco.CharucoBoard(
(5, 7), # (squaresX, squaresY)
0.04, # squareLength:方格边长
0.02, # markerLength:ArUco 标记边长
dictionary
)
# 生成高分辨率板图,留 20px 白边,标记外圈 1 bit 黑边
image = board.generateImage((2000, 1400), marginSize=20, borderBits=1)
cv2.imwrite("charuco_board.png", image)
print("标定板已保存为 charuco_board.png")
旧版等价写法为:
board = cv2.aruco.CharucoBoard_create(5, 7, 0.04, 0.02, dictionary)
image = cv2.aruco.drawPlanarBoard(board, (2000, 1400), 20, 1)
4.2 打印与测量
打印标定板时建议:
- 使用 A4 或 A3 纸原比例打印,不要缩放。
- 用尺子实际测量打印后的方格边长,如果与代码中的
squareLength不一致,以实际测量值为准修改参数。 - 把标定板贴在平整坚硬的平面(如玻璃、铝板、厚纸板)上,避免弯曲造成角点三维坐标偏差。
- 保证光照均匀,避免反光、阴影和明显污渍。
5. 检测 ChArUco 角点
5.1 单张图像检测
新版 OpenCV 推荐使用 CharucoDetector 一次完成标记检测与 ChArUco 角点插值:
import cv2
dictionary = cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_6X6_250)
board = cv2.aruco.CharucoBoard((5, 7), 0.04, 0.02, dictionary)
img = cv2.imread("charuco_board.png")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
detector = cv2.aruco.CharucoDetector(board)
charuco_corners, charuco_ids, marker_corners, marker_ids = detector.detectBoard(gray)
print("检测到的 ChArUco 角点数量:", len(charuco_corners) if charuco_corners is not None else 0)
print("检测到的 ArUco 标记数量:", len(marker_ids) if marker_ids is not None else 0)
if charuco_ids is not None and len(charuco_ids) > 0:
img_out = cv2.aruco.drawDetectedCornersCharuco(img, charuco_corners, charuco_ids)
cv2.imwrite("charuco_detected.png", img_out)
返回结果说明:
charuco_corners:插值出的 ChArUco 角点像素坐标,形状为(N, 1, 2)。charuco_ids:与角点一一对应的 ID,形状为(N, 1)。marker_corners / marker_ids:检测到的原始 ArUco 标记角点。
5.2 旧版分步检测
旧版 API 需要先检测 ArUco 标记,再手动插值 ChArUco 角点:
params = cv2.aruco.DetectorParameters_create()
marker_corners, marker_ids, _ = cv2.aruco.detectMarkers(gray, dictionary, parameters=params)
retval, charuco_corners, charuco_ids = cv2.aruco.interpolateCornersCharuco(
marker_corners, marker_ids, gray, board
)
6. 使用 ChArUco 进行相机标定
相机标定的目标是求解内参矩阵 camera_matrix 和畸变系数 dist_coeffs。流程是:从多个角度拍摄标定板,逐张提取 ChArUco 角点,再把所有角点和对应三维点交给 calibrateCameraCharuco 优化。
6.1 采集标定图像
建议采集 15 到 30 张图像,覆盖不同位置、角度和距离:
- 移动标定板,使其出现在画面的各个区域。
- 改变标定板的倾斜角度和旋转方向。
- 让标定板距离相机远近变化,覆盖近景和远景。
- 每次至少检测到 10 个以上 ChArUco 角点,且不要只使用同一姿态的重复图像。
将图像统一命名为 calib_01.png、calib_02.png……然后执行标定:
import cv2
import numpy as np
import glob
dictionary = cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_6X6_250)
board = cv2.aruco.CharucoBoard((5, 7), 0.04, 0.02, dictionary)
all_charuco_corners = []
all_charuco_ids = []
image_size = None
for fname in sorted(glob.glob("calib_*.png")):
img = cv2.imread(fname)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
if image_size is None:
image_size = gray.shape[::-1] # (width, height)
detector = cv2.aruco.CharucoDetector(board)
charuco_corners, charuco_ids, _, _ = detector.detectBoard(gray)
if charuco_ids is not None and len(charuco_ids) >= 10:
all_charuco_corners.append(charuco_corners)
all_charuco_ids.append(charuco_ids)
print(f"{fname}: {len(charuco_ids)} 个角点")
else:
print(f"{fname}: 角点数量不足,跳过")
# 初始内参:单位矩阵;畸变系数:全零
camera_matrix = np.eye(3, dtype=np.float64)
dist_coeffs = np.zeros((5, 1), dtype=np.float64)
ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv2.aruco.calibrateCameraCharuco(
all_charuco_corners,
all_charuco_ids,
board,
image_size,
camera_matrix,
dist_coeffs
)
np.save("camera_matrix.npy", camera_matrix)
np.save("dist_coeffs.npy", dist_coeffs)
print("重投影误差:", ret)
print("内参矩阵:\n", camera_matrix)
print("畸变系数:\n", dist_coeffs)
6.2 评估标定质量
ret 是全局重投影误差,单位为像素,通常越小越好。经验上:
- 小于 0.3 px:质量很好。
- 0.3~0.5 px:可用。
- 大于 0.5 px:建议检查图像质量、角点数量或重新采集。
也可以逐张计算重投影误差,并剔除误差明显偏大的“坏图”后重新标定。
7. 姿态估计
标定完成后,可以利用 ChArUco 角点估计标定板相对于相机的位置和姿态,得到旋转向量 rvec 与平移向量 tvec:
import cv2
import numpy as np
dictionary = cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_6X6_250)
board = cv2.aruco.CharucoBoard((5, 7), 0.04, 0.02, dictionary)
camera_matrix = np.load("camera_matrix.npy")
dist_coeffs = np.load("dist_coeffs.npy")
img = cv2.imread("pose_test.png")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
detector = cv2.aruco.CharucoDetector(board)
charuco_corners, charuco_ids, _, _ = detector.detectBoard(gray)
if charuco_ids is not None and len(charuco_ids) >= 4:
# 获取角点对应的三维点与二维点
obj_points, img_points = cv2.aruco.getBoardObjectAndImagePoints(
board, charuco_corners, charuco_ids
)
ret, rvec, tvec = cv2.solvePnP(
obj_points, img_points, camera_matrix, dist_coeffs
)
# 在图像上绘制坐标系,轴长度 0.05 米
cv2.drawFrameAxes(img, camera_matrix, dist_coeffs, rvec, tvec, 0.05)
# 可选:把旋转向量转为旋转矩阵
R, _ = cv2.Rodrigues(rvec)
print("旋转矩阵:\n", R)
print("平移向量:", tvec.ravel())
cv2.imwrite("pose_result.png", img)
else:
print("检测到的角点过少,无法求解姿态")
实际应用中,rvec / tvec 可用于机器人抓取定位、AR 叠加虚拟物体、以及多相机外参标定等场景。
8. 完整流程示例
下面把“生成标定板 → 打开摄像头实时检测 → 标定”的核心逻辑串起来。实时检测时按 s 键保存当前帧用于标定,按 q 键退出:
import cv2
import numpy as np
dictionary = cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_6X6_250)
board = cv2.aruco.CharucoBoard((5, 7), 0.04, 0.02, dictionary)
# 生成并保存标定板
board_image = board.generateImage((2000, 1400), marginSize=20, borderBits=1)
cv2.imwrite("charuco_board.png", board_image)
cap = cv2.VideoCapture(0)
save_count = 0
while True:
ret, frame = cap.read()
if not ret:
break
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
detector = cv2.aruco.CharucoDetector(board)
charuco_corners, charuco_ids, _, _ = detector.detectBoard(gray)
if charuco_ids is not None and len(charuco_ids) > 0:
cv2.aruco.drawDetectedCornersCharuco(frame, charuco_corners, charuco_ids)
cv2.imshow("Charuco Detection", frame)
key = cv2.waitKey(1) & 0xFF
if key == ord('s') and charuco_ids is not None and len(charuco_ids) >= 10:
save_count += 1
cv2.imwrite(f"calib_{save_count:02d}.png", frame)
print(f"已保存第 {save_count} 张标定图像")
elif key == ord('q'):
break
cap.release()
cv2.destroyAllWindows()
采集完成后,运行第 6 节的标定脚本即可得到相机内参和畸变系数。
9. 参数调优与常见问题
9.1 检测不到足够角点
- 调整
DetectorParameters中的adaptiveThreshWinSizeMin/Max、minMarkerPerimeterRate等阈值。 - 确保图像对焦清晰、光照均匀,避免反光和模糊。
- 减小
markerLength与实际打印尺寸不匹配导致的物理尺寸误差。 - 适当缩小拍摄距离或使用更高分辨率的相机。
新版可以在 CharucoDetector 中传入自定义参数对象:
params = cv2.aruco.DetectorParameters_create()
params.minMarkerPerimeterRate = 0.02
aruco_detector = cv2.aruco.ArucoDetector(dictionary, params)
detector = cv2.aruco.CharucoDetector(board, aruco_detector)
9.2 标定结果误差大
- 打印板时不要缩放,并重新测量真实方格边长。
- 删除重投影误差明显偏高的图像后重新标定。
- 检查角点是否出现“飞点”或错位,必要时用
cv2.cornerSubPix再次精化角点。 - 保证标定板在不同角度、不同区域内均有足够覆盖。
9.3 姿态估计不稳定
- 控制角点数量:
solvePnP至少需要 4 个非共面点,实际建议使用 10 个以上角点。 - 优先使用
cv2.solvePnP的默认迭代法;若角点存在异常值,可尝试cv2.solvePnPRansac提升鲁棒性。 - 确保投入姿态估计的相机内参是当前相机标定所得,而不是更换镜头后继续沿用旧参数。
9.4 版本兼容建议
- 4.7+:使用
cv2.aruco.CharucoBoard、board.generateImage、CharucoDetector。 - 4.x 早期版本:使用
CharucoBoard_create、drawPlanarBoard、interpolateCornersCharuco。 - 若升级后旧代码报错,优先查阅 OpenCV 对应版本的官方文档,确认函数签名是否变化。
10. 总结
ChArUco 标定板把棋盘格的精确角点与 ArUco 标记的强识别能力结合起来,解决了传统标定板在遮挡、视野受限场景下的痛点,非常适合机器人、工业视觉和多相机系统中的高精度相机标定与姿态估计。
完整的应用链路可以归纳为:生成标准板图 → 打印并测量真实尺寸 → 采集多角度图像 → 检测 ArUco 标记 → 插值 ChArUco 角点 → 相机标定 → 姿态估计与下游应用。掌握这套流程后,你可以轻松地把 ChArUco 迁移到自己的视觉定位、手眼标定或增强现实项目中。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)