1. 什么是 ChArUco

ChArUco(Chessboard + ArUco)是 OpenCV aruco 模块提供的一种复合标定板,它把 ArUco 二维码标记 与经典 棋盘格(chessboard) 融合在同一个平面靶标中。棋盘格提供精确、均匀分布的角点,ArUco 标记则提供稳定、唯一的识别 ID,两者结合后即可获得“既知道某个角点是谁、又知道它在图像中的精确位置”的强约束。

对于一个 5 x 7 的 ChArUco 板,板上会分布 35 个方块,每个方块内部都嵌入一个带有唯一 ID 的 ArUco 标记,方块之间的顶点就是 ChArUco 角点。这些角点既可以通过图像处理精确定位,又可以通过标记 ID 映射到靶标坐标系中的已知三维坐标。

生成 ChArUco 标定板

采集多角度图像

检测 ArUco 标记与棋盘格角点

插值出 Charuco 角点

使用 Charuco 角点进行相机标定

姿态估计 / 视觉定位等应用

2. 为什么选择 ChArUco

传统棋盘格标定有很多局限:棋盘格被部分遮挡、离开视野、倾斜角度过大时,角点检测容易失败或丢失;而且纯棋盘格的角点没有身份信息,难以处理局部遮挡场景。

ChArUco 的核心优势在于:

  • 抗遮挡能力强:即使棋盘格的一部分被遮挡或移出画面,只要画面中保留了若干个完整的 ArUco 标记,仍然能够恢复出对应的 ChArUco 角点参与标定。
  • 角点精度高:ChArUco 角点是亚像素级别插值得到的,融合了 ArUco 角点和棋盘格角点双重信息。
  • 可扩展到多板拼接:由于每个标记都有唯一 ID,可以把多块 ChArUco 板拼接成更大的标定场景。
  • 适用于大范围、高精度标定:相比单个 ArUco 板,ChArUco 能在相同面积下提供更多、更均匀的特征点。

因此,在机器人视觉、工业相机标定、增强现实和多相机系统标定中,ChArUco 是非常常用的选择。

3. 环境准备

ChArUco 相关功能位于 opencv-contrib 的 cv2.aruco 模块中,普通版 opencv-python 不包含。推荐安装最新的 contrib 版本:

pip install opencv-contrib-python numpy

建议使用 OpenCV 4.7 及以上版本,因为本文使用的新版 API(CharucoBoard、CharucoDetector、generateImage)在 4.7+ 中稳定可用:

import cv2
import numpy as np

print("OpenCV 版本:", cv2.__version__)

如果你使用的是 4.6 及更早版本,可以使用旧版 API:cv2.aruco.CharucoBoard_create、cv2.aruco.drawPlanarBoard、cv2.aruco.interpolateCornersCharuco。后文主要演示新版写法,并在关键位置说明旧版对应关系。

4. 生成 ChArUco 标定板

4.1 核心参数

创建 ChArUco 板时需要指定以下参数:

  • squaresX / squaresY:标定板上横向、纵向的方块数量。
  • squareLength:棋盘格中单个方块的边长,单位为米(或任意一致的长度单位)。
  • markerLength:方块内部 ArUco 标记的边长,同样使用一致单位。
  • dictionary:ArUco 字典,决定每个标记的编码方式和可容纳的 ID 数量。

使用 DICT_6X6_250 字典时,标记由 6x6 的二进制网格构成,共 250 个可用 ID。下面生成一块 5 x 7 的 ChArUco 板,方格边长 4 cm,标记边长 2 cm:

import cv2

# 选择 ArUco 字典
dictionary = cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_6X6_250)

# 创建 5 列 x 7 行的 ChArUco 板
board = cv2.aruco.CharucoBoard(
    (5, 7),          # (squaresX, squaresY)
    0.04,            # squareLength:方格边长
    0.02,            # markerLength:ArUco 标记边长
    dictionary
)

# 生成高分辨率板图,留 20px 白边,标记外圈 1 bit 黑边
image = board.generateImage((2000, 1400), marginSize=20, borderBits=1)
cv2.imwrite("charuco_board.png", image)
print("标定板已保存为 charuco_board.png")

旧版等价写法为:

board = cv2.aruco.CharucoBoard_create(5, 7, 0.04, 0.02, dictionary)
image = cv2.aruco.drawPlanarBoard(board, (2000, 1400), 20, 1)

4.2 打印与测量

打印标定板时建议:

  1. 使用 A4 或 A3 纸原比例打印,不要缩放。
  2. 用尺子实际测量打印后的方格边长,如果与代码中的 squareLength 不一致,以实际测量值为准修改参数。
  3. 把标定板贴在平整坚硬的平面(如玻璃、铝板、厚纸板)上,避免弯曲造成角点三维坐标偏差。
  4. 保证光照均匀,避免反光、阴影和明显污渍。

5. 检测 ChArUco 角点

5.1 单张图像检测

新版 OpenCV 推荐使用 CharucoDetector 一次完成标记检测与 ChArUco 角点插值:

import cv2

dictionary = cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_6X6_250)
board = cv2.aruco.CharucoBoard((5, 7), 0.04, 0.02, dictionary)

img = cv2.imread("charuco_board.png")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

detector = cv2.aruco.CharucoDetector(board)
charuco_corners, charuco_ids, marker_corners, marker_ids = detector.detectBoard(gray)

print("检测到的 ChArUco 角点数量:", len(charuco_corners) if charuco_corners is not None else 0)
print("检测到的 ArUco 标记数量:", len(marker_ids) if marker_ids is not None else 0)

if charuco_ids is not None and len(charuco_ids) > 0:
    img_out = cv2.aruco.drawDetectedCornersCharuco(img, charuco_corners, charuco_ids)
    cv2.imwrite("charuco_detected.png", img_out)

返回结果说明:

  • charuco_corners:插值出的 ChArUco 角点像素坐标,形状为 (N, 1, 2)。
  • charuco_ids:与角点一一对应的 ID,形状为 (N, 1)。
  • marker_corners / marker_ids:检测到的原始 ArUco 标记角点。

5.2 旧版分步检测

旧版 API 需要先检测 ArUco 标记,再手动插值 ChArUco 角点:

params = cv2.aruco.DetectorParameters_create()
marker_corners, marker_ids, _ = cv2.aruco.detectMarkers(gray, dictionary, parameters=params)

retval, charuco_corners, charuco_ids = cv2.aruco.interpolateCornersCharuco(
    marker_corners, marker_ids, gray, board
)

6. 使用 ChArUco 进行相机标定

相机标定的目标是求解内参矩阵 camera_matrix 和畸变系数 dist_coeffs。流程是:从多个角度拍摄标定板,逐张提取 ChArUco 角点,再把所有角点和对应三维点交给 calibrateCameraCharuco 优化。

6.1 采集标定图像

建议采集 15 到 30 张图像,覆盖不同位置、角度和距离:

  • 移动标定板,使其出现在画面的各个区域。
  • 改变标定板的倾斜角度和旋转方向。
  • 让标定板距离相机远近变化,覆盖近景和远景。
  • 每次至少检测到 10 个以上 ChArUco 角点,且不要只使用同一姿态的重复图像。

将图像统一命名为 calib_01.png、calib_02.png……然后执行标定:

import cv2
import numpy as np
import glob

dictionary = cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_6X6_250)
board = cv2.aruco.CharucoBoard((5, 7), 0.04, 0.02, dictionary)

all_charuco_corners = []
all_charuco_ids = []
image_size = None

for fname in sorted(glob.glob("calib_*.png")):
    img = cv2.imread(fname)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

    if image_size is None:
        image_size = gray.shape[::-1]   # (width, height)

    detector = cv2.aruco.CharucoDetector(board)
    charuco_corners, charuco_ids, _, _ = detector.detectBoard(gray)

    if charuco_ids is not None and len(charuco_ids) >= 10:
        all_charuco_corners.append(charuco_corners)
        all_charuco_ids.append(charuco_ids)
        print(f"{fname}: {len(charuco_ids)} 个角点")
    else:
        print(f"{fname}: 角点数量不足,跳过")

# 初始内参:单位矩阵;畸变系数:全零
camera_matrix = np.eye(3, dtype=np.float64)
dist_coeffs = np.zeros((5, 1), dtype=np.float64)

ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv2.aruco.calibrateCameraCharuco(
    all_charuco_corners,
    all_charuco_ids,
    board,
    image_size,
    camera_matrix,
    dist_coeffs
)

np.save("camera_matrix.npy", camera_matrix)
np.save("dist_coeffs.npy", dist_coeffs)

print("重投影误差:", ret)
print("内参矩阵:\n", camera_matrix)
print("畸变系数:\n", dist_coeffs)

6.2 评估标定质量

ret 是全局重投影误差,单位为像素,通常越小越好。经验上:

  • 小于 0.3 px:质量很好。
  • 0.3~0.5 px:可用。
  • 大于 0.5 px:建议检查图像质量、角点数量或重新采集。

也可以逐张计算重投影误差,并剔除误差明显偏大的“坏图”后重新标定。

7. 姿态估计

标定完成后,可以利用 ChArUco 角点估计标定板相对于相机的位置和姿态,得到旋转向量 rvec 与平移向量 tvec:

import cv2
import numpy as np

dictionary = cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_6X6_250)
board = cv2.aruco.CharucoBoard((5, 7), 0.04, 0.02, dictionary)

camera_matrix = np.load("camera_matrix.npy")
dist_coeffs = np.load("dist_coeffs.npy")

img = cv2.imread("pose_test.png")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

detector = cv2.aruco.CharucoDetector(board)
charuco_corners, charuco_ids, _, _ = detector.detectBoard(gray)

if charuco_ids is not None and len(charuco_ids) >= 4:
    # 获取角点对应的三维点与二维点
    obj_points, img_points = cv2.aruco.getBoardObjectAndImagePoints(
        board, charuco_corners, charuco_ids
    )

    ret, rvec, tvec = cv2.solvePnP(
        obj_points, img_points, camera_matrix, dist_coeffs
    )

    # 在图像上绘制坐标系,轴长度 0.05 米
    cv2.drawFrameAxes(img, camera_matrix, dist_coeffs, rvec, tvec, 0.05)

    # 可选:把旋转向量转为旋转矩阵
    R, _ = cv2.Rodrigues(rvec)
    print("旋转矩阵:\n", R)
    print("平移向量:", tvec.ravel())

    cv2.imwrite("pose_result.png", img)
else:
    print("检测到的角点过少,无法求解姿态")

实际应用中,rvec / tvec 可用于机器人抓取定位、AR 叠加虚拟物体、以及多相机外参标定等场景。

8. 完整流程示例

下面把“生成标定板 → 打开摄像头实时检测 → 标定”的核心逻辑串起来。实时检测时按 s 键保存当前帧用于标定,按 q 键退出:

import cv2
import numpy as np

dictionary = cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_6X6_250)
board = cv2.aruco.CharucoBoard((5, 7), 0.04, 0.02, dictionary)

# 生成并保存标定板
board_image = board.generateImage((2000, 1400), marginSize=20, borderBits=1)
cv2.imwrite("charuco_board.png", board_image)

cap = cv2.VideoCapture(0)
save_count = 0

while True:
    ret, frame = cap.read()
    if not ret:
        break

    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    detector = cv2.aruco.CharucoDetector(board)
    charuco_corners, charuco_ids, _, _ = detector.detectBoard(gray)

    if charuco_ids is not None and len(charuco_ids) > 0:
        cv2.aruco.drawDetectedCornersCharuco(frame, charuco_corners, charuco_ids)

    cv2.imshow("Charuco Detection", frame)
    key = cv2.waitKey(1) & 0xFF

    if key == ord('s') and charuco_ids is not None and len(charuco_ids) >= 10:
        save_count += 1
        cv2.imwrite(f"calib_{save_count:02d}.png", frame)
        print(f"已保存第 {save_count} 张标定图像")
    elif key == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

采集完成后,运行第 6 节的标定脚本即可得到相机内参和畸变系数。

9. 参数调优与常见问题

9.1 检测不到足够角点

  • 调整 DetectorParameters 中的 adaptiveThreshWinSizeMin/Max、minMarkerPerimeterRate 等阈值。
  • 确保图像对焦清晰、光照均匀,避免反光和模糊。
  • 减小 markerLength 与实际打印尺寸不匹配导致的物理尺寸误差。
  • 适当缩小拍摄距离或使用更高分辨率的相机。

新版可以在 CharucoDetector 中传入自定义参数对象:

params = cv2.aruco.DetectorParameters_create()
params.minMarkerPerimeterRate = 0.02
aruco_detector = cv2.aruco.ArucoDetector(dictionary, params)
detector = cv2.aruco.CharucoDetector(board, aruco_detector)

9.2 标定结果误差大

  • 打印板时不要缩放,并重新测量真实方格边长。
  • 删除重投影误差明显偏高的图像后重新标定。
  • 检查角点是否出现“飞点”或错位,必要时用 cv2.cornerSubPix 再次精化角点。
  • 保证标定板在不同角度、不同区域内均有足够覆盖。

9.3 姿态估计不稳定

  • 控制角点数量:solvePnP 至少需要 4 个非共面点,实际建议使用 10 个以上角点。
  • 优先使用 cv2.solvePnP 的默认迭代法;若角点存在异常值,可尝试 cv2.solvePnPRansac 提升鲁棒性。
  • 确保投入姿态估计的相机内参是当前相机标定所得,而不是更换镜头后继续沿用旧参数。

9.4 版本兼容建议

  • 4.7+:使用 cv2.aruco.CharucoBoard、board.generateImage、CharucoDetector。
  • 4.x 早期版本:使用 CharucoBoard_create、drawPlanarBoard、interpolateCornersCharuco。
  • 若升级后旧代码报错,优先查阅 OpenCV 对应版本的官方文档,确认函数签名是否变化。

10. 总结

ChArUco 标定板把棋盘格的精确角点与 ArUco 标记的强识别能力结合起来,解决了传统标定板在遮挡、视野受限场景下的痛点,非常适合机器人、工业视觉和多相机系统中的高精度相机标定与姿态估计。

完整的应用链路可以归纳为:生成标准板图 → 打印并测量真实尺寸 → 采集多角度图像 → 检测 ArUco 标记 → 插值 ChArUco 角点 → 相机标定 → 姿态估计与下游应用。掌握这套流程后,你可以轻松地把 ChArUco 迁移到自己的视觉定位、手眼标定或增强现实项目中。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐