在工业码垛产线中，传统示教型机器人只能处理固定位置的工件，来料偏移、产品换型都需要人工重新示教点位，单条产线换型往往需要数小时，柔性极差。视觉定位是解决这一问题的核心方案，但绝大多数落地案例都卡在“识别出目标”之后：像素坐标怎么转成机器人坐标？手眼标定怎么做？为什么标定完误差总有一两厘米？

本文从工业现场的实际需求出发，完整拆解码垛机器人视觉定位的全链路，覆盖YOLO目标检测部署、相机标定、手眼标定、坐标转换、机器人通讯与码垛逻辑，结合现场调试的高频问题给出可落地的解决方案。

整体方案与实现流程

码垛视觉定位的核心是建立“像素坐标→相机坐标系→机器人基坐标系”的完整映射，最终让机器人根据视觉结果自动修正抓取点。整个系统分为图像采集、目标检测、标定计算、坐标转换、机器人执行五个核心环节，标定与推理并行，保证现场换型时可快速重新校准。

一、系统架构与硬件选型

硬件组成

工业码垛场景对稳定性和重复精度要求高，硬件选型直接决定最终定位效果：

• 工业相机：优先选择全局快门面阵相机，500万像素即可满足绝大多数码垛场景，避免卷帘快门导致的运动拖影；
• 镜头与光源：根据工作距离和视野范围选择定焦镜头，搭配环形漫射光源或背光光源，减少工件反光和阴影；
• 码垛机器人：四轴码垛机器人或六轴工业机器人，重复定位精度±0.1mm以上；
• 工控机：搭载GPU或NPU加速卡，负责视觉推理、坐标计算和机器人通讯调度。

软件架构

系统采用模块化设计，各模块通过TCP或共享内存交互，方便单独调试和替换：

1. 图像采集模块：通过SDK调用工业相机，支持触发模式和连续采集；
2. 目标检测模块：基于YOLO模型推理，输出目标中心点、长宽、旋转角度；
3. 标定模块：集成相机标定、手眼标定工具，输出内参矩阵和手眼变换矩阵；
4. 坐标转换模块：完成像素坐标到机器人基坐标的全链路计算；
5. 机器人控制模块：通过TCP/IP或PLC中转，向机器人下发运动指令。

二、YOLO目标检测与像素坐标提取

工业场景模型训练

工业工件数据集和通用数据集差异极大，直接使用预训练模型很容易出现漏检、误检。训练时重点关注三点：

• 数据集采集覆盖不同光照、角度、堆叠状态，加入遮挡、反光、背景干扰样本；
• 优先使用小模型（如YOLOv8n/YOLO11n），保证推理帧率满足产线节拍；
• 若工件存在旋转角度，使用旋转目标检测模型，输出目标的中心点和角度。

推理与像素坐标提取

推理阶段不仅要输出检测框，还要提取亚像素级的中心点坐标，同时过滤置信度低、超出视野的目标。以下是C#基于ONNX Runtime的核心推理片段，提取目标中心点与旋转角度：

// 推理输出解析，提取目标中心点与姿态
foreach (var det in detections)
{
    if (det.Confidence < 0.6) continue;
    
    // 目标中心点像素坐标
    float cx = det.X + det.Width / 2f;
    float cy = det.Y + det.Height / 2f;
    float angle = det.Angle; // 旋转目标检测输出
    
    // 亚像素精度修正，根据检测框质量加权
    // 过滤边缘目标，避免坐标转换误差放大
    if (cx < 20 || cx > imageWidth - 20 || cy < 20 || cy > imageHeight - 20)
        continue;
    
    targetPoints.Add(new PixelPoint(cx, cy, angle));
}

实时性优化

工业码垛通常要求单帧处理时间≤100ms，可通过以下方式优化：

• 模型导出为ONNX并使用TensorRT量化，FP16精度下速度提升2~3倍；
• 固定推理分辨率，避免图像缩放带来的额外开销；
• 采用多线程架构，图像采集、推理、坐标计算、机器人通讯分别在独立线程运行。

三、相机标定与畸变校正

像素坐标不能直接用于计算，必须先通过相机标定得到内参矩阵和畸变系数，消除镜头畸变，建立像素到物理尺寸的映射。

标定流程

1. 打印标准棋盘格标定板，固定在与工件抓取面同一高度的平面上；
2. 控制机器人带动标定板（或手动移动），在相机视野内采集15~20张不同位置、不同角度的图像；
3. 标定算法检测角点，计算内参矩阵、畸变系数和外参；
4. 验证重投影误差，工业场景要求重投影误差≤0.5像素。

畸变校正

镜头畸变会导致图像边缘坐标偏移，必须在坐标转换前完成校正。核心校正公式如下：

x_corrected = x * (1 + k1*r² + k2*r⁴ + k3*r⁶) + 2*p1*x*y + p2*(r² + 2*x²)
y_corrected = y * (1 + k1*r² + k2*r⁴ + k3*r⁶) + p1*(r² + 2*y²) + 2*p2*x*y

校正后，像素坐标与物理平面的比例关系才是线性的，否则视野边缘的定位误差会被显著放大。

四、手眼标定与坐标转换核心原理

手眼标定是视觉定位的核心，目的是求解相机坐标系与机器人基坐标系之间的变换关系。码垛场景绝大多数采用**眼在手外（Eye-to-Hand）**方案，相机固定在支架上，不随机器人运动。

手眼标定数学原理

眼在手外的标定满足手眼方程 AX = XB：

• A：机器人基坐标系下，两次运动的末端位姿变换；
• B：相机坐标系下，两次标定板的位姿变换；
• X：待求的相机坐标系到机器人基坐标系的齐次变换矩阵。

采集9组以上不同位姿的标定数据，通过最小二乘法求解X，即可得到手眼矩阵。

标定操作要点

1. 标定板必须放置在机器人实际抓取的高度平面，Z轴高度偏差会直接导致平面坐标误差；
2. 采样位姿要覆盖整个工作区域，角度变化尽量大，避免矩阵求解出现奇异性；
3. 标定完成后必须验证：取视野内多个点，对比视觉计算坐标与机器人示教坐标，误差应≤1mm。

完整坐标转换链路

从像素坐标到机器人基坐标，需要经过三步齐次变换：

1. 像素坐标 → 相机坐标系：通过内参矩阵反投影，得到相机坐标系下的三维坐标；
2. 相机坐标系 → 机器人基坐标系：通过手眼变换矩阵完成旋转和平移；
3. 抓取高度补偿：根据工件高度、吸盘尺寸修正Z轴和抓取姿态。

以下是C#坐标转换的核心实现：

// 像素坐标转机器人基坐标
public RobotPoint PixelToRobot(double u, double v, double z)
{
    // 1. 像素坐标转相机坐标系（归一化平面）
    double x_cam = (u - cx) / fx;
    double y_cam = (v - cy) / fy;
    
    // 2. 结合抓取高度Z，得到相机坐标系下三维点
    Vector3 camPoint = new Vector3(x_cam * z, y_cam * z, z);
    
    // 3. 手眼矩阵变换到机器人基坐标系
    Vector3 basePoint = handEyeMatrix.Transform(camPoint);
    
    // 4. 工具坐标系偏移补偿
    basePoint.X += toolOffsetX;
    basePoint.Y += toolOffsetY;
    basePoint.Z += toolOffsetZ;
    
    return new RobotPoint(basePoint.X, basePoint.Y, basePoint.Z);
}

五、码垛轨迹与机器人执行

垛型规划与抓取逻辑

得到工件坐标后，需要根据码垛工艺计算垛型，生成抓取和放置轨迹：

• 按工件尺寸、托盘尺寸计算每层的行数、列数和间距；
• 多层码垛时加入层间偏移，保证垛型稳定；
• 抓取轨迹采用“接近→抓取→提升→搬运→放置”的分段运动，避免碰撞。

机器人通讯

工业现场通常通过两种方式实现视觉与机器人的交互：

• 直接通讯：通过TCP/IP协议与机器人控制器通信，发送目标坐标，适合ABB、发那科、汇川等支持Socket通讯的机器人；
• PLC中转：视觉系统将坐标发送给PLC，由PLC统一调度机器人和产线设备，适合多设备联动的复杂产线。

异常处理

工业现场必须考虑异常场景：

• 未检测到目标时，触发补料或报警，不发送无效坐标；
• 坐标超出机器人工作范围时，直接拦截并上报；
• 连续多帧识别失败时，自动触发光源亮度调整或重新标定提示。

六、现场调试高频踩坑总结

1. 标定误差大、定位不准

优先排查三个问题：标定板是否和抓取面共面、相机是否有轻微晃动、机器人末端TCP是否标定准确。很多人忽略TCP标定，机器人本身的工具坐标误差会直接叠加到视觉定位结果上。

2. 视野边缘误差明显

几乎都是镜头畸变校正不到位导致的。标定样本要覆盖视野边缘，不能只在中心区域采样；大视野、短焦距镜头必须使用至少三阶畸变模型。

3. 光照变化导致检测漂移

工业现场光照波动、工件反光是常见问题。优先采用漫射光源，避免直射；在检测逻辑中加入坐标滤波，对连续多帧结果做卡尔曼滤波，减少单次检测的抖动。

4. 实时性不达标

模型量化和多线程优化是基础，还要注意避免在推理线程中做坐标计算、通讯等耗时操作；如果产线节拍要求极高，可以采用触发采集模式，只在工件到位时触发拍照。

七、总结

码垛机器人视觉定位的核心不是“用YOLO识别出目标”，而是建立一套稳定、可复现的坐标映射体系。从相机标定、手眼标定到坐标转换，每一步的误差都会最终叠加到抓取精度上。

实际落地时，不要过度追求模型精度，而要把更多精力放在标定验证、现场光照、机械结构稳定性和异常处理上。工业场景的核心需求永远是稳定、可靠、可维护。