1.引言  

做过园区安防、机器人避障、门店客流统计的朋友,八成遇到过同一个追问:

摄像头把人框出来了,然后呢?这个人离我到底多远?

检测回答的是"有没有人、人在画面哪个位置",吐出来的是像素坐标;可业务要的是米。机器人得知道还有多远开始减速,安防得判断人有没有踏进危险区,零售想知道顾客停在哪排货架前。

好在 2026 年搭这条链路比过去省事得多。Ultralytics 今年放出的 YOLO26,有三处改动跟这件事直接挂钩:

  1. 端到端推理成了默认,NMS 直接省掉。one-to-one 检测头一次性输出结果(上限 300 个框),部署时不必再琢磨 NMS 阈值,少了一处最容易出岔子的环节。
  2. CPU 上提速可观。官方数据:yolo26n 在 CPU ONNX 上比 YOLO11n 最高快 43%,参数量只有 2.45M、5.4 GFLOPs——没有 GPU 的边缘设备同样跑得动。
  3. 单目深度估计成了原生任务。yolo26n-depth.pt可以从单张图直接预测逐像素深度,官方对标 Depth Anything V2,最小型号快 7.7 倍。

先扫一眼官方性能表(COCO val,T4 TensorRT):

模型

mAP (50-95)

T4 延迟

参数量

FLOPs

yolo26n

40.9

1.7 ms

2.4M

5.4G

yolo26s

48.6

2.5 ms

9.5M

20.7G

yolo26m

53.1

4.7 ms

20.4M

68.2G

yolo26l

55.0

6.2 ms

24.8M

86.4G

yolo26x

57.5

11.8 ms

55.7M

193.9G

不过先泼一盆冷水,绕开那个踩坑率最高的点:Ultralytics 官方 solutions 里有个 DistanceCalculation 示例,它算的是两个检测框中心之间的像素距离,官方文档自己就注明了"基于 2D 数据、缺少深度信息"。把它当真实距离用,是新手最容易翻的车。本文要做的,是带物理单位、真能报出米的测距。

 2.视差凭什么能变成距离  

人眼之所以能判断远近,是因为两只眼睛看到的画面存在细微差异,大脑拿这个差异反推距离。双目摄像头就是把这套机制做成硬件。

两台相机水平并排,间距 B,也就是基线。同一个空间点,落在左图的第 xL 列、右图的第 xR 列,两者之差就是视差:d = xL − xR。

把图像矫正到"同一空间点在左右图中落在同一行"之后,匹配只需要在水平方向做一维搜索,几何关系收拢成一个非常干净的三角形:

Z = f × B / d

符号

含义

单位

说明

Z

目标到相机的距离

米

我们要求的量

f

焦距

像素

标定得到,如 800 px

B

基线,两相机间距

米

如 0.12 m

d

视差

像素

左图列号减右图列号

图片

图:同一空间点在左右图的列号差就是视差,代入 Z = f×B/d 直接出米

这条式子能读出两条很实用的直觉结论,做方案选型时特别管用:

越近的东西视差越大。3 米外的人视差可能有几十个像素,30 米外往往只剩一两个像素——所以远距离测距天然更难。

基线决定量程上限。想测得远,基线就得拉长。手机双摄基线只有几厘米,有效测距通常两三米;工业双目基线 12~20 厘米,量程能到二三十米;车载方案基线更长,看的是百米级。

 3. 完整链路:从一帧画面到"距离 2.3 米"

整条链路五步,每一步都有成熟工具,没有需要自己造轮子的地方:

  1. 标定:棋盘格拍一组照片,算出左右相机内参、畸变和相对位姿;
  2. 矫正:把左右图"掰正",让同名点落在同一行,视差才有意义;
  3. 检测:YOLO26 跑在矫正后的左图上,只留 person 类;
  4. 视差图:StereoSGBM 生成全图视差;
  5. 框内读数:在人体框内部取视差中值,代入 Z = fB/d。

图片

图:五步链路——标定、矫正、检测、视差、框内读数,每一步都有现成工具

下面逐步拆代码,最后拼成一个可直接运行的脚本。

1 标定与矫正(一次性工作)

用 9×6 棋盘格,左右相机同步拍 20~30 张不同角度的照片,然后:

import cv2
import glob
import numpy as np

# 棋盘格角点数(内角点,不是方格数)
pattern = (9, 6)
square = 0.025# 棋盘格方格边长,单位米,务必量准

objp = np.zeros((pattern[0] * pattern[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:pattern[0], 0:pattern[1]].T.reshape(-1, 2) * square

obj_pts, l_pts, r_pts = [], [], []
for i, name inenumerate(sorted(glob.glob("calib/*.png"))):
    img = cv2.imread(name)
# 实际工程中这里是左右拼接图,按宽度切开
    left, right = img[:, :img.shape[1] // 2], img[:, img.shape[1] // 2:]
    gl, cl = cv2.findChessboardCorners(left, pattern)
    gr, cr = cv2.findChessboardCorners(right, pattern)
if gl and gr:
        obj_pts.append(objp)
        l_pts.append(cl); r_pts.append(cr)

# 立体标定:得到内参、畸变、旋转 R、平移 T
ret, K1, d1, K2, d2, R, T, E, F = cv2.stereoCalibrate(
    obj_pts, l_pts, r_pts, K1, d1, K2, d2, left.shape[::-1])

# 立体矫正映射表,后续每帧用 remap 即可
R1, R2, P1, P2, Q, roi1, roi2 = cv2.stereoRectify(
    K1, d1, K2, d2, left.shape[::-1], R, T, alpha=0)
mapL = cv2.initUndistortRectifyMap(K1, d1, R1, P1, left.shape[::-1], cv2.CV_16SC2)
mapR = cv2.initUndistortRectifyMap(K2, d2, R2, P2, right.shape[::-1], cv2.CV_16SC2)
np.savez("rectify_maps.npz", mapL=mapL, mapR=mapR, P1=P1)

2 检测 + 视差 + 读数(每帧都跑)

from ultralytics import YOLO
import cv2
import numpy as np

model = YOLO("yolo26n.pt")          # 首次运行自动下载权重
data = np.load("rectify_maps.npz")
mapL, mapR = data["mapL"], data["mapR"]
f = data["P1"][0, 0]                # 矫正后焦距(像素)
B = 0.12# 基线,单位米,按你的硬件填

# SGBM 视差:numDisparities 必须是 16 的倍数,决定量程下限
sgbm = cv2.StereoSGBM_create(minDisparity=0, numDisparities=128,
                             blockSize=5, P1=8*3*25, P2=32*3*25,
                             speckleWindowSize=100, speckleRange=2)

left  = cv2.remap(raw_left,  mapL, None, cv2.INTER_LINEAR)
right = cv2.remap(raw_right, mapR, None, cv2.INTER_LINEAR)

# YOLO26 端到端推理,只保留 person(COCO 第 0 类)
boxes = model(left, classes=[0], verbose=False)[0].boxes

disp = sgbm.compute(left, right).astype(np.float32) / 16.0# 注意 /16

for b in boxes:
    x1, y1, x2, y2 = map(int, b.xyxy[0])
# 取框中央 60% 区域的视差中值:中值抗背景污染,均值会翻车
    roi = disp[int(y1 + (y2 - y1) * 0.2):int(y2 - (y2 - y1) * 0.2),
int(x1 + (x2 - x1) * 0.2):int(x2 - (x2 - x1) * 0.2)]
    valid = roi[roi > 0]
iflen(valid) == 0:
continue
    d = np.median(valid)
    z = f * B / d                   # 核心公式,一步到米
    cv2.putText(left, f"person {z:.1f}m", (x1, y1 - 8),
                cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 0), 2)

写这篇稿子时我在本机实打实跑了一遍:ultralytics 8.4.135,yolo26n 在 CPU 上对官方示例图 bus.jpg 端到端输出 4 个人体框,置信度 0.91、0.91、0.87、0.53,全程没有碰过 NMS 阈值;同一张图送进 yolo26n-depth,输出的深度场范围 2.2~17.8,人物区域明显比背景更近。检测和深度都是现成的,剩下的就是几何那点粘合的活。

图片

图:本机实测,YOLO26n 在官方示例图上检出 4 个人体框,端到端输出免 NMS

几个关键细节单独拎出来强调:

sgbm.compute 的输出是 Q12.4 定点数,必须除以 16 才是真实视差,漏掉这一步距离会差一个数量级。

框内采样用中值而不是均值。人体框里混着衣服边缘、缝隙和身后的墙面,均值会被背景带偏;再取中央 60% 区域,进一步挡掉边缘噪声。

图片

图:只取中央 60% 区域、用中值——框里混进的墙面、缝隙不会把距离拉偏

numDisparities 越大,能看到的"最近距离"越近,但计算量线性上升;128 对大多数场景够用。

检测跑在矫正后的左图上。YOLO 对轻度畸变不敏感,但矫正之后的框和视差图天然对齐,省掉坐标换算的麻烦。

 4.只有一台普通相机怎么办  

很多项目现场就是只有一台监控相机,双目方案根本没法上。两条路,各有各的边界,实话实说:

路线 A:身高先验法。

成年人身高大致在 1.6~1.8 米之间,把它当"已知尺子"。人越远,框越矮:

# Z = 焦距(px) × 真实身高(m) / 检测框高(px)
H_real = 1.70# 目标人群平均身高,可按场景调
z = f_px * H_real / (y2 - y1)

优点是不需要深度模型、任何相机都能跑;缺点是误差坦白讲在 ±10%~30%:人戴帽子、蹲下、侧身、穿长裙都会改变框高,相机俯仰角大时还要做地面投影修正。用它做"大致远近分级、靠近告警"完全够,做精确计量不行。

路线 B:YOLO26-depth 单目深度。

YOLO26 原生带深度估计任务,yolo26n-depth.pt 输入 768×768,官方在 T4 TensorRT 上跑到 2.7ms 一帧(约 365 FPS),比 Depth Anything V2 Small 快 7.7 倍,且精度指标(NYU delta1 0.882~0.933,视规模)不差。用法和检测一样简单:

from ultralytics import YOLO
depth_model = YOLO("yolo26n-depth.pt")
depth_map = depth_model("frame.jpg")[0].depth   # 逐像素深度图
# 在人体框内取中值,即为该人的深度估计

图片

图:本机实测深度输出,越亮越近、越深越远;相对深度直接可用,要米先做尺度标定

但有一个必须知道的前提:官方的 log-depth 头输出的是相对深度场,绝对尺度(真实的"米")需要通过轻量标定或微调恢复。做"谁比谁近、靠近趋势告警"这类相对判断没问题,要报出精确米数,请先做尺度标定。

两条单目路线和双目放一起看:

路线

精度

量程

硬件要求

一句话评价

双目视差

高,厘米级

基线决定,可达数十米

双目相机/一体机

要准就上双目

身高先验

±10%~30%

看分辨率

任意单相机

便宜的分段告警

YOLO26-depth

相对深度准,绝对需标定

0.02~150m(模型上界)

任意单相机

单目场景的新默认选项

 4.参考资料  

  1. Ultralytics YOLO26 官方文档:https://docs.ultralytics.com/models/yolo26/

  2. YOLO26 单目深度估计任务:https://docs.ultralytics.com/tasks/depth/

  3. Loitor 双目 + YOLO 开源项目:https://github.com/aminetouiouel/Object-Detection-and-Depth-Estimation-using-Stereo-Vision-and-YOLO

  4. DepthAI YoloSpatialDetectionNetwork(OAK-D):https://docs.luxonis.com/software/v2/python/components/yolo-spatial-detection-network

  5. ESB-AI-Lab/OakD_YOLO(Jetson 部署):https://github.com/ESB-AI-Lab/OakD_YOLO

  6. LearnOpenCV 双目深度教程:https://learnopencv.com/depth-perception-using-stereo-camera-python-c/

联系我们

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐