1.机器人各部位用什么相机?

以欧菲光人形机器人视觉方案为例,看清机器人的相机分布逻辑。

头部(全局感知):集成5颗RGB相机+1颗ToF深度相机。前视眼位区域搭载2颗大角度环视RGB相机,后脑配置1颗超广角环视RGB相机,鼻嘴位置融合AI双目相机与ToF深度相机做RGB-D方案。前视深度相机覆盖0.1-12m,负责路径规划、避障和交互;环视RGB相机支持60fps(帧率),保证动态场景下的响应速度。头部相机的核心任务是看清周围有什么、大概多远,为全身运动提供环境底图。

腕部(精细操作):集成1颗RGB相机+1颗ToF深度相机,直接塞进机械臂末端。RGB相机为200万像素、全局曝光,避免抓取运动中的图像畸变;深度覆盖 0.07-1m,近距离0.07-0.5m,精度小于3mm,0.5-1m误差小于1%;30fps稳定输出保障抓取连续性。腕部相机的核心任务是看清手边东西的精确位置和轮廓,精度要求远高于头部。

其他部位:部分方案在腰部或肩部增加辅助相机,用于补盲或躯干附近的操作监控,但头部+腕部是当前人形机器人视觉配置的基本盘。

 

2.汽车各部位用什么相机?

自动驾驶的相机分布按功能位置切割,每颗相机服务一个明确的驾驶任务。

前视(核心感知):安装在挡风玻璃后方或车头,一般为单目或双目,镜头角度约55°,追求远距离有效探测。职责是识别车道线、检测前方车辆与行人、识别交通标志,是AEB(自动紧急制动)和ACC(自适应巡航)的信号入口。

环视(泊车与全景):至少4颗广角或鱼眼相机,分别装在车的前、后、左、右,拼接成360°全景视图。鱼眼镜头角度通常在135°以上(畸变严重,需要专门算法校正)。环视的核心场景是低速泊车和狭窄空间通行,对帧率要求不高,但对图像拼接的几何精度要求极高。

侧视(盲区监测):2颗广角相机,通常集成在后视镜或车门附近,负责侧方盲区检测,部分方案可替代传统后视镜。

后视(倒车与后方预警):广角或鱼眼相机,安装在车尾,用于倒车影像、后方碰撞预警。

内置(驾驶员监控):广角相机安装在内后视镜处,对准驾驶员面部,监测疲劳、分心等状态。

细看两者的相机类型,发现两边都绕不开这几类基础传感器:单目RGB相机、双目视觉、深度相机(结构光/ToF)、红外相机。如果只看用了哪些相机类型,重合度很高。

 

3.为什么两边会共用相机?

品类重合不是巧合,是因为三个底层约束。

第一,物理世界的成像需求是共通的。无论是机器人伸手抓杯子,还是汽车识别前方车辆,底层任务都是从二维图像中提取语义和几何信息。可见光波段的信息量最大、成本最低,CMOS传感器因此成为两边共同的基础硬件。单目看语义、双目/深度看距离,这套方法论在室内桌面和室外道路上都成立,只是精度和距离的要求不同。

第二,供应链的规模效应压低了共同品类的成本。CMOS芯片、镜头模组、MIPI/GMSL接口这些核心部件,在手机和汽车行业已经形成了极其成熟的产业链。机器人行业直接复用这套供应链,比从头定制专用传感器便宜得多。所以两边用一样的相机,很大程度上是因为市面上能买到的、经过车规或工业级验证的相机模组,本身就是同一批。

第三,多传感器融合的算法栈高度重叠。目标检测、语义分割、深度估计、SLAM定位……这些算法在机器人和自动驾驶领域共享同一套深度学习工具链。算法栈的相似性反向约束了硬件选型,既然模型都是在ImageNet/COCO这类数据集上预训练的,输入图像的格式、色彩空间、动态范围自然趋同。

尽管机器人和自动驾驶常用相机的底层硬件品类大量重合,但选型逻辑和配置思路不同。

4.关键差异:深度感知的权重完全不同

这是两条路线最根本的分叉点。

机器人(尤其是抓取和灵巧操作场景)把深度相机当核心配置。机器人需要精确知道东西离我多远、手该伸多长、用多大力去抓,距离信息是操作的前提。欧菲光专为机器人腕部设计的 Dex400R相机,近距离10-20cm识别精度小于1.5mm,远距离误差控制在1% 内,测距盲区仅 5cm。这个数字很有说服力:机器人手腕相机在近距离要的是“厘米级距离上的毫米级精度”,工作范围是手边一尺之内。

自动驾驶的主流路线恰恰相反:不依赖近距离高精度深度相机。自动驾驶的相机配置是按功能位置分工的:前视主摄负责远距离车道线和障碍物,侧方补盲,环视鱼眼负责泊车和360°感知。比如特斯拉第四代自动驾驶硬件平台HW4.0的前置摄像头像素从120万提升到500万,视觉最大探测距离从250米提升到424米。它的目标是在百米之外分辨车道线和车辆,而不是在20cm处测量毫米级距离。特斯拉坚持的纯视觉方案,靠算法从2D图像推算距离,而不是装一颗深度相机去测前面那辆车离我几米。

换句话说:机器人相机在问我离这个杯子有多远,自动驾驶相机在问前面那条车道线和那辆卡车是什么。一个在手边一尺内做毫米级测量,一个在前方百米外做米级判断。

5.配置逻辑:专用分工vs通用视觉

自动驾驶的相机系统是高度专用化的。一辆高阶智驾车可能装8到12颗相机,每颗的分工极其明确:前视长焦看远处,环视鱼眼拼全景,侧后视补盲区。鱼眼相机的畸变需要专门算法校正,环视图像需要精确拼接,整个系统的标定和同步是工程重点。这种多相机各司其职的架构,本质上是把看拆成了多个专项任务。

机器人的相机配置则更偏向“头部看全局+手腕看细节”的通用视觉模式。在机器人数据集和实际部署中,相机通常分两类:context cameras放在头部或身体上,看环境和物体;wrist cameras装在手腕上,看夹爪和被抓物体的精细状态。威迈尔的OmniHead头部模组用三组共十个RGB-D 阵列相机分布在前方、左后侧和右后侧,形成360°×90°全景视野。欧菲光的Dex400R则专攻腕部,直接塞进机械臂末端的狭小空间。机器人不需要十几颗相机覆盖四面八方,它需要的是在操作那一刻,把手边的东西看清楚。头部深度相机做全局感知、腕部深度相机做毫米级抓取,这种组合比广覆盖更有价值。

6.共同短板:透明与反光物体

透明或高反光物体对两边都是难题,但失效方式不同。

机器人这边,失效是直接且物理性的。大多数RGB-D相机依赖结构光或ToF发射光信号并接收反射来测距。光线遇到透明物体时发生的是镜面反射和折射,而非不透明表面的漫反射,导致接收器收不到有效信号。结果是深度要么直接缺失(光没返回),要么严重失真(光穿透物体打到背景再返回,相机测到的是背景的距离而非物体本身)。这种深度误差会传导到抓取规划,产生无效的抓取位姿和执行错误。

自动驾驶那边,透明物体更多表现为语义和距离估算的偏差,叠加天气与光照的干扰。玻璃幕墙、水面反光、前车车窗同样会让纯视觉方案犯难,而隧道进出、逆光、雨雾场景下信噪比急剧下降,延长曝光会导致运动模糊,提高感光度则引入噪声,雾气散射会削弱远距离物体的信号并降低对比度。两边的共同点是都被极端光学条件卡脖子,区别在于机器人卡在透明物体测不到深度,自动驾驶卡在透明物体认不准、恶劣天气看不清远处。

7.前沿变量:事件相机

事件相机不拍完整帧,只记录像素亮度变化,微秒级延迟、高动态范围,天生抗运动模糊。

在机器人侧,已有研究用事件相机做高速移动机器人的平面速度估计。在1:10缩比自动驾驶赛车平台的实验中,该方案在高达32 m/s的速度下验证有效,横向误差比现有方法改善38.3%。在自动驾驶侧,事件相机与帧相机混合方案在低延迟交通参与者检测中有很大潜力,有助于平衡高精度与超低延迟。

事件相机的微秒级延迟和高动态范围,正在成为高速场景感知的补充方案。机器人偏深度、自动驾驶偏覆盖的二分法,在事件相机这条线上正在被打破。如果事件相机成本降下来,两边对什么是好相机的定义可能要重新洗牌了。

一句话总结:虽然品类有七八成重合,但机器人偏“近距离毫米级深度+操作语义”,自动驾驶偏“远距离覆盖+场景语义”。机器人相机的终极问题是怎么把它抓住,自动驾驶相机的终极问题是怎么安全开过去。问题不同,选型自然不同。而透明物体这个共同短板和事件相机这个交叉变量又提醒我们,两条路线并非平行线,它们在光学物理的边界上有同样困境,也关注着同样的技术变量。

 

全文相关术语与解释:

1.RGB相机:采集彩色图像的相机,只提供二维画面,不直接给出距离。

2.ToF(飞行时间)深度相机:发射光脉冲,测量光往返时间来计算每个像素到物体的距离,响应快,适合实时深度感知。

3.双目视觉:用两个镜头模拟人眼,靠左右图像的视差推算深度,成本较低。

4.结构光:主动投射特定光图案,通过图案变形计算深度,近距离精度高。

5.RGB-D:RGB彩色图像+Depth深度图的组合,同时提供颜色和距离信息。

6.全局曝光:传感器所有像素同时曝光,运动物体不会产生拖影或形变,适合抓取等动态场景。

7.fps(帧率):每秒采集或显示的图像帧数,数值越高动态场景响应越流畅。

8.AEB(自动紧急制动):检测到碰撞风险时自动刹车的驾驶辅助功能。

9.ACC(自适应巡航):自动跟车、保持设定车距的巡航功能。

10.CMOS:主流图像传感器芯片类型,成本低、速度快,是相机的基础硬件。

11.MIPI/GMSL接口:相机与处理单元之间的数据传输接口标准,MIPI多用于消费电子,GMSL多用于车载长距离传输。

12.SLAM定位:同步定位与建图,机器人在未知环境中一边定位自己、一边构建地图。

13.ImageNet/COCO:两个大规模公开图像数据集,深度学习模型常在这些数据集上预训练。

14.context cameras / wrist cameras:机器人视觉中的两类相机——前者装在头部或身体上看全局环境,后者装在手腕上看夹爪和被抓物体的细节。

15.Dex400R:欧菲光专为机器人腕部设计的深度相机型号,主打近距离毫米级精度。

16.OmniHead:威迈尔的机器人头部视觉模组,用多组RGB-D阵列相机实现全景视野。

17.HW4.0:特斯拉第四代自动驾驶硬件平台,前摄像素和探测距离较上一代提升。

18.信噪比:有效信号与噪声的比值,信噪比越低,图像越难看清有用信息。

19.动态范围:相机同时记录极亮和极暗区域的能力,动态范围越高,逆光或隧道场景越不容易过曝或死黑。

20.事件相机:不拍完整帧,只记录每个像素亮度变化的相机,微秒级延迟、高动态范围、天生抗运动模糊。

 

说明:1.文章参考公开报道并借助AI工具进行整理和分析,如有不妥之处欢迎指正。2.部分市场数据基于行业估算、发布以及官方报道,具体精确数据请以权威机构为准。3.欢迎长期追踪边缘AI的朋友一起探讨。    

 

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐