高速图像传感器(视觉 / 摄像头)的接口与数据格式,是连接传感器硬件后端处理(ISP/SoC/FPGA,不是图像处理软件)的核心,直接决定带宽、帧率、距离、抗干扰与系统复杂度。后端处理芯片生产图像数据流。


一、主流高速图像传感器接口(硬件层)

1. DVP 并行接口(传统低速)

  • 全称:Digital Video Port
  • 信号
    • PCLK(像素时钟)、HSYNC(行同步)、VSYNC(场同步)
    • DATA [7:0]/DATA [9:0]/DATA [11:0](并行数据)
  • 速率:单时钟 ≤ 80MHz,带宽 ≤ 800Mbps(8bit)
  • 特点
    • 单端、并行 → 线多、抗干扰差、距离短(<20cm)
    • 已淘汰于高分辨率 / 高帧率,仅用于低端 / 旧方案
  • 适用低端监控、早期嵌入式、低分辨率

2. MIPI CSI-2(移动 / 嵌入式主流高速)

  • 全称:Mobile Industry Processor Interface Camera Serial Interface 2
  • 物理层:D-PHY(主流)、C-PHY(更高密度)
  • 结构
    • 1× Clock Lane + 1/2/4× Data Lane
    • 两种模式:
      • LP(Low-Power):10MHz,控制 / 配置(I2C 替代)
      • HS(High-Speed):80Mbps~1.5Gbps/lane(D-PHY v2.1)
  • 总带宽
    • 4 Lane × 1.5Gbps = 6Gbps(实际有效~4.5Gbps)
  • 特点
    • 差分、串行、少线、抗干扰强、功耗低
    • 移动 / 手机 / 车载 / 机器人绝对主流

3. SLVS-EC(高端工业 / 高速传感器,索尼主推)

  • 全称:Scalable Low-Voltage Signaling with Embedded Clock
  • 速率12.5Gbps/lane(v3.0),多 Lane 聚合可达60Gbps+
  • 关键时钟内嵌(无需独立 Clock Lane),长距更稳、抗偏斜强
  • 适用8K/16K、高帧率(1000fps+)、工业 / 科研 / 高端车载

4. Sub-LVDS / LVDS(传统工业 / 多通道并行)

  • 早期高速并行差分,线多(8~24 对)、带宽有限(≤3Gbps)
  • 逐步被 MIPI CSI-2 / SLVS-EC / CoaXPress 替代

5. 工业级外部高速接口(相机→主机

  • CoaXPress(CXP):同轴线,12.5Gbps / 线,100m+,供电 + 控制 + 数据一体
  • GigE Vision千兆网,100m,标准以太网,多相机组网
  • USB3 VisionUSB3.0/3.1,5Gbps,即插即用,短距
  • 10GigE Vision:万兆网,10Gbps,长距工业

接口对比简表

表格

接口 最大带宽 距离 线数 主流场景
DVP ≤800Mbps <20cm 低端旧设备
MIPI CSI-2 4.5Gbps <1m 少(5~10 线) 手机 / 车载 / 嵌入式
SLVS-EC 60Gbps+ 数米~10 米 极少 8K / 高帧工业
CoaXPress 12.5Gbps / 线 100m+ 1 根同轴线 机器视觉
GigE Vision 1Gbps/10Gbps 100m+ 网线 长距组网

二、图像传感器数据格式(像素层)

传感器输出分为:原始 RAW 数据 → ISP 处理 → YUV/RGB/JPEG

1. RAW 格式(传感器原生输出,最重要)

  • 本质每个像素只测 单通道光强(R/G/B/W 之一)
  • Bayer 阵列(彩色传感器标准):
    • 2×2 单元:GRBG / BGGR / RGGB / GBRG
    • G 占 50%(人眼对绿光最敏感)
  • 位深
    • RAW8 / RAW10 / RAW12 / RAW14 / RAW16
    • 例:RAW12 = 每像素 12bit,动态范围更高、噪声更低
  • 特点
    • 无插值、无压缩、保留全部光电信息
    • 必须经 Demosaic(去马赛克) 才显彩色
  • 适用:工业检测、自动驾驶、高画质摄影、算法预处理

2. YUV 格式(亮度 + 色度分离,ISP 常用)

  • Y:亮度(Luma)
  • U/V:色度(Chroma)
  • 主流子格式
    • YUV422(YUYV / UYVY):2 像素共享 1 组 UV → 2×16bit=32bit → 16bit / 像素
    • YUV420(I420 / NV12):4 像素共享 1 组 UV → 12bit / 像素(Android / 视频标准)
  • 特点
    • 带宽比 RGB 小、人眼感知质量损失小
    • 视频编码 / 传输 / 嵌入式显示首选

3. RGB 格式(真彩色,每个像素全通道)

  • RGB565:R5+G6+B5 → 16bit / 像素(低质 / 低带宽)
  • RGB888(RGB24):R8+G8+B8 → 24bit / 像素(PC / 显示)
  • RGBA8888(RGB32):+8bit 透明度 → 32bit / 像素
  • 特点
    • 直观、直接显示,但带宽大
    • 一般由 ISP 从 RAW/YUV 转换而来

4. 压缩格式(片内编码)

  • JPEG:硬件 JPEG 引擎,直接出压缩图
  • H.264/H.265:高端 sensor/ISP 内置,适合视频存储 / 传输

格式数据流(典型链路)

plaintext

光电信号 → ADC → RAW Bayer → (ISP) → Demosaic → 白平衡/伽马 → YUV422 → 编码/显示
                                                         ↓
                                                        RGB888

三、高速接口与数据格式的匹配(带宽计算示例)

公式所需带宽 = 分辨率 × 帧率 × 位深 × 压缩系数

  • 例 1:4K@30fps RAW12

    • 3840×2160 × 30 × 12bit ≈ 2.98Gbps
    • → 需 MIPI 4-laneSLVS-EC 1-lane
  • 例 2:1080p@120fps YUV422

    • 1920×1080 × 120 × 16bit ≈ 3.98Gbps
    • → 需 MIPI 4-lane
  • 例 3:8K@60fps RAW16

    • 7680×4320 × 60 × 16bit ≈ 32Gbps
    • → 只能用 SLVS-EC 多 lane

四、一句话总结

  • 接口
    • 嵌入式 / 移动 → MIPI CSI-2
    • 超高速 / 高分辨率 → SLVS-EC
    • 工业长距 → CoaXPress / GigE Vision
  • 数据格式
    • 算法 / 高画质 → RAW
    • 视频 / 显示 → YUV422 / YUV420
    • 真彩显示 → RGB888

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐