一、先给出直观结论

如果一个像素点内部集成 3 个独立感光二极管(分别检测红、绿、蓝),工程上将面临四大无法接受的难题:像素尺寸暴涨、感光效率暴跌、成本飙升、读出速度下降。拜耳阵列(单点单色采样 + 插值)是光学、半导体、成本三者权衡后的最优工业方案。


二、逐层拆解底层原因

1. 物理面积限制(最核心)

现在消费 / 工业 MIPI 传感器像素尺寸典型:1.4μm、2.0μm、2.4μm。 假设单个像素区域大小固定:

  • 方案 A(拜耳):1 个像素 = 1 块光电二极管 + 1 片单色滤光片(R/G/B 任选其一)
  • 方案 B(单像素 3 色)同一个像素格子里,要塞下3 套独立光电二极管 + 3 套滤光片

在相同感光区域面积下: 方案 B 里每一种颜色对应的感光面积只有原来的 1/3

✅ 后果: 进光量大幅降低暗光信噪比急剧变差,夜景、弱光画面布满噪点。

类比:同样大小窗户,拜耳是一整块玻璃;三色像素是窗户被隔成 3 个小格子,每个格子采光面积更小。

2. 半导体电路布线复杂、读出电路拥挤

每个感光二极管都需要配套:传输晶体管、复位电路、信号读出线路。 1 像素 3 感光单元 = 电路数量直接翻 3 倍。

  • 像素内部走线拥挤,容易产生光电串扰(crosstalk):相邻感光单元光线、电荷互相干扰,色彩失真;
  • 晶体管挤占感光区域,进一步压缩光电二极管有效面积;
  • 芯片设计难度上升,良率下降,传感器价格大幅上涨。

3. 数据带宽、功耗、帧率瓶颈

假设分辨率 1920×1080:

  • 拜耳 RAW:一帧只有 207 万采样点
  • 单像素三色方案:一帧需要输出 622 万采样点(3 倍数据量)

同等时钟速率下: 数据量 ×3 → 传输带宽需求 ×3、ADC 模数转换功耗上升、最大帧率下降。 对于 MIPI 接口相机,带宽压力会直接限制分辨率与帧率。

4. 光学难题:垂直堆叠结构的短板(补充:Foveon X3 特例)

有一种技术叫 Foveon X3(适马相机传感器): 垂直堆叠感光层,同一 XY 位置,从上到下分层捕捉蓝、绿、红光。 看起来实现了 “同一像素获取三色”,但是存在明显缺陷:

  1. 不同波长光线穿透硅片深度不同,色彩分离不纯净,存在串色;
  2. 难以小型化,无法做到小像素尺寸,不适合手机、嵌入式 MIPI 摄像头;
  3. 量产成本极高,无法普及。

这也侧面证明:理论可行,但不适合大规模工业视觉 / 消费摄像头。


三、拜耳阵列的折中思路(工程师的取舍)

工程师放弃「每个像素直接拿到完整 RGB」,换来了巨大优势:

  1. 每个像素只保留1 个感光二极管感光面积最大化,暗光性能最优;
  2. 像素电路极简,适合缩小像素尺寸,轻松做到千万级像素;
  3. 原始数据量更小,MIPI 传输、存储压力低;
  4. 芯片结构简单,量产良率高,成本可控。

代价: 单个像素仅采集单一颜色,必须依靠 ISP 执行 Demosaic 插值,利用周边像素估算另外两个颜色通道。

⚠️插值属于估算,会存在轻微伪色、细节损失;但在绝大多数场景下,人眼几乎无法察觉。

四、一张对比总结表

表格

方案感光面积数据量成本弱光性能适用场景
拜耳 Bayer(1 像素单色)最大基础值优秀手机、MIPI 工业相机、监控(99% 市场)
单像素内置 R/G/B 三个感光单元缩小至 1/3×3极高很差几乎无商用产品
Foveon X3 垂直堆叠中等×3极高一般小众单反,无法小型化

五、延伸关联你的视觉工程

  1. 为什么 Sensor 输出只能是拜耳 RAW? 硬件架构决定原生只能单点单色采样,RAW 就是传感器最原始的采样结果;
  2. NV12 从何而来? RAW 送入 ISP → Demosaic 插值补齐三色 → 色彩空间转换 → NV12 (YUV);
  3. AI 网络为什么不能直接用 RAW? RAW 每个像素只有单一颜色,不满足 CNN 输入要求(每个像素需要完整 RGB 信息)。

补充拓展:有没有其他替代 CFA 阵列?

除拜耳 RGGB 外,还有 RGBW 阵列(增加白色无滤光像素提升亮度),多用于监控低光照场景,但依然不是单像素三色,依旧依靠插值,属于同类思路延伸。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐