做边缘 AI 摄像头，demo 跑通、画面成功出流 —— 可一看图像，整体偏紫、颜色发灰、偏色严重、物体也不清晰。

其实是ISP的参数没有调好。

下面这张图就是典型对比效果：

                          ISP 处理前                                                                 ISP处理后

一、ISP 是什么？

ISP 全称 Image Signal Processor，即图像信号处理器。它的任务是把传感器（Sensor）采集到的原始图像数据进行处理，使得图像得以复原或优化。

Sensor 接收外部的光线，经过光电转换、模数转换后转变为 ISP 可以读懂的数字信号。但由于镜头和 Sensor 的物理限制和缺陷，直接输出的信号若不进行处理，既不适合人眼观看，也难以用于后端 AI 识别。

因此需要 ISP 进行加工处理。ISP的算法调优对最终的成像质量影响巨大，例如噪声过多会加大编码压力、不够清晰会影响 AI 识别准确率。

打个比方，如果把 Sensor 数据看作是食材，ISP 做的就是加工，最终呈现的就是烹饪后的美食了，而加工的过程就直接影响了美食的好吃与否。

三、ISP的核心模块

ISP 有一系列的用于逐级优化的算法模块，按图像格式可归纳为三个处理域，依次是Bayer/Raw 域、RGB 域、YUV 域。

• 3.1 Bayer/Raw 域

Sensor 为了获取丰富的色彩信息，会为每一个像素都会分配一个色彩滤光片，这些滤光片按照 GRBG、RGGB、BGGR 和 GBRG 四种常见的 Bayer阵列排列。 经过光信号到数字信号的转换，就得到了 Raw 格式的图像数据。但是由于 Sensor 本身的物理缺陷，比如光学暗电流、坏点等，就需要对这些原始数据进行矫正，比如OBC、ALSC、DPC等。除此之外，由于 Raw 数据的原始性，可以接受最直接的亮度信息，因此 3A 也会在该域进行采集统计。

总而言之，ISP 在 Raw 域进行的两件事：3A 数据统计和数据矫正。

• 3A （AE / AWB / AF）

3A 指的是自动曝光、自动白平衡、自动对焦。这三个算法优劣直接决定了系统能否适应不同的光照条件，能否提供准确、可靠的视觉信息，从而获得更高的图像质量。

• OBC（Optical Black Correction，黑电平矫正）

Sensor 即使在完全无光的环境下，也会因为暗电流输出一小段电压，反映在图像上就是整体偏紫（R，G通道黑电平会被AWB放大），少数情况偏绿（G通道黑电平高于R，G通道）。暗电流的矫正分Sensor端和ISP端。Sensor 端会预留几行不感光区，统计这些像素的平均值，然后用感光像素减去这个均值。ISP 端矫正原理类似，镜头遮黑后算整体平均值再减掉。

• ALSC（Auto Lens Shading Correction，自动镜头阴影矫正）

由于镜头的光学结构、装配公差等原因。传感器边缘接收到的光线比中心弱，导致图像 "中间亮、四周暗"（即镜头阴影）的现象。镜头阴影的本质是光能量出现了衰减，体现在图像上为边缘像素点的值变小。解决办法是给每个像素乘一个增益，把边缘的亮度 "提" 回来。常用方法为白板遮光矫正：通过记录均匀强度分布场景的数据，记录能量的衰减量，生成矫正表，后续处理直接查表补偿。

• DPC（Defective Pixel Correction，坏点矫正）

CMOS制造过程中，受工艺缺陷等因素影响，难免出现个别像素功能异常，表现为图像上的黑点或白点。如果不进行处理，后续的操作会导致坏点尺寸被放大（即坏点扩散）。同时，由于色彩矫正和串扰补偿的作用，坏点处的颜色和饱和度也会显著增强。因此，必须在Raw域就对其进行处理。DPC 一般分两步：先用某个算子（例如 3×3 或 5×5）的邻域窗口内做阈值检测，找出坏点；再用均值或邻近像素插值替换，从而完成消除。

• 3.2 RGB 域

Raw 域矫正完成后，要先把 Bayer 排列的 Raw 格式数据通过 Demosaic 插值成完整的 RGB 数据。回顾一下 Bayer 阵列结构，它以4个像素为一组，每个像素只采集一种颜色分量。为了不损失分辨率，就需要通过颜色插值估计出每个像素点缺失的颜色分量。Demosaic 就是一种颜色插值算法，算法的优劣直接决定最终成像质量。算法有缺陷或者参数不合理，就会导致伪色、拉链、摩尔纹等问题。

到了 RGB 域，每个像素都拿到了完整的三通道的颜色信息。由于 Sensor 和人眼对色彩和亮度的感知响应不同。RGB 域的主要任务就是解决这两个问题：颜色还原、亮度对齐。主要模块为CCM、Gamma等

• CCM（Color Correction Matrix，颜色矫正矩阵）

Sensor 对不同波长光的响应和人眼视锥细胞响应存在差异，因此未处理的 RGB 颜色往往与现实中人眼直接看到的颜色不一致。为了解决该问题，会使用一个 3×3 的映射矩阵（有时加偏移），把原始的 RGB 重新映射到符合人眼感知的色彩空间，这个 3×3 的矩阵就是CCM。通常使用24色标准色卡，测量实际输出的 RGB 值与理论值的色彩偏差，通过标定得到最优矩阵，优化成最小色差。从而实现人眼和设备输出的色彩一致。

• Gamma

人眼对亮度的感知并非线性，对暗部变化会更敏感，对亮区变化反而相对迟钝。Gamma 矫正就是利用这个特性，对灰度值做非线性映射，使得输出图像灰度级分布接近人眼真实感受。让暗部细节更丰富、亮部不过曝。

• 3.3 YUV 域：把亮度和颜色分开处理

RGB 域调完后，通过 CT（Color Transform，颜色转换）把 RGB 转成 YUV。CT 同样是一个映射转换矩阵，通过将 RGB 分量进行加权映射，得到 YUV 的各个分量。主流转换矩阵有三个标准：BT601、BT709和BT2020。

YUV 数据中，Y 代表亮度（包含图像大部分细节），UV 代表色度（包含颜色信息）。这样处理有两个好处 —— 一是可以对 UV 做降采样（如 4:2:0）大幅省带宽；二是可以在 YUV 域分别对亮度和颜色分别优化。常见模块有Sharpness、Denoise、Hue&Saturation等。

• Sharpness（锐化）

人眼对图像中的高反差的边缘特别敏感，锐利的边缘会带来更强烈的“清晰感”。原始的图像虽然可以满足观看的目的，但是其边缘过渡会比较平缓，不够锐利。锐化就是检测边缘并适当放大边缘对比度，让画面 "看上去更清晰"。但是也不能过分锐化。过度锐化会放大噪声（微弱噪点被放大）、产生振铃效应（强边缘附近的明暗震荡）、蠕虫效应（纹理区出现蠕虫状伪影）等问题。

• Denoise（去噪）

Sensor 模拟增益有上限，在模拟增益无法满足曝光需求后，只能靠数字增益去补足曝光，但是数字增益会同步放大噪声。

噪声分为两大类：时域噪声（帧间）和空域噪声（帧内）。空域又分亮度噪声（Y 通道）和色彩噪声（UV 通道）。三种噪声对应三种去噪模块：

1. 3DNR（3D Noise Reduce）：结合多帧信息，区分运动和静止区域做不同强度的去噪

2. YNR（Y Noise Reduce）：作用于 Y 通道压制亮度噪声，过强会抹平细节

3. CNR（Chrome Noise Reduce）：作用于 UV 通道压制色彩噪声，过强会导致饱和度下降。

• Hue & Saturation（色相 & 饱和度）

RGB 域调过颜色，YUV 域还可以再调一次。YUV 中 U 和 V 构成一个二维矢量 —— 矢量的方向是色相，长度是饱和度。整体缩放 UV 长度调整饱和度，旋转 UV 角度纠正偏色。

色相和饱和度的调优讲究 "微调"。过高的饱和度会导致颜色溢出，过分的调整色相会让颜色怪异，饱和度不足又会导致画面灰暗没精神。恰到好处才是真功夫。

最后，经过 ISP 一系列的加工，输出干净真实的图像后，数据流向后端，

进行编码显示或 AI 识别。理解这些核心模块，是掌握 ISP 调优的基石。

四、为什么端侧开发必须懂 ISP？

ISP的应用场景遍布所有直接或间接需要图像的领域，比如专业相机、手机相机、车载摄像头、安防监控、机器人、工业检测等。ISP的调试的优劣直接决定了最终的图像效果。

• 安防监控：

如何在各个增益环境下看清画面细节又不会有太大的噪声，就需要ISP参数的精准调教。如果噪声过大，编码压力就会显著上升；如果去噪过强，画面就会模糊不清。去噪和锐化的调试也不是简单的“水多了加面，面多了续水”这么简单，而是需要结合室内外环境差异、增益倍数等多方面因素综合考虑。对于 ISP 参数的要求比较关注最后的编码压力和观看效果。

• 机器人 / 产线检测：

该领域的要求输出的图像需适用于AI的推理。AI模型需要依赖大量数据集进行训练，比如人脸识别、物体分类等任务，这些数据集通常经过了精细的图像增强处理，质量很高。模型在这样优质的数据上可能跑出很高的指标（例如 98% 的准确率）。但在真实环境中，模型拿到的图像往往远达不到训练时的增强水平。此时，ISP 的调优效果就决定了输入模型的数据质量——好的调优能显著提升 AI 的判断效果，让模型提取的特征更加准确。

• 车载摄像头：

辅助驾驶 / 自动驾驶要求 ISP 在隧道进出、夜间、逆光等极端光照下都能输出高动态范围、低延迟的图像，一帧过曝或拖影就可能带来安全隐患。

• 扫地机器人：

常工作在床底、暗角等低矮不均光照环境，ISP 要在低照度去噪和局部对比度增强上处理到位。并且智能扫地机也需要识别障碍物，同样需要好的图像质量。

• 医疗影像（内窥镜 / 显微镜）、无人机：

这些场景对色彩还原、细节保真、低延迟的要求更高

ISP 早不是模组里的 "黑盒子"，而是连接现实到图像的关键桥梁。无论你是图像工程师、AI 算法工程师还是嵌入式开发者，理解 ISP 全链路调优，掌握从图像采集、加工到输出的全链路，才能更好地实现模型在真实场景中的落地。

五、Comake能帮你做什么？

• 硬件：Comake Pi 开发板，开箱即用

• 工具：IQTool，调参可视化

• 内容：ISP 专题教程，从入门到进阶

• 支持：原厂工程师答疑

🔗 Comake Pi D1 | Comake Pi D2

👉 点击链接了解开发板详情

加入 Comake 开发者社区

👉 点击阅读原文，注册社区，获取完整技术资料和项目支持

👉点击链接，获取🔗ISPTuning技术培训精讲系列 合集

                                                                      -END-