Gitee源码地址

---

构建基于传统视觉与深度学习融合的显示异常检测体系

第一部分：核心理念——“工匠的眼”与“学者的脑”相结合

---

1. 原理深潜：为什么是边缘和轮廓？

• 工程师视角的原理：
  显示异常，尤其是IC级的时序性异常（如首行偏暗、余晖），本质上是像素在时空维度上对驱动信号的错误响应。这种错误响应会破坏图像原本应该具备的“结构性”和“一致性”。

  • 边缘检测：其物理意义是寻找图像中亮度突变的区域。一个理想的、均匀的灰阶画面，其边缘应该是清晰且连续的。当出现“首行偏暗”时，第一行像素与第二行像素之间会形成一个不该存在的、横向的“暗边”。当出现“余晖”时，运动物体的边缘会因为像素关闭延迟而变得模糊、拖尾，即边缘发生了弥散和重影。因此，边缘是捕捉这些时空错误的天然传感器。
  • 轮廓分析：其物理意义是对边缘的再组织，以描述物体的形状和拓扑关系。在显示检测中，“物体”可以是一个测试方块、一条扫描线。例如，一个本该是矩形的白色方块，如果出现“耦合”现象，其轮廓可能会出现锯齿状畸变；如果出现“首行偏暗”，其顶部轮廓的像素强度会系统性偏低。通过分析轮廓的整体形态、面积、重心等矩特征，可以量化这种结构性破坏。

• 通俗解释：
  想象一下阅兵方阵。

  • 正常的屏幕：就像一个整齐的方阵，每一排士兵（像素行）亮度一致，步伐（刷新）统一，方阵的边缘笔直清晰。
  • 首行偏暗：就像第一排士兵全都没吃饱饭，步伐无力，亮度比别人暗一截，从侧面看方阵边缘，这里就出现了一个“台阶”。
  • 余晖/拖尾：就像士兵转身时反应慢了半拍，导致整个方阵的边缘出现了模糊的“重影”。
    传统算法，就像一位经验丰富的教官，他不需要知道每个士兵的姓名（每个像素的具体数据），只需一眼扫过方阵的“边缘”和“轮廓”，就能快速判断出哪里不整齐。这就是快速初筛。

---

2. 工程化实战：如何用“工匠的眼”解决具体问题

• 具体如何解决的：

  1. 问题定义与特征工程：

     • 首行偏暗：在显示均匀灰阶（如128级灰度）画面时，采集一帧图像。计算每一行像素的平均亮度，生成一行亮度曲线。正常情况下，曲线应近乎水平直线。首行偏暗则表现为曲线的首个数据点或前几个数据点构成一个显著的“谷底”。我们通过计算首行亮度与全局平均亮度的比值，并与一个经验阈值（如0.7）比较，即可快速判定。
     • 余晖：我们使用连续帧差分法。让屏幕显示一个快速移动的白块，连续捕获两帧图像I1和I2。对I1和I2分别进行Sobel边缘检测，得到E1和E2。在理想情况下，运动白块的边缘在E1和E2中位置不同，差分后应只留下清晰的运动轨迹。但当存在余晖时，E1中的边缘未能及时消失，会与E2中的边缘在差分图像上产生重叠的、异常粗大的边缘响应。通过统计这些重叠区域的像素数量和强度，可以量化余晖的严重程度。

  2. 算法流程改进：
     我们没有直接使用原始的、充满噪声的RGB图像进行计算，而是先进行了灰度化和高斯滤波，以抑制LED屏固有的散粒噪声和坏点干扰。在轮廓分析时，我们不是寻找所有轮廓，而是通过设置面积和宽高比阈值，只关注那些可能是我们显示的测试图案的大轮廓，排除了屏幕上无关信息的干扰。

  3. 带来的价值：

     • 速度极快：整套流程在标准PC上可在毫秒级完成，非常适合嵌入到生产调试软件中，在产线上对每一块模组进行快速筛查。
     • 指向性强：一旦检测到异常，算法输出的特征（如首行亮度比、余晖重叠面积）可以直接给硬件工程师提供调试方向——比如调整扫描寄存器的起始位置、GCLK的相位或者消影时间。
     • 70%准确率的现实意义：这个数字并非失败，而是策略的成功。它意味着我们用几乎零成本的计算，过滤掉了70%的“明显问题”，让宝贵的人力资源和更复杂的AI模型只需要去聚焦那30%的“疑难杂症”，整体效率提升数倍。

---

3. AI进化：为“工匠的眼”装上“学者的脑”

• AI的角色与定位：
  传统方法像是写了明确的“IF-THEN”规则，而AI则是从海量数据中学习“什么样的图像算是有问题”。它不是替代，是增强和补全。

• 具体如何结合（融合体系）：

  传统算法作为“触发器”和“预处理”：上述的传统流程保持不变，作为第一道关卡。当传统算法置信度低（比如，计算结果在阈值附近徘徊，人眼都难以决断）时，或者面对传统规则难以描述的复杂异常（如多种异常交织）时，触发AI模型进行深度分析。

---

总结与展望

从“经验驱动”到“规则驱动”再到“数据驱动”，显示异常检测的演进路径清晰地展现在我们面前。传统视觉算法因其高可解释性、低计算成本，是工业化生产中不可或缺的“第一道防线”；而深度学习模型则以其强大的特征学习能力和端到端的优化潜力，成为解决复杂、模糊问题的“终极武器”。

我们所构建的这套融合体系，其精髓不在于追求技术的炫酷，而在于深刻地理解了LED显示屏生产与调试场景中的真实痛点：既要快，又要准；既要解决共性问题，又要能处理个性疑难。通过让“工匠的眼”（传统算法）与“学者的脑”（深度学习）协同工作，我们最终实现的，不仅是一个技术系统，更是一个高效、可靠、且能持续进化的工程解决方案。这正是每一位追求极致的显示工程师所致力于达成的目标。

---

Sobel边缘检测：从像素直觉到工程利刃

当我们谈论显示质量时，本质上是在谈论控制光的能力。而Sobel边缘检测，就是我们用来审视这种控制力是否精准的“光学游标卡尺”。

一、原理深潜：它不是“找边缘”，而是“测量变化”

• 工程师视角的数学本质：
  Sobel算子的核心是一阶微分。请不要被术语吓到，它的物理意义非常直接：计算图像中每个像素点在X和Y方向上的亮度梯度（变化率）。

  它由两个3x3的卷积核（或称为滤波器）构成：

  Gx（水平方向）     Gy（垂直方向）
  [ -1, 0, +1 ]      [ -1, -2, -1 ]
  [ -2, 0, +2 ]      [  0,  0,  0 ]
  [ -1, 0, +1 ]      [ +1, +2, +1 ]
  

  它的工作流程如下：

  1. 滑动扫描：将Gx核在图像上逐像素滑动。在每一个位置，进行卷积运算——将核覆盖的9个像素的亮度值，分别与核内对应的9个权重相乘后求和。这个求和结果，就是该像素点在X方向上的梯度近似值。
  2. 同理可得：用Gy核重复此过程，得到Y方向的梯度。
  3. 合成总梯度：对于每个像素点，我们得到了一个梯度向量 (Gx, Gy)。这个向量的幅度（Magnitude） 代表了该点亮度变化的强度，计算公式为 G = sqrt(Gx² + Gy²)。为求计算效率，工程上常使用近似：|Gx| + |Gy|。
  4. 方向信息：这个向量的方向（Direction） 代表了亮度变化最快的方向，即边缘的法线方向，计算公式为 θ = arctan(Gy / Gx)。

• 为什么权重如此设计？
  仔细观察核，中心行的权重（对于Gx是-2, 0, +2）比上下两行更大。这是一种加权平均，目的是在求导的同时，对垂直方向（对于Gx而言）进行平滑处理。这使它天然地具备了一定的抗噪声能力——这是Sobel算子相较于其他简单微分算子（如Roberts）在工程上更受欢迎的关键原因。

二、通俗解释：感受“地形”与“等高线”

把一张灰度图像想象成一片地形图：

• 亮度值就是海拔高度——白色区域是山峰，黑色区域是山谷。
• 边缘就是地形中坡度最陡峭的地方，比如悬崖或陡坡。

现在，Sobel算子就像一位地质测量员：

1. 他站在地形的每一个点上（每个像素）。
2. 他拿出一个特制的“坡度仪”（卷积核），这个仪器可以分别测量他东西方向（X） 和南北方向（Y） 脚下的坡度。
3. 他将两个方向的坡度合成为一个总坡度强度（梯度幅度）。这个值越大，说明他站的位置越“陡峭”，越可能是“悬崖边缘”。
4. 最终，他绘制出一张新的地图（Sobel梯度图），这张地图上只标注了那些最陡峭的“悬崖线”，而平缓的斜坡和平地都被忽略了。

所以，Sobel不是在“找”边缘，而是在“测量”地形的陡峭程度，并把最陡的地方Highlight出来。

三、工程化实战：在LED屏调试中充当“急诊医生”

在我的工作中，Sobel不是用来做艺术滤镜的，它是产线上一位快速诊断的“急诊医生”，能迅速判断屏体的“神经系统”（驱动IC时序）是否正常。

实战案例：快速筛查“余晖/拖影”异常

• 问题背景：LED屏在显示快速运动物体时，理想的边缘应清晰利落。但如果存在“余晖”，意味着像素点从亮到暗的关闭速度太慢，会导致物体边缘出现一道拖影，主观观感模糊、不干脆。这通常与驱动芯片的消影时间等参数设置不当有关。

• 传统人眼调试痛点：依赖工程师盯着一串快速移动的白块，非常伤神且主观，对于轻微余晖难以量化判断，效率低下。

• Sobel解决方案与改进：

  1. 设计动态测试Pattern：我们让屏幕上显示一个沿水平方向高速移动的白色方块。

  2. 捕获与差分：在极短的时间间隔内，捕获连续两帧图像 Frame1 和 Frame2。此时，理想的白块应该在两个位置，没有重叠。

  3. Sobel化与逻辑“抓鬼”：

     • 对 Frame1 和 Frame2 分别进行Sobel边缘检测，得到 Edge1 和 Edge2。此时，两张图上都只有白块清晰的前后边缘。
     • 关键一步：我们对 Edge1 和 Edge2 进行 AND 逻辑运算。在理想情况下，两个运动物体的边缘不应有重叠，因此AND结果应该是一片空白。
     • 然而，当存在余晖时：Frame1 中白块的尾部边缘因为关闭延迟，在 Frame2 被捕获时依然有残留的亮度。这部分残留亮度在 Frame2 的Sobel图中同样会被检测为边缘。于是，在 Edge1 的尾部与 Edge2 的头部，出现了本不该存在的边缘重叠区域。

  4. 量化与判定：我们只需统计这个AND结果图像中非零像素的数量。这个数值直接量化了余晖的严重程度。我们可以设定一个阈值：如果像素数超过阈值，则自动判定该模组“余晖测试不通过”。

• 带来的价值：

  • 效率倍增：将原本需要资深工程师专注目测数分钟的任务，变为毫秒级的自动判定。
  • 客观量化：提供了一个明确的、可记录的数值指标，用于追踪问题和对比调试前后的效果。
  • 指向性强：一旦检出，工程师可以直接去调整驱动IC相关的时序参数（如Td），而非盲目尝试。

四、AI进化：从“急诊医生”到“资深专家顾问”

Sobel在AI时代并未过时，而是扮演了更高级的角色——成为深度学习模型的“先验知识注入器”和“注意力引导者”。

如何结合AI玩出花样？

1. 作为特征提取器，降低AI学习负担：

   • 问题：直接将原始RGB图像喂给CNN来检测“余晖”，网络需要从海量数据中自己学习“什么是边缘”、“什么是运动模糊”，这需要大量数据和计算资源。
   • 解决方案：我们将Sobel边缘图作为CNN的一个额外输入通道。这就好比在对AI说：“嘿，别瞎看，重点分析这些轮廓线附近发生了什么。” 这种特征融合的策略，让模型能更快、更准地聚焦于与边缘相关的异常模式，特别适合我们这种工业场景下标注数据有限的情况。

2. 作为注意力机制的催化剂：

   • 在一个端到端的异常检测网络中，我们可以利用Sobel图来生成一个注意力图（Attention Map）。网络可以学习动态地更加关注Sobel响应强烈的区域。对于LED屏检测，这意味着模型会本能地更关注运动物体的轮廓、测试方块的边界等关键区域，从而对“余晖”、“锯齿”等边缘劣化问题更加敏感。

3. 用于数据增强，模拟退化：

   • 为了增加模型的鲁棒性，我们需要在训练数据中模拟各种程度的“余晖”。除了传统的图像处理手段，我们可以对Sobel边缘图进行形态学膨胀操作，模拟边缘的“扩散”和“变粗”，然后将处理后的边缘图反向渲染到原始图像上，从而生成大量逼真的、带有拖影的训练样本。

总结

Sobel边缘检测，这个看似经典的计算机视觉“老家伙”，在显示工业的工程实践中，远不止是一个教科书里的算法。它是：

• 一把尺，能量化人眼难以捕捉的时序瑕疵。
• 一个过滤器，能滤除冗余信息，直击问题核心。
• 一位向导，能为更复杂的AI模型照亮前路，让其更快、更稳地到达目的地。

真正的高手，不在于掌握了多少最前沿的AI模型，而在于懂得如何将这些经典的工具，在正确的场景下，用到极致。Sobel，无疑就是这样的工具。

---

• 如果想了解一些成像系统、图像、人眼、颜色等等的小知识，快去看看视频吧 ：
  • 抖音：数字图像哪些好玩的事，咱就不照课本念，轻轻松松谝闲传
  • 快手：数字图像哪些好玩的事，咱就不照课本念，轻轻松松谝闲传
  • B站：数字图像哪些好玩的事，咱就不照课本念，轻轻松松谝闲传
    • 认准一个头像，保你不迷路：