动态视觉传感器 (DVS)——机器视觉技术的未来

动态视觉传感器 (DVS)——机器视觉技术的未来

体验DVS摄像机带来的低功耗、低带宽、宽动态范围和高时间分辨率的优势。探索DVS技术带来的全新实时运动和事件捕捉方式。以最小的内存占用最大化信息量,并在任何环境条件下获得可靠的结果。

图片

人工智能和机器学习模型有助于改进基于事件的信息的处理,以便进行跟踪和理解。 

  • 事件发生时会记录信息。

  • 没有变化,没有捕获

  • 记录精确时间

  • 非常适合捕捉高速事件

  • 低功耗和低延迟

动态视觉传感器 (DVS) 正在革新我们捕捉运动的方式,其工作原理与传统相机截然不同,它仅检测像素级的亮度变化。与以固定间隔捕捉完整帧的传统传感器不同,这些仿生设备能够以微秒级的精度响应亮度变化,生成稀疏的、基于事件的数据,从而模拟我们人类视网膜处理视觉信息的方式。

这项传感技术的突破克服了传统相机的局限性,尤其是在高速和高动态范围场景下。当传统相机可能出现运动模糊或过曝时,动态视觉系统(DVS)仍能持续捕捉运动物体的精确时间信息,使其在从自动驾驶汽车到高速机器人等各种应用中都具有不可估量的价值。

了解动态视觉传感器

DVS技术的工作原理

与以固定间隔捕捉完整帧的传统图像传感器不同,动态视觉系统 (DVS) 技术的工作原理截然不同:它基于事件的视觉。DVS 中的每个像素独立工作,仅对其视野内的亮度变化做出响应。当像素检测到光强度发生显著变化时,它会立即发出一个信号,即“事件”,其中包含像素的位置以及变化是正向还是负向。

想象一下,就像拥有数百万个微型光探测器,只有当视野范围内发生有趣的事情时才会被激活。这种方法具有诸多优势:响应速度极快(通常在微秒级),动态范围高,且数据输出极少,因为只有像素变化才会产生信号。

神奇之处在于像素级的成像效果,那里专门的电路会持续监测光照强度。当光照变化超过预设阈值时,像素会异步生成一个事件——这意味着它无需等待全局快门或定时信号。这使得动态可变曝光 (DVS) 技术在捕捉快速移动的物体以及在传统相机难以应对的复杂光照条件下表现出色。

图片

图示比较传统相机传感器与DVS像素响应

与传统传感器相比的优势

动态视觉传感器相比传统图像传感器具有诸多显著优势,使其在特定摄影和成像应用中尤为重要。与以固定时间间隔捕捉完整画面的传统传感器不同,动态视觉传感器仅对亮度变化做出响应,模拟人眼处理视觉信息的方式。

这种独特的方法在高速摄影和运动追踪方面带来了显著优势。传统传感器可能会因为运动模糊或帧速率有限而错过快速移动的物体,而DVS可以检测到微秒级的变化,从而确保清晰捕捉快速运动的瞬间。此外,DVS的数据处理效率也极高,因为它只传输场景中发生变化的信息,而不是完整的帧。

另一个显著优势是其出色的动态范围。传统传感器在极端光照条件下可能难以应对,而DVS传感器则能有效处理同一场景中极亮和极暗的区域。这使得它们在光线复杂的场景中尤为实用,例如拍摄从阳光到阴影过渡的体育赛事。

由于DVS无需持续采集和处理完整帧,因此其功耗也显著降低。这种高效性使其成为电池供电设备和长期监控应用的理想选择。

镜头与传感器的关系

图片

镜头元件与DVS传感器相互作用的技术示意图

光学特性及其影响

镜头的光学特性在动态视觉传感器如何捕获和处理视觉信息方面起着至关重要的作用。与传统相机不同,动态视觉系统对光线到达传感器表面的方式尤为敏感,因此镜头的选择是影响其性能的关键因素。

焦距对动态视觉传感器(DVS)的运动检测能力有显著影响。较短的焦距提供更宽广的视野,使传感器能够捕捉场景中更多的运动,但可能会降低对远距离细微变化的灵敏度。较长的焦距虽然会限制视野,但擅长检测远处物体的细微运动,因此非常适合体育分析或野生动物监测等应用。

光圈设置会影响进光量和运动检测灵敏度。较大的光圈(较小的 f 值)可以让更多光线到达传感器,从而提高弱光条件下的性能。但是,它们也会减小景深,可能会限制运动检测的有效范围。较小的光圈可以提供更大的景深,但可能需要额外的照明才能保持最佳灵敏度。

镜头镀膜质量直接影响动态视频系统 (DVS) 的性能,它通过控制透光率和减少不必要的反射来实现这一目标。抗反射镀膜尤为重要,因为它可以最大限度地减少鬼影和眩光,从而避免触发误报。高质量的镀膜还有助于保持对比度和清晰度,确保在各种光照条件下都能进行准确的运动检测。

为了获得最佳效果,摄影师应该考虑使用专门为 DVS 应用设计或测试的镜头,因为这些镜头通常具有与事件驱动型视觉传感器的独特特性相匹配的涂层配方和光学设计。

镜头质量因素

在使用动态视觉传感器 (DVS) 时,了解镜头质量如何影响传感器性能对于获得最佳结果至关重要。镜头是光线到达传感器的门户,其特性直接影响 DVS 检测和处理场景变化的能力。

镜头与动态视觉传感器的匹配程度取决于几个关键因素。首先,镜头的光学清晰度和透光率会影响传感器检测细微亮度变化的能力。采用优质镀膜的高品质玻璃元件可确保更多光线到达传感器,从而实现更佳的时间对比度检测。

畸变和色差也起着至关重要的作用。由于动态视觉系统 (DVS) 依赖于对强度变化的精确检测,任何光学畸变都可能导致误报或漏报。畸变控制良好的优质镜头有助于在整个视野范围内保持精确的空间关系。

对于动态视觉传感器(DVS)应用而言,镜头的对焦速度和精度尤为重要。与传统摄像机不同,动态视觉传感器需要持续保持清晰对焦才能有效检测变化。自动对焦系统必须快速且精准,才能跟上场景的快速变化。

另一个关键因素是镜头的最大光圈。光圈更大的镜头(即光圈更大的镜头)可以让更多光线到达传感器,从而在光线不足的情况下获得更好的成像效果。但是,即使在最大光圈下,它们也必须保持出色的清晰度。

镜头和传感器的分辨率匹配也至关重要。镜头必须至少具备与传感器像素间距相同的细节分辨率,才能避免限制系统的整体性能。这在高速应用中尤为重要,因为在这些应用中,精确的边缘检测至关重要。

实际应用

高速摄影

动态视觉传感器彻底革新了高速摄影技术,尤其是在体育和动作摄影领域,因为在这些领域,转瞬即逝的瞬间往往决定成败。与可能错过帧间关键时刻的传统相机不同,DVS技术能够实时捕捉场景中发生的每一个细微变化。

以棒球运动员的挥棒动作为例:传统摄像机可能只能捕捉到球棒击球瞬间的3-4帧画面,但配备DVS(动态视频同步)技术的摄像机却能记录整个挥棒过程中数百个精确的数据点。这项功能对于需要深入研究运动员表现的体育分析师和教练来说,已变得至关重要。

在赛车运动中,DVS摄像机能够精准捕捉赛车冲过终点线或两车发生碰撞的瞬间。传感器能够只检测和记录场景中的变化,这意味着您不会在关键时刻之间浪费存储空间来存储冗余信息。

运动摄影师尤其欣赏DVS技术,它能捕捉快速移动的物体,避免运动模糊。无论是蜂鸟振翅的瞬间,还是摩托车腾空跃起的瞬间,传感器的微秒级响应速度都能确保即使是速度最快的物体也能拍摄出清晰锐利的图像。

专业摄影师越来越多地将 DVS 摄像机融入到他们的高速摄影装置中,尤其是在分析高尔夫挥杆或完善舞蹈动作等技术应用中,精确的时间控制至关重要。

图片

图片

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐