让机器像视网膜一样“看”：事件相机与脉冲神经网络如何重构视觉感知

一、传统相机的根本困境：一场持续了半个世纪的“过度采集”

要理解事件相机为什么重要，必须先看清传统帧式相机在原理层面的局限。

传统相机以固定帧率工作——每秒30帧、60帧或者更高。无论场景中发生了什么，它都会机械地、均匀地曝光和读出每一个像素。这个模式带来了两个无法通过“优化”解决的矛盾。

第一，数据冗余是结构性的。 在绝大多数真实场景中，相邻帧之间超过90%的像素没有变化。但传统相机对这些“沉默”的像素一视同仁地采集、传输、存储和处理。对于自动驾驶和机器人这样的实时系统，这意味着大量的算力被消耗在无意义的信息上。

第二，动态范围与延迟是互斥的。 传统相机的每个像素在曝光时间内累积光子，曝光时间越长，信噪比越好，但快速运动会模糊；曝光时间越短，运动越清晰，但暗光下信噪比急剧恶化。在隧道出口、逆光、夜间等场景中，这个矛盾几乎无解。

这两个问题不是工程实现的瑕疵，而是根植于“基于帧的同步采集”这一范式本身。事件相机，正是对这一范式的根本性颠覆。

二、事件相机：只报告“变化”的视网膜

2.1 异步脉冲的物理机制

事件相机的设计直接来源于生物视网膜。人类视网膜中的感光细胞并不以固定频率“拍照”，而是在光照发生变化时才向大脑发出信号。

事件相机的每个像素独立工作，持续监测入射光强度的对数变化。当某个像素检测到的光强变化超过一个可调阈值时，它就会异步地发出一个“事件”——一个包含时间戳、像素坐标和变化极性（变亮或变暗）的脉冲信号。

这个机制带来了三个革命性的特性。微秒级时间分辨率：事件相机的时间分辨率由像素电路的响应速度决定，而非帧率，现代事件相机的响应延迟可以低至微秒级别。超过120dB的动态范围：它可以同时看清强烈的阳光和极暗的阴影中的细节。稀疏、事件驱动的输出：如果场景是静止的，它几乎不产生任何数据；当场景中有运动时，它只输出运动边缘的像素。

但事件相机的“稀疏性”也带来了一个根本性的难题：它输出的不是图像，而是一个连续的、异步的、稀疏的脉冲流。传统计算机视觉的整个算法体系——卷积神经网络、特征金字塔、非极大值抑制——都建立在“图像”这个概念之上。把事件流“累积”成帧再用CNN处理，不仅丢掉了事件数据最宝贵的时间精度，还引入了不必要的延迟。这就引出了第二个关键角色：脉冲神经网络。

三、脉冲神经网络：与事件流“同频”的计算范式

3.1 SNN为什么是事件相机的天然搭档

脉冲神经网络被称为“第三代神经网络”。与传统人工神经元在每个时间步传递连续值不同，SNN中的神经元维护一个膜电位，只有当膜电位超过阈值时才“发放”一个脉冲。

这个机制与事件相机的工作方式在信息表示层面是统一的：事件相机产生脉冲，SNN处理脉冲，中间不需要任何“事件帧”或“体素网格”的转换。传统方法不得不先把异步事件流转换成同步的稠密张量，再用标准CNN处理，这个转换过程本身就损失了事件数据最核心的优势。

3.2 SDTrack：全脉冲驱动的跟踪管线

CVPR 2026的SDTrack是这一思路的代表性工作。它是第一个基于Transformer的纯脉冲驱动跟踪管线。

SDTrack包含两个核心组件。全局轨迹提示（GTP） ：一种新的事件帧聚合方法，它有效地捕捉全局轨迹信息，并将其与事件流聚合为事件帧，以增强时空表示。Transformer跟踪器：由一个完全脉冲驱动的SNN骨干网络和一个简单的跟踪头组成。整个管线端到端运行，不需要数据增强或后处理。

实验结果最能说明问题：SDTrack-Tiny版本仅有1961万参数，能耗8.16毫焦，就达到了有竞争力的精度；Base版本在三个数据集上达到了最先进的精度。8.16毫焦是什么概念？作为对比，传统GPU上运行一次中等规模CNN推理的能耗通常在数百毫焦到数焦的量级。这是两个数量级的能效差距。

3.3 直接建模异步事件流：抛弃“事件帧”的尝试

SDTrack仍然需要先将事件聚合为帧。更进一步的工作尝试彻底抛弃事件帧累积，直接在异步事件流上计算。

2026年IEEE的一项研究提出了一个全事件驱动的脉冲图卷积网络：它将异步事件流直接建模为一个动态演化的时空图结构，保留了原始数据的高时空稀疏性。计算只由输入事件触发，自然地获得了极高的计算稀疏性。更进一步，该算法采用脉冲时序编码机制，将目标状态信息编码到输出脉冲的精确发放时间中，实现了从感知到决策的“全脉冲”处理管线。

这项工作揭示了一个重要的设计原则：要真正释放事件相机的低延迟潜力，处理算法必须与事件流的异步性在“计算发生的时机”上对齐。传统方法无论怎么优化，只要它是在一个同步的、批处理的计算框架内运行，就始终存在一个由框架本身引入的延迟下限。

四、事件分区的自适应革命：从“固定窗口”到“最大熵”

4.1 一个被长期忽视的前置问题

在讨论具体的检测或跟踪网络之前，有一个更基础的问题：如何把连续的事件流切分成适合下游处理的单元？

绝大多数事件视觉管线都从“分区”开始，典型策略是固定时间窗口或固定事件数量。固定策略的缺陷是根本性的：它对整个视场施加同一套规则，而真实场景中往往同时存在快速运动的物体和缓慢移动的物体。快速物体需要短窗口以避免运动模糊，慢速物体需要长窗口以积累足够的信息。

已有的“自适应”策略（如ATS、AEC等）提供了时间维度的自适应性，但它们为整帧估计一个统一的最优窗口长度，处理了速度随时间的变化，却无法处理同一视场内多个物体以不同速度运动的空间异质性。

4.2 ASTW：基于最大熵的逐区域自适应

CVPR 2026的ASTW（自适应时空窗口）策略，同时实现了时间自适应性和空间局部性。

它的核心是一个从最大熵原理推导出的解析公式：每个空间块的最优时间窗口 (\Delta t = \gamma / D)，其中 (D) 是该块的事件密度，(\gamma) 是一个常数。直觉上，事件密度高的区域（通常是快速运动的物体）使用更短的时间窗口，事件密度低的区域使用更长的窗口。ASTW将这个公式用 (O(N)) 的向量化计算高效实现，允许每个空间区域独立地选择自己的窗口。

实验结果直接量化了自适应分区的价值：在目标检测上mAP提升最高达到2.6，在跟踪上SR提升最高达到2.2。团队还构建了HetVel，第一个针对异质速度场景的RGB-事件双模态数据集，为这一方向提供了标准化的评测基准。

4.3 Spiking Patches：把“Token化”引入事件视觉

另一个值得关注的方向是将事件流转换为Token，直接接入Transformer等现代架构。

Spiking Patches提出了一种专门为事件相机设计的Token化方法。与将事件表示为帧或体素不同，Spiking Patches保留了事件的异步性和空间稀疏性——帧和体素虽然精度高，但它们是同步的，并且会降低空间稀疏度。

结果非常有说服力：Spiking Patches产生的Token，推理时间比基于体素的Token快3.4倍，比基于帧的Token快10.4倍，同时精度不仅没有下降，在某些情况下还有绝对提升——手势识别最高提升3.8，目标检测最高提升1.4。这项工作开启了一个重要的方向：为事件数据设计原生表示，而不是把事件“翻译”成传统视觉方法能理解的形式。

五、硬件协同：从“算法适配硬件”到“软硬一体”

5.1 神经形态芯片上的端到端持续学习

事件相机和SNN的组合，最终需要在神经形态硬件上才能释放全部潜力。传统GPU的同步、稠密计算架构与事件流的异步、稀疏特性存在本质冲突。

CLANE展示了这条路径的可行性。它在Intel Loihi 2神经形态芯片上部署了一个完整的端到端持续学习管线，用于基于事件相机的动作识别。系统结合了一个脉冲2D CNN用于时空特征提取，以及一个CLP-SNN作为片上学习头，并引入了时间聚合层和定点归一化层两个专门为Loihi 2设计的新模块。

在包含50个类别的真实场景数据集THU E-ACT-50上，CLANE在持续学习任务中达到了70.4%的准确率，同时相比串行CNN+GRU+CLP的边缘GPU基线，实现了超过100倍的能耗降低和16倍的延迟降低。这个对比的意义在于：它不是“在GPU上跑一个更小的模型”带来的效率提升，而是更换计算范式带来的结构性优势。

5.2 感内计算：把“感知”放到传感器里

更深层的趋势是感内计算——在传感器内部完成一部分特征提取和预处理，而不是把所有原始数据搬运到处理器。

2026年Nature Communications的一项工作展示了视网膜-皮层双模式神经形态视觉平台，基于进化突触晶体管和进化视网膜光学突触阵列。12×12的阵列实现了双模式操作：类视网膜的感内预处理和类皮层的存内分类。在低光照条件下，该阵列将行人检测准确率从0.7806提升到0.8481（808nm）和0.9071（940nm） 。

另一项工作提出了挥发自选择忆阻器神经元，集成到32×32阵列中，模拟青蛙视觉系统的首脉冲时间编码机制，实现了毫秒级的脉冲响应，并应用于无人机 aerial 目标检测。这些硬件层面的探索指向同一个方向：视觉感知的前端正在从“采集后处理”走向“感知即计算”。

六、落地场景：从微秒级定位到机器人避障

6.1 自动驾驶与高级辅助驾驶

事件相机在自动驾驶中的价值，不在于替代RGB相机，而在于覆盖RGB相机的结构性盲区。

在低级别ADAS场景中，ObstacleSense将问题重新定义为“前向走廊内的障碍物感知”而非密集目标检测——判断自车前方走廊内是否存在安全相关障碍，识别车辆、卡车、公交车、行人等常见类别，并估计距离。系统将1280×720的DVS事件编码为逐事件描述子，累积为15×20×6×2的走廊网格张量，通过逐单元LIF块和轴向MLP块处理，输出逐单元的目标性和距离估计。这个设计的关键在于：它不追求“看懂整个场景”，而是追求“在最少的计算和能耗下，可靠地回答一个安全关键问题” 。

在更高速的场景中，事件相机驱动的视觉位置识别（VPR） 已经实现了亚毫秒级的延迟，能够在高速运动下识别先前访问过的位置。MAPLE多模态Mamba智能体则在CARLA事件驾驶基准上显著超越了纯RGB方法，展示了事件流在策略学习中的价值。

6.2 机器人感知与操控

在机器人领域，事件相机解决的是动态环境中的实时性问题。

立体事件相机深度估计是一个代表性方向。北京交通大学团队提出了一种单步推理的SNN，利用稀疏双目事件流实现稠密深度估计，在MVSEC数据集的室内外序列上，精度和能耗均优于ANN、SNN和ANN-SNN混合基线方法。单步推理意味着不需要迭代优化，深度估计在一次前向传播中完成，这对于实时避障至关重要。

在机器人避障方面，Vacant-Event-Centric立体深度估计系统已经部署在Jackal无人地面车辆上，作为虚拟保险杠系统，能够实时检测近场障碍物并停止车辆。OctoSense则提供了一个开源多模态机器人感知平台，集成双目RGB、事件相机、LiDAR、热像仪、IMU和RTK-GPS，为事件视觉在真实机器人系统上的融合提供了基础设施。

在SLAM方向，事件驱动的SLAM系统将时间梯度纳入学习到的位姿估计模块，改善了快速运动中的跟踪稳定性。EVI-SAM作为一个紧耦合的事件-图像-IMU SLAM框架，在标准CPU上实现了实时的稠密3D重建。

七、一个更根本的范式转移：从“帧”到“事件”

回顾事件相机与SNN在2026年的进展，一个更深层的趋势正在变得清晰：机器视觉正在从“图像处理”走向“事件处理”，从“帧驱动”走向“事件驱动” 。

这个转移的意义远超某一项技术的改进。

传统计算机视觉的整个知识体系——CNN、特征金字塔、非极大值抑制、锚框——都是为“图像”这个数据形态量身定制的。而事件相机产生的不是图像，是一个连续的、异步的、稀疏的脉冲流。要在这种数据上做到真正的低延迟和高能效，需要的不是把CNN改得更轻，而是一套与数据形态同构的计算范式。

事件相机、SNN和神经形态硬件的组合，恰好提供了这套范式的雏形：事件相机产生脉冲，SNN处理脉冲，神经形态芯片以事件驱动的方式执行脉冲计算。从传感器到处理器，信息始终以脉冲形式存在，不需要任何“事件帧”或“体素网格”的中间转换。CLANE在Loihi 2上的100倍能耗降低和16倍延迟降低，SDTrack仅8.16毫焦的推理能耗，Spiking Patches相比帧Token快10.4倍的推理速度——这些数字不是渐进式的优化，而是范式更换带来的结构性收益。

当然，这条路径远未成熟。事件相机的空间分辨率仍显著低于传统相机，SNN的训练稳定性和可扩展性仍是一个开放问题，神经形态硬件的工具链和生态仍不完善。但方向是清晰的：当视觉感知的前端从“记录画面”转向“感知变化”，后端的计算范式也必须随之改变。2026年的这批工作，正在为这个新的范式铺设第一批坚实的路基。