一、论文梳理

1. 论文摘要介绍表格

栏目	内容
论文标题	NeuPAN：基于端到端模型学习的直接点云机器人导航
核心问题	传统机器人在未知、杂乱环境中导航时，面临三大挑战：1) 误差传播：从感知（如物体检测）到规划（如路径生成）的模块化流程会累积误差，导致导航保守或失败。 2) 黑箱问题：纯粹的端到端学习方法缺乏可解释性，难以保证安全和部署。 3) 精度与效率：精确的传统优化方法计算量巨大，难以实时；而快速的方法又不够精确，无法应对狭窄复杂的场景。
核心思想	提出一个名为 NeuPAN 的全新框架，它将原始的点云传感器数据直接、实时地映射为机器人的控制指令，实现了“感知到控制”的紧密耦合，并且整个过程基于可解释的数学模型。
关键创新点	1. 直接映射与误差消除： - 输入：直接使用原始激光雷达点云，而不是经过处理的物体框或地图。 - 处理：将点云直接映射到一个“潜在距离特征空间”，该空间精确地、稀疏地表达了机器人车身各处到所有障碍物点的最小距离。 - 效果：从根源上消除了因物体检测、形状近似等中间环节带来的误差，极大提升了精度。 2. 端到端的可解释模型学习： - 框架：将整个导航问题构建为一个统一的、包含海量点级约束的端到端优化问题。 - 求解：设计了一个名为 DUNE 的“可解释”神经网络，它并非黑箱，而是对一个经典优化算法（PIBCD）的“展开”和“加速”，使其能超快地计算距离特征。而规划器 NRMP 则是一个基于模型的优化器，它利用这些特征进行路径规划。 - 效果：整个系统既有深度学习的速度，又有传统优化方法的可解释性和数学保证，实现了“白盒”的端到端学习。
方法论	采用一个包含两大核心模块的迭代循环框架： - DUNE (深度展开神经编码器)：一个基于学习的模块，充当一个极速的“距离计算专家”，将点云流转化为潜在距离特征（LDFs）。 - NRMP (神经正则化运动规划器)：一个基于模型的模块，将LDFs作为“软约束”（神经正则化项）整合到运动规划中，高效生成安全、平滑的动作。 两者通过运动反馈形成紧密闭环，实时迭代优化。
主要优势	高精度（比现有方法精确2倍以上）、实时性、无地图、易部署（对新环境泛化能力强，无需大量重训练）、高鲁棒性和可解释性。
实验验证	在模拟器和真实世界中，对地面移动机器人、轮腿机器人和自动驾驶汽车进行了广泛测试。场景包括拥挤的沙箱、办公室、走廊、停车场，以及极度狭窄（如3cm余量）的通道，均表现出卓越性能。

---

2. 论文具体实现流程

NeuPAN的实现流程是一个紧密耦合的迭代循环，旨在以高频率实时生成最优的控制指令。

输入 (Inputs):

1. 实时传感器数据：原始的激光雷达点云数据 (Pt)。
2. 机器人自身状态：当前的位置、姿态、速度等 (st)。
3. 任务指令：目标点的坐标 (s_goal) 和期望的行驶速度。
4. 机器人物理模型：机器人的几何形状（由矩阵G, h描述）和运动学模型（如差分驱动、阿克曼转向等）。

核心处理流程 (Core Processing Flow):

整个流程可以看作一个在极短时间内（例如，几十毫秒）迭代数次（例如，K=3次）的优化循环。

第一步：预处理 - 生成点云流 (Point Flow Generation)

• 逻辑：不仅仅使用当前的静态点云，而是结合上一步规划出的机器人预测运动轨迹 (S[k])，来推算在未来一小段时间内（后退时域 H），每个障碍物点相对于机器人的动态位置。
• 数据流：将全局坐标系下的点云 Pt 转换到机器人自身的局部坐标系，并根据预测运动生成一个时序点云集合，即点云流 PFt。

第二步：DUNE 模块 - 计算潜在距离特征 (LDF Generation)

• 逻辑：这是框架的“感知”核心。DUNE网络接收预处理后的点云流，并为每一个障碍物点快速计算出它与机器人车身的精确最小距离。但它输出的不是一个简单的距离值，而是一组被称为**潜在距离特征（LDFs）**的拉格朗日乘子 (M, L)。这组特征非常巧妙，它稀疏地编码了“哪个障碍物点”与“机器人车身的哪条边”即将发生碰撞，以及它们之间的法向量关系。
• 数据流：点云流 PFt → DUNE网络 → 潜在距离特征 M, L。

第三步：NRMP 模块 - 规划运动轨迹 (Motion Planning)

• 逻辑：这是框架的“控制”核心。NRMP是一个模型预测控制器（MPC），它需要在一个优化问题中找到最优的动作序列。其巧妙之处在于，它不把成千上万个点级碰撞约束当作“硬约束”（这会使计算量爆炸），而是将从DUNE模块得到的LDFs作为一个**“神经正则化项”**（Neural Regularizer）加入到优化目标的成本函数中。这个正则化项就像一个斥力场，当规划的轨迹靠近障碍物时，成本就会显著增加，从而“温柔地”将轨迹推离危险区域。
• 数据流：潜在距离特征 M, L + 机器人当前状态 st + 目标 s_goal → NRMP优化器 → 优化的未来状态和动作序列 {S̃, Ũ}。

第四步：反馈与迭代 (Feedback & Iteration)

• 逻辑：NRMP规划出的新运动轨迹 {S̃, Ũ} 比之前的预测更优。因此，这个新的轨迹被反馈回第一步，用于生成更精确的点云流。
• 数据流：{S̃, Ũ} → 更新为 {S[k+1], U[k+1]} → 返回第一步。
• 这个 预处理 -> DUNE -> NRMP -> 反馈 的循环会快速执行几次，每一次迭代都会让最终的动作决策更精确。

输出 (Outputs):

1. 控制指令 (Control Command)：在循环结束后，系统取出最终规划的动作序列 {S*, U*} 中的第一个动作 u*，并发送给机器人的底层控制器执行（例如，设定车轮速度和转向角）。
2. 规划轨迹 (Planned Trajectory)：完整的规划路径 {S*, U*} 可以用于可视化或调试。

这是一个根据描述绘制的简化流程图

---

3. 有趣的白话版详细解说

想象一下，你是一位顶级的F1赛车手，现在要蒙上眼睛，只靠一位领航员的指示，在一座堆满各种奇形怪状家具的仓库里，以最快速度从一头开到另一头。

过去的方法（传统机器人导航）

过去的机器人就像一个新手司机配上一个口齿不清的领航员。

1. 领航员（感知模块）：他看着仓库里的混乱景象（原始传感器数据），努力地想把每个家具都描述清楚。但他能力有限，只能说：“你前方5米有个‘大概是方形’的东西，左边3米有个‘可能是圆形’的玩意儿。” 他把这些不精确的描述（物体检测框）写在一张纸条上。
2. 你，司机（规划模块）：你拿到这张纸条，心里很没底。因为领航员说的是“大概方形”，你不知道它的角会不会伸出来刮到你的车。为了安全，你只能开得非常慢，离所有“大概”的东西都远远的。当通道看起来很窄时，你甚至会因为不确定而直接停车放弃。

这就是传统方法的痛点：信息在传递过程中失真了（误差传播），导致最终的驾驶决策非常保守和笨拙。

NeuPAN 的方法（天才赛车手与心灵感应领航员）

NeuPAN彻底改变了游戏规则。它相当于给你配了一位能心灵感应的顶尖领航员。

你们俩的工作方式是这样的：

第一步：领航员的超能力（DUNE模块）
这位领航员（DUNE）不告诉你“那是什么东西”，他用一种你瞬间就能理解的方式告诉你“危险在哪里”。他看着仓库里的每一个微小的灰尘点（原始点云），然后通过心灵感应直接在你脑中标出了一张“安全力场图”。图上清晰地显示出，你的赛车车头离A点只有10.3厘米，左后视镜离B点只有5.1厘米…… 这种信息是绝对精确的，而且是实时的。

这就是NeuPAN的第一个绝活：跳过“识别物体”这一步，直接计算出“我离危险有多远”，信息零损失。

第二步：你和领航员的无间配合（NRMP模块与反馈循环）
现在，你这位赛车手（NRMP）看着脑中的“安全力场图”，开始规划路线。你说：“我想向左打一点方向盘。”
领航员立刻用心灵感应更新了力场图，并告诉你：“好主意！这样你的车头离A点的距离会变成20厘米，但你的右车尾会离C点只有3厘米了，危险！”
你马上调整：“那我方向盘少打一点，同时稍微给点油。”
领航员再次秒速更新力场图：“完美！这条路线安全又快速！”

这个在你和领航员之间飞速来回的“商量”过程，就是NeuPAN的第二个绝活：一个紧密耦合的反馈循环。它不是等你开出去了才发现问题，而是在你做出决策的一瞬间，就已经在脑中模拟了无数种可能并找到了最优解。

为什么说它“可解释”？
最神奇的是，这位心灵感应的领航员（DUNE）虽然看起来像个黑科技，但我们其实完全知道他的工作原理。他不是凭感觉，而是我们教给他的一套极其高效的数学公式。他的“心灵感应”只是因为他把这套公式练到了极致，算得比任何人都快。所以，整个系统是透明的，我们知道它为什么这么开，而不是像一些AI一样“我也不知道，反正感觉应该这么开”。

个人观点和理解

在我看来，NeuPAN最令人兴奋的地方在于它非常优雅地**“站在了巨人的肩膀上，并给巨人装上了火箭推进器”**。

• “巨人” 是指那些经过几十年发展的、可靠的、基于数学模型的经典控制理论。这些理论非常严谨，让人放心，但缺点是慢。
• “火箭推进器” 是指现代深度学习的强大能力。它快得不可思议，但常常像个难以捉摸的黑箱。

NeuPAN没有抛弃巨人，也没有盲目崇拜火箭。它做的是融合：用深度学习（DUNE）去**“加速”** 经典理论中最耗时、最核心的计算部分（精确距离计算），而整个框架的逻辑和决策依然由那个可靠的巨人（NRMP的优化理论）主导。

这篇论文给我的启示是，AI赋能产业的未来可能不完全是创造一个全新的、无所不能的“超级大脑”来替代一切，而更多的是将AI的“算力”作为一种精准的手术刀，去解决传统方法中最棘手、最耗时的那个“瓶颈”问题。NeuPAN的成功，尤其是在仅有3厘米余量的真实环境中成功导航，生动地证明了这种“融合创新”的巨大威力。它让机器人离走出实验室，真正在我们复杂、混乱的日常生活中安全、高效地工作，又迈出了坚实的一大步。

二、论文翻译

摘要——在杂乱、未知的环境中导航非完整机器人需要精确的感知和精确的运动控制，以实现实时碰撞规避。本文提出NeuPAN：一个实时、高精度、无地图、易于部署且环境不变的机器人运动规划器。NeuPAN利用一个紧密耦合的感知-控制框架，与现有方法相比具有两个关键创新：1) 它将原始点云数据直接映射到一个潜在距离特征空间，用于生成无碰撞运动，避免了从感知到控制流程中的误差传播；2) 从端到端基于模型的学习角度来看，它是可解释的。NeuPAN的核心是使用一个即插即用（PnP）近端交替最小化网络（PAN）解决一个包含大量点级约束的端到端数学模型，该网络在循环中加入了神经元。这使得NeuPAN能够生成实时的、物理可解释的运动。它无缝集成了数据和知识引擎，其网络参数可以通过反向传播进行微调。我们在地面移动机器人、轮腿机器人和自动驾驶汽车上，在广泛的模拟和真实世界环境中评估了NeuPAN。结果表明，NeuPAN在准确性、效率、鲁棒性和泛化能力方面，在包括杂乱沙箱、办公室、走廊和停车场在内的各种环境中均优于现有基准。我们展示了NeuPAN在未知和非结构化环境中对任意形状的物体同样有效，能将不可通行的路径转化为可通行路径。

索引术语——直接点云机器人导航，基于模型的学习，基于优化的碰撞规避。

---

I. 引言

在密集受限环境中进行实时机器人导航对于包括家庭机器人、物流和自动驾驶在内的广泛应用至关重要。与广阔开放的环境相比，前述的杂乱场景要求机器人的感知（即提供关于环境的必要信息）和运动（即计算连接当前和目标状态的一系列可行动作）在运动学约束下非常精确；否则，效率或安全性可能会受到极大影响。如果导航系统还需要在先前未见过的环境中正常工作，情况会变得更加复杂。

现有方法未能解决该问题的原因如下：1) 将高维传感器空间（例如，每秒海量点云）压缩到低维动作空间（例如，油门和转向）同时保证可解释性并防止误差传播是相当困难的[1], [2]；2) 导航问题是PSPACE-hard问题，现有解决方案[3]–[5]必须在准确性和复杂性之间进行权衡，导致运动不精确，从而采取保守策略，或导致运动延迟，增加碰撞风险；3) 解决方案应稳定、完整且用户友好，仅需少量手工工程和对新机器人、新环境的再训练[6], [7]。上述系统、算法和工程问题使得仅利用板载计算资源在密集场景中导航成为一个长期存在的挑战。

为了解决这些问题，本文提出了NeuPAN，一种直接点云、端到端、基于模型的学习方法，旨在实现实时、高精度（例如，与最先进方法相比提升超过2倍）、无地图、易于部署且环境不变的碰撞规避。具体而言，我们的解决方案利用激光雷达（lidar）传感器提供障碍物点，因为它们能够提供直接、主动和精确的环境深度测量，并且对光照变化和运动模糊不敏感。基于激光雷达扫描的这些固有特性，并通过NeuPAN的赋能，一个轮腿机器人可以在没有先验地图的情况下穿越狭窄的间隙，同时避开任意形状的动态物体，如图1所示。

图1：由NeuPAN赋能的轮腿机器人在办公室中的无地图导航：(a) 机器人在没有先验地图的情况下沿朴素直线路径导航；(b) 机器人通过狭窄间隙（< 6 cm）；© NeuPAN以高频方式采用“直接点云输入-动作输出”模式；(d) NeuPAN可以处理任意形状的（移动）物体。(e) 机器人轨迹。
图内文字翻译：

• arbitrarily shaped objects: 任意形状的物体
• naive straight path: 朴素直线路径
• no prior map: 无先验地图
• narrow gap: 狭窄间隙
• direct point-in: 直接点云输入
• action-out: 动作输出

我们系统的卓越性能主要归功于以下关键贡献：1) 与现有方法将点云转换为凸集或占用栅格图并采用非精确最小距离不同，NeuPAN直接处理海量原始点云，并基于预测的自身运动计算点流。然后，利用一个神经编码器将点流映射到相应的潜在距离特征空间，该空间表示在后退时域内自身机器人到障碍物点的精确距离。2) 潜在距离特征作为范数正则化项无缝地融入运动规划器，添加到损失函数中，代表了远离障碍物的奖励。运动规划器生成的预测状态和动作被反馈回前端，用于重新计算点流。这在感知和控制之间形成了一个紧密耦合的循环。3) 为了更深入地理解NeuPAN，我们构建了一个带有逐点约束的端到端数学规划。我们证明了NeuPAN等效于使用即插即用（PnP）近端交替最小化（PAN）算法来解决此问题。据我们所知，这是首次从基于模型的学习角度来解释导航算法，从而将数据驱动系统与严谨的数学模型无缝集成。4) 我们进行了各种实验来评估所开发的NeuPAN系统的有效性。在各种模拟场景中的详尽基准比较表明，NeuPAN在成功率上始终更高，导航时间更短，优于最先进的机器人导航系统。最后，我们展示了NeuPAN在真实世界的动态、杂乱和非结构化环境（包括沙箱、办公室、走廊和停车场）中，在地面移动机器人、轮腿机器人和乘用自动驾驶汽车上的有效性。实验视频和更多细节可以在我们的项目页面上找到：https://hanruihua.github.io/neupan_project/。

本文的其余部分组织如下。第二部分回顾了相关工作。第三部分陈述了问题。第四部分描述了系统架构。随后，第五部分介绍了神经编码器网络和神经正则化运动规划器。第六部分展示了模拟和真实世界的实验。最后，第七部分总结了本文。

II. 相关工作

A. 模块化 vs. 端到端

模块化方法将导航分为不同的模块（例如，在最简单的情况下是一个物体检测器和一个运动规划器），由于其可靠性和易于调试的特性，是目前被最广泛采用的框架[8]–[10]。然而，这些方法会遭受从感知到控制模块的误差传播：1) 在前端感知层，即使是最好的检测器生成的检测对象表示（例如边界框）也可能与真实情况存在偏差，这需要在运动规划器中加入更大的安全距离以保证最坏情况下的碰撞规避；2) 在中间表示层，边界框或凸集无法精确匹配可能具有任意非凸形状的真实世界物体；这些在各个层级中的误差会累积到导航流程中，使得模块化方法在杂乱环境中容易陷入困境。

为了减轻模块化方法固有的误差传播，最近的机器人导航正经历着向端到端方法的范式转变，该方法直接将传感器输入映射到运动输出[7], [11], [12]。早期的端到端解决方案专注于使用单个黑箱深度神经网络（DNN）来学习映射，但后来发现其难以训练且不具备对未见场景的泛化能力。新兴的端到端方法采用多个模块，但在三个方面与模块化方法不同：1) 它交换的是特征（例如编码器输出），而不是显式表示（例如边界框）；2) 模块间的交互是双向的，而不是单向的；3) 整个系统可以以端到端的方式进行训练。这种广义的端到端方法在基于视觉的自动驾驶和基于编码器的机器人操纵中已显示出有效性。例如，统一自动驾驶（UniAD）框架由骨干、感知、预测和规划模块组成，任务查询作为连接每个节点的接口[13]。

大多数行业实践已将端到端方法应用于自动驾驶任务，利用视觉Transformer生成鸟瞰图（BEV）[14]进行占用地图绘制[15]，直接用于后续规划。类似的见解也已在机器人操纵中获得，这可以通过一个由神经编码器和运动规划器组成的运动规划网络（MPNet）来完成[16]。这些纯数据驱动技术的局限性在于其缺乏可解释性。这使得为新的机器人平台调整网络参数变得困难。当泛化到新环境时，它们通常需要大量的手工工程和长时间的训练，并且通常需要配合其他保守策略来保证安全。这些方法也需要大量的数据收集和标注工作。

B. 基于模型 vs. 基于学习

算法决定了模块化或端到端框架中每个模块的推理映射。现有算法可分为基于模型和基于学习两类。

基于模型的算法利用代表底层物理、先验信息和领域知识的数学或统计公式。经典的基于模型的算法包括基于图搜索、基于采样和基于优化的方法。基于图搜索的技术，如A*，将配置空间近似为离散的网格空间，以搜索成本最小的路径[17]。基于采样的技术，如快速探索随机树（RRT）或RRT*，使用采样策略探测配置空间[18]。快速似然碰撞规避方法（Falco）[19]通过最大化达到目标的似然性来确定下一个导航动作。基于优化的技术通过在动力学和运动学约束下最小化成本函数来生成轨迹[1], [9]。

在密集场景导航的背景下，基于优化的技术，如模型预测控制（MPC），因其能够计算当前最优输入以在未来产生最佳行为而更具吸引力，从而产生高性能的轨迹。基于优化的技术的一个主要缺点是其计算成本高，这限制了它们的实时应用。特别地，碰撞规避约束的数量与障碍物的数量（空间上）和后退时域的长度（时间上）成正比。在杂乱的环境中，如果还考虑障碍物的形状，计算时间将进一步乘以每个障碍物的表面数量。为了克服非凸碰撞规避约束，文献[1]中为全形状控制对象开发了基于优化的碰撞规避（OBCA）算法，该算法采用对偶性来重新表述基于精确距离的碰撞规避约束。此外，全形状机器人导航通过时空分解算法在[20]中得到进一步加速。然而，当处理数十个物体时，这些算法的频率并不令人满意。另一方面，大多数现有工作放弃了精确距离，而采用非精确的距离，如中心点距离、近似符号距离或时空走廊[21], [22]。此外，可以将硬约束转换为软正则化项以加速，如EGO规划器所示，它通过增加惩罚项来移除碰撞规避约束[23]。虽然非精确算法实现了高频率（例如，高达100 Hz），但它们不适用于密集场景导航，如第一部分所述。

与基于模型的方法相比，学习算法通过从数据中提取特征而无需分析模型。这在分析模型未知的复杂系统中尤其有用。因此，学习算法对于端到端导航任务很有前景。在这个方向上，强化学习（RL）是一个主要范式[26]。RL的思想是通过与环境交互并最大化累积动作奖励来学习一个神经网络策略[27]。特别地，RL已广泛用于动态碰撞规避（所谓的CARL-based方法），其中障碍物的运动信息直接映射到机器人动作，例如CADRL [28], LSTM-RL [29], SARL [6], RGL [30], 和AEMCARL [24]。然而，RL-based方法的性能受训练数据集分布的影响。因此，这些方法在模拟中很有前景，但在真实世界设置中实现通常具有挑战性。此外，为密集场景导航找到一个合适的奖励函数通常很困难。

如第II-A节所述，基于学习的算法缺乏可解释性。因此，一个新兴的范式涉及基于模型和基于学习算法的交叉融合。这导致了机器人导航中各种基于模型的学习方法。具体来说，一种直接的方法是使用学习算法来模仿复杂的动力学或数值程序，通过将迭代计算转换为前馈过程。这是通过使用DNN从求解器的演示中学习来实现的。例子包括[31]中的神经PID和[32]中的神经MPC。另一方面，基于学习的算法被用来生成候选轨迹，减少后续基于模型算法的解空间，例如，MPNet [16], MPC-MPNet [25], NFMPC [33], 和MPPI [34]。注意，轨迹生成通常是从经典采样方法中学到的。最后，学习算法可以用于调整基于模型算法中涉及的超参数。例如，MPC的成本和动力学项可以通过对策略函数关于优化问题进行参数微分来学习[35], [36]。

我们的框架NeuPAN也属于基于模型的学习方法。然而，与上述部分可解释的工作相比，NeuPAN从感知到控制是端到端可解释的。这是通过使用PnP PAN解决一个具有大量点级约束的端到端优化问题来实现的。这使得NeuPAN适用于具有非完整机器人的密集场景碰撞规避，而现有结果[7], [22], [23]通常考虑完整无人机或在开放场景中的非完整机器人。与[35], [36]类似，NeuPAN中的成本和约束参数可以通过函数微分以端到端的方式进行训练。因此，NeuPAN具有易于部署和环境不变的特性。

C. 与现有解决方案的全面比较

[TABLE CONTENT: A table comparing NeuPAN with other navigation approaches like TEB, OBCA, RDA, etc., across various characteristics.]

表 I：NeuPAN与现有导航方法的特性比较

表 I 提供了与著名导航方法的全面比较。特别地，TEB [3], OBCA [1], RDA [20], STT [22], AEMCARL [24], 和Falco [19]是模块化方法。它们的输入是栅格、姿态、边界框或集合，这些都是由预先建立的栅格地图或前端物体检测器生成的。所有这些方法都涉及误差传播。与将自身机器人视为一个点（或球）的AEMCARL不同，TEB, OBCA, RDA, STT和Falco考虑了自身机器人和障碍物的形状。然而，TEB, STT和Falco在计算距离时涉及近似。OBCA和RDA是最精确的方法，但需要高计算延迟，例如，高达秒级（即小于1Hz）。另一方面，Hybrid-RL [7], MPC-MPNet [25], 和NeuPAN（我们的方法）是端到端方法。通过将原始激光雷达点作为输入，这些方法没有误差传播。Hybrid-RL采用单个网络进行点输入和动作输出。尽管其集成度高，Hybrid-RL的泛化能力较差。MPC-MPNet和NeuPAN采用两个网络，一个用于编码，另一个用于规划：MPC-MPNet使用神经编码器将点映射到体素特征；NeuPAN使用神经编码器将点和预测的自身运动映射到潜在距离特征。它们都考虑物体的形状；然而，由于从点到体素的离散化，MPC-MPNet无法计算两个形状之间的精确距离。它们也缺乏泛化性，因为轨迹生成器是场景依赖的，需要为新机器人重新训练。我们的NeuPAN克服了这些缺点，代价是计算负载略高。

NeuPAN是第一个构建端到端数学模型（即点云输入和动作输出）并使用基于模型的学习来解决它的方法。因此，NeuPAN是完全可解释的。由于这一新特性，NeuPAN能实时生成非常精确、端到端、物理可解释的运动。这使得自主系统能够在密集的非结构化环境中工作，这些环境以前被认为是不可通行的，不适合自主操作，从而催生了新的应用，如杂乱房间的管家和有限空间的停车。与现有的端到端方法[7], [11]–[16]相比，NeuPAN提供了数学保证，并导致更低的不确定性和更高的泛化能力。与现有的基于模型的运动规划方法[1], [16], [20], [22]相比，NeuPAN更精确，因为传统的运动规划属于模块化方法，并涉及误差传播。也存在其他用于机器人导航的基于模型的学习方法[16], [31]–[34]。然而，这些方法不是端到端的，例如，[31], [32]考虑状态输入动作输出，[16], [33], [34]考虑点云输入轨迹输出。文献[25]通过将[16]与后端控制器桥接来考虑点云输入动作输出。然而，这样的桥接失去了数学保证，不再解决固有的端到端模型。方法[16], [25]也利用像Transformer这样的神经编码器来压缩传感器数据，而这种神经编码器没有可解释性。

III. 问题陈述

我们考虑一种基于模型预测控制（MPC）框架，针对全维度机器人，采用点云输入、动作输出的端到端导航方法。为了通过一个控制序列达到目标状态，在每个时间步t，都会迭代地解决一个在后退时域$H=t,...,t+H$上的感知-控制优化问题。

1) 机器人运动学： 给定控制向量ut，当前状态st和后续状态st+1应遵循离散时间运动学模型：
$$s_{t+1}=st+f(s_t,u_t)\Delta t,(1)$$
其中Δt是两个状态之间的时间间隔。我们假设函数f(st, ut)相对于状态st和控制向量ut是线性的。在涉及非线性动力学的场景中，这些函数可以通过线性化技术（如泰勒级数展开）来近似。因此，该约束可以重写为线性形式：
$$s_{t+1}=A_t{s}_t+B_t{u}_t+c_t,(2)$$
其中$(A_t,B_t,c_t)$是时间步t的系数矩阵。阿克曼和差分模型的例子在附录A（补充材料）中提供。特别地，MPC框架下初始时间点的状态st可以通过里程计测量或由定位系统提供。由于物理限制，控制向量ut应属于一个可行控制集，该集合对绝对值和变化率设置了限制。这产生了以下约束：
$$u_{min}\le u_h\le u_{max},$$
$$a_{min}\le u_{h+1}-u_h\le a_{max},\forall h\in H.(3)$$
因此，我们将运动学可行集F定义为满足上述约束Eq. (2), (3)的所有状态和控制向量的集合¹。

2) 机器人模型： 自身机器人在坐标系原点所占用的空间可以用一个紧凸集C来表示。基于锥不等式表示[37]，C由下式给出：

其中，$G\in R^{ln}$ 和 $h\in R^l$分别表示相对于零点的表面旋转和平移，l是能够表示自身机器人形状的最小表面数。符号K是一个正常锥，其在Rⁿ上的偏序定义为：$x\le Ky\iff y-x\in K$。例如，对于多边形机器人，$K=R_{+}^l$，l对应于超平面的数量。因此，给定状态st，在第t个时间帧占用的空间，记为凸紧集$Z_t^2$：

其中Rt(st) ∈ Rⁿˣⁿ是表示机器人方向的旋转矩阵，tt(st) ∈ Rⁿ是表示机器人位置的平移向量。例如，对于一个在2D空间中位置和方向角为$st=[xt,yt,\theta t{]}^T$的状态，旋转和平移矩阵可以通过下式获得：

3) 点级碰撞规避约束： 我们采用一个点集来表示在时间t的环境中的障碍物，记为Pt = {p₁ᵗ, …, pᴹᵗ}，其中pᵢᵗ ∈ Rⁿ是第i个点在全局坐标系中的n维位置，M是点的总数。障碍物点集可以直接从实时激光雷达扫描中获得。因此，不需要像物体检测或占用栅格图这样的传统操作。因此，两个不相交的集合，机器人Zt(st)和第t个Pt之间的最小距离可以表示为：

其中e表示将这两个集合接触的最小平移向量，如[1], [38]中介绍。$Di,t(Zt(st),p_i^i)$表示点$p_i^t$和机器人$Zt(st)$之间的精确最小距离。
距离Di,t的计算是一个凸优化问题，由下式给出：

我们将上述凸优化问题称为计算最小距离的原始表示。因此，我们有点级碰撞规避约束：

其中dmin是安全距离。通常，这些碰撞规避约束是非凸且不可微的[1]。

4) 目标函数： 给定起始状态s_start和目标状态$s_{goal}$，我们的目标是找到一个控制序列$U=u_0,...,uT$和相关的轨迹$S=s_0,...,sT$，使得$S,U\in F，s_0=s_{s}tart$且$||sT-s_{goal}|{|}_2^2\le ϵ$，其中ϵ是导航容差，同时避开环境中的障碍物。我们采用连接s_start和s_goal（与[38]相同）的朴素直线作为初始化³，其中包含一系列插值点$s_0^{\prime },s_1^{\prime },...$。在多目标状态的情况下，初始路径包含多个线段。期望速度u_speed用作机器人维持的初始值。在我们的情况下，成本函数Co(S,U)被构建为在后退时域$H=t,t+1,...,t+H$上输出轨迹与朴素轨迹之间的距离：

其中{q, p}是加权参数。q值越大，鼓励机器人更紧密地跟随初始化轨迹，而p值越大，控制机器人维持期望速度。{s’h+1, ∀h ∈ H}是根据最近距离准则从朴素路径中选择的。

5) 问题公式化： 直接点机器人导航问题被公式化为以下在后退时域H上的模型预测感知与控制（MPPC）优化问题：

技术挑战： P代表了直接点机器人导航问题。输入包括点云Pt、朴素路径{s₀’, s₁’, …}和期望速度u_speed。输出是优化的控制向量和相关的轨迹{S,U}。P中的碰撞规避约束是双层的，涉及内层距离计算，并且是大规模的，因为点级约束的数量MH可能达到数千。现有的基于模型的方法将Pt转换为凸集[1], [20]、体素[19]或栅格[3]以减少约束。然而，这会导致解精度的降低。

---

¹注意 st = St，其中St是每个时域中的当前机器人状态。
²非凸物体可以表示为凸物体的并集。
³对于阿克曼运动学，可以采用Dubins或Reeds-Shepp路径。

IV. NEUPAN系统架构

为了保留关于环境最准确、完整和密集的信息，我们建议直接处理Pt，从而实现一种用于非结构化和未知环境的端到端感知-控制方法。系统架构如图2所示。下面，我们首先介绍NeuPAN背后的数学解释。然后我们提供系统的详细描述。

A. 数学解释

1) 强对偶变换： 为了克服碰撞规避约束Eq. (9)的非凸性和不可微性，我们将精确最小距离计算问题Eq. (8)根据强对偶性质转换为其对偶问题，如[1], [20]所示：

其中K*代表K的对偶锥，||·||*代表对偶范数。pᵢᵗ(st) = R(st)⁻¹[pᵢᵗ - t(st)]表示障碍物点在自身机器人坐标系中的位置。M = {μᵢᵗ ∈ Rˡ}和L = {λᵢᵗ ∈ Rⁿ}被引入作为分别与不等式和等式约束相关的拉格朗日乘子。每个点pᵢᵗ都与一对μᵢᵗ和λᵢᵗ相关联。

M和L对于多边形机器人的几何表示如图3所示。可以看出，最小距离Dᵢᵗ由障碍物点pᵢᵗ和自身机器人最近的边（图中用一条或两条红边表示）决定。对于μᵢᵗ，与这些红边（与碰撞相关）对应的元素具有正值，而其他元素应为零（与碰撞无关）。对于λᵢᵗ，它表示在时间步t时障碍物点pᵢᵗ和自身机器人之间的分离超平面的法向量。直观地，(μᵢᵗ, λᵢᵗ)表示从每个障碍物点到其最近机器人边的匹配和测距。这种表示通过为每个障碍物点剪枝不匹配的边来稀疏化距离计算。基于以上直觉，我们将M和L定义为潜在距离特征（LDF），在Eq. (12)的约束下的所有LDF的集合可以表示为{M, L} ∈ G。

利用对偶变换和LDFs，我们可以将原始问题P重新表述为一个等价的增广对偶形式Q，它是一个关于[S,U, M, L]的双凸优化问题：

p₁和p₂是惩罚参数。惩罚函数I和E是：

如附录B（补充材料）所示，Q的最优解也是P的最优解。可以看出，P的双层碰撞规避约束被转化为双凸距离成本。直观地，这种变换为这些边分配了一个距离成本，将约束转化为成本，从而便于后续问题的分解。

2) 问题分解： 为了便于问题求解，Q被分解为两个子问题Q1和Q2：

• Q1：涉及变量M和L，同时保持S和U固定，详见第V-A节。
• Q2：涉及变量S和U，同时保持M和L固定，详见第V-B节。

这些子问题在每次迭代中交替求解。具体来说，如图4所示，子问题Q1是一个运动感知模型预测感知（MAMPP）问题，用于为Q2生成[M, L]。子问题Q2是一个感知正则化模型预测控制（PRMPC）问题，用于生成新的[S,U]。这个迭代过程持续到收敛，产生最终解[S*,U*]。所提算法的收敛性和复杂性分析在第V-C节中提供。直观地，Q1将点云和机器人形状编码为LDFs[M, L]，这是一个高维但易于展开的问题。同时，Q2将来自Q1的LDFs映射到与预测轨迹相关的机器人动作。

图2：NeuPAN的系统架构，一个用于导航的感知-控制端到端方法，由两个主要模块组成：基于学习和基于模型的模块。
图内文字翻译：

• Points, Goal, Motions, Inputs: 点云, 目标, 运动, 输入
• Preprocess, Point Flows, Coordinate Transformation: 预处理, 点流, 坐标变换
• DUNE, Explainable neural network: DUNE, 可解释的神经网络
• Latent Distance Features: 潜在距离特征
• Motion Feedback: 运动反馈
• NRMP, Neural Regularized Optimization: NRMP, 神经正则化优化
• Outputs, Trajectory, Actions: 输出, 轨迹, 动作
• Perception: 感知
• Model-Unfolded Learning-based Block: 模型展开的学习模块
• Iteration: 迭代
• Learnable Model-based Block: 可学习的基于模型的模块
• Control: 控制

图3：LDFs M和L的几何解释。红边表示离障碍物点最近的机器人边。λ表示分离超平面的法向量。μᵢ中值为正的元素表示与碰撞相关的红边。

图4：问题P, Q, Q1和Q2之间的关系。
图内文字翻译：

• Problem P [S,U]: 问题P [S,U]
• Model predictive perception and control (MPCC): 模型预测感知与控制(MPCC)
• Equivalent: 等价
• Problem Q [S,U,M,L]: 问题Q [S,U,M,L]
• Augmented Dual MPCC: 增广对偶MPCC
• Decompose: 分解
• Subproblem Q1: 子问题Q1
• Motion Aware Model Predictive Perception (MAMPP): 运动感知模型预测感知(MAMPP)
• Subproblem Q2: 子问题Q2
• Perception Regularized Model Predictive Control (PRMPC): 感知正则化模型预测控制(PRMPC)

这是一个低维但复杂的优化问题。这种分解允许通过将问题划分为更易于管理的部分，来高效处理大量的直接点碰撞规避约束。

B. NeuPAN系统

如图2所示，在每个MPPC时域中，NeuPAN通过预处理模块将原始点转换为点流PF，并结合运动反馈，然后通过解决问题Q1的基于学习的模块将其转换为LDFs，最后通过解决问题Q2的基于模型的模块转换为机器人控制动作。由基于模型的模块生成的解（即包含机器人动作和相关轨迹）被反馈回预处理模块，用于重新生成点流，这在感知和控制之间形成了一个紧密耦合的闭环。下面我们介绍每个模块的结构。

1) 模型展开的学习模块： 我们首先预处理输入，通过在MPPC后退时域框架内将障碍物点Pt的坐标从全局坐标系转换到机器人的局部坐标系。给定一组障碍物点Pt = {p₁ᵗ, …, pᴹᵗ}及其在时间t的相关速度Vt = {v₁ᵗ, …, vᴹᵗ}，全局坐标系中时域H上的点流应为：

其中$p_i^{t+1}=p_i^t+v_i^t\Delta t,i=1,...,M$，Δt是采样时间。为了将这个点流PFt转换为机器人的局部坐标系PF’t，我们应用旋转矩阵R(st)和平移矩阵t(st)，这些矩阵由自身机器人的状态st计算得出，如Eq. (5)所介绍。因此，机器人局部坐标系中的点流PF’t应为：

其中$p_i^{h+1}=R(sh{)}^{-1}(p_i^h-t(sh))$，对于$h=t,...,t+H$。这个转换后的点流PF’t随后被送入深度展开神经编码器（DUNE），该编码器利用一个神经编码器映射点流$P{F}^{\prime }t$以生成$LDFsM={\mu }_i\in R^l$和$L={\lambda }_i\in R^n$，其中$M,L\in G$。该编码器被称为深度展开神经编码器，因为它可以被解释为将PIBCD展开成DNN。因此，这个网络既简单又快速，能够处理数千个甚至更多的输入点。该模块在第V-A节中详细介绍。

2) 可学习的基于模型的模块： 基于模型的模块将LDFs无缝地整合到一个运动规划优化问题中，作为一个严格推导的正则化项Cr(S, M, L)，施加在损失函数Co上，以体现碰撞规避的奖励。有了这个正则化项，我们可以安全地移除大量的点级碰撞规避约束，这与可能导致近似误差的传统近似或正则化方法[21]–[23]形成对比。最终的问题是神经正则化的，因此其相关的求解器被称为神经正则化运动规划器（NRMP）。通过利用函数微分，NRMP也是可学习的，支持以端到端方式自动调整参数。该模块在第V-B节中详细介绍。

3) 端到端算法： 我们的框架属于广义端到端方法，原因如下。1) 我们的原始优化问题是一个端到端的MPPC问题，它将原始传感器数据（即点）作为输入，直接生成动作作为输出，这与典型的端到端方法（如[13], [39]中的方法）一致，其中系统组件被联合优化以实现最终目标。2) MPPC问题通过运动感知模型预测感知（即DUNE）和感知正则化模型预测控制（即NRMP）的交织优化来解决，这是从原始端到端MPPC问题的等价变换推导出来的。直观地，障碍物点被直接映射到可解释的LDFs以生成控制指令，不涉及任何中间特征提取步骤。3) 系统可以通过端到端反向传播进行训练，以找到优化模块中的微调参数（详见第VI-A3节），这与典型的端到端方法[13], [39]一致。这使我们的方法能够直接从环境提供的奖励中学习，从而克服领域变化的问题。

V. NEUPAN编码器和规划器设计

A. 深度展开神经编码器

本小节介绍DUNE，它对应于在第k次迭代中使用例如{S = S[k-1], U = U[k-1]}来解决Q₁。这个子问题的本质是将每个点转换为其对应的LDF。为前端使用这种转换的好处有两方面：1) LDFs可以直接整合到后续的NRMP网络中；2) 从点到LDFs的映射可以通过可解释的神经网络来实现，稍后会展示。为了解释DUNE的工作原理，我们将首先推导从点到LDFs的映射的数学模型。具体来说，为了保证在长度为H的后退时域内的任何时间都能避免碰撞，有必要计算每个t ∈ [t, t+H]和i ∈ [0, M]的最优{μᵢ*, λᵢ*}。因此，从点到LDFs对所有点{i}和时间槽{t}的推理映射就是并行求解M × H个问题，每个问题都有一个与Eq. (18)相似的公式。这导致使用CVXPY ECOS [40]的总计算复杂度为O(MHl³.⁵)，使用罚函数非精确块坐标下降（PIBCD）算法的总计算复杂度为O(MHl)，当M在数千或更多范围内时，这使得实时应用变得不可能。为了解决这个问题，我们进一步将PIBCD展开为一个可解释的DNN，并获得DUNE的架构，可以看作是PIBCD的神经加速版本。

图5：DUNE的结构，它展开了PIBCD算法。DUNE是可解释、简单且训练快速的，并且可以在各种场景中部署而无需重新训练，只要机器人的形状保持不变。
图内文字翻译：

• shape, motions, points: 形状, 运动, 点
• Equation: 方程
• distances: 距离
• loss: 损失
• Input Points: 输入点
• FC: 全连接层
• LN + Tanh: 层归一化 + Tanh激活函数
• ReLU: ReLU激活函数

1) MAMPP问题的PIBCD： MAMPP问题Q₁可以简化并写成Eq. (12)的惩罚形式：

其中ρ是一个足够大的惩罚参数，例如ρ = 10³。由于强凸性，Eq. (18)可以通过非精确块坐标下降优化来最优求解，该优化使用梯度下降更新μᵢ（λᵢ固定），反之亦然。
在PIBCD的第j次迭代中，给定在第(j-1)次迭代的解μᵢ(j-1)，与λᵢ相关的问题是：

相关的单步投影梯度下降更新是：

这样就完成了一次迭代。通过设置μᵢ(j) = μᵢ*，我们可以继续解决第j次迭代的问题。根据[41]，由上述迭代过程生成的序列{μᵢ(0), μᵢ(1), …}是收敛的，并收敛到Eq. (18)的最优解。
为了在保持可解释性的同时解决复杂性问题，我们提出了一个深度展开神经网络来实现点-LDF映射。详细推导如下。

2) 深度展开架构： 由PIBCD生成的序列{μᵢ(0), μᵢ(1), …}可以看作是序贯映射：

这些映射{g₁, g₂, …}都是梯度映射。更具体地说，g仅由二次函数的梯度组成，这些函数是矩阵乘法运算。因此，每个gᵢ可以安全地展开成同样对应于矩阵乘法的神经网络层。PIBCD收敛所需的迭代次数J决定了神经网络的层数。因此，深度展开通过将DNN设计为迭代优化算法的学习变体，向可解释性迈出了一步。
基于以上观察，所提出的DUNE的架构如图5所示。第一层是一个n×32的全连接层，它以批处理方式从点流中读取M×H个点的位置。在第一个全连接层之后，实现了层归一化（LN）和双曲正切函数（Tanh）激活。该层通过展开Eq. (21)获得，这是一个投影到l₂范数球上的单步梯度下降更新。第二层是一个32×32的全连接（FC）层，后跟修正线性单元（ReLU）激活。该层通过展开Eq. (23)获得，这是一个投影到正半定锥（在多边形机器人情况下）上的单步梯度下降更新。通过交替重复第一层和第二层（J=3），并使用32个单元，构建了后续层。最后，输出层是一个32×1的FC层，用于输出μᵢ，整个DUNE网络等效于展开用于解决Q₁的PIBCD方法。这是因为PIBCD是一个交替计算Eq. (21)和Eq. (23)的算法，而DUNE是一个计算Eq. (21)和Eq. (23)展开层的网络。⁴

3) 损失函数设计： 神经网络使用从PIBCD算法派生的标记数据集进行训练。反向传播基于最优解{μᵢ*}和网络解{μᵢ’}之间的损失函数来确定。损失函数的一个朴素选择是这两个值之间的均方误差（MSE）。然而，由于学习到的{μᵢ’}将在后续的运动规划中用作处理碰撞规避约束的正则化项，我们必须保证{μᵢ’}在不同向量方向上的高精度，并将这些MSE纳入损失函数。基于这些考虑，我们制定了如下的损失函数：

4) DUNE训练： 训练DUNE模型的超参数列在表II中。对于一个给定[G, h]值（由形状大小决定）的机器人，训练过程从在每个轴的特定范围[rₗ, rₕ]内随机生成Nᵧ个点位置p开始。随后，根据已知的[G, h, pᵢ]值构建Nᵧ个关于变量μ的凸优化问题，并通过PIBCD算法或CVXPY ECOS求解，得到Nᵧ个最优值μᵢ*。因此，每个点位置pᵢ都有一个一一对应的最优解μᵢ*，从而形成一个用于神经网络训练的标记数据集T = {pᵢ, μᵢ*}。训练过程进行e个周期，批大小为Bₙ。利用Adam优化器以学习率lᵣ和衰减率dᵣ更新网络参数。在我们的实验中，训练过程在一台配备AMD Ryzen 9 CPU和NVIDIA GeForce GTX 4090 GPU的台式计算机上进行。训练过程大约需要一个小时才能完成。该过程列在算法1中。

注意，与需要大量真实世界环境数据收集并可能因模拟到现实的差距而难以泛化的典型深度学习模型不同，我们的DUNE模型由于其独特的点表示和模型展开的网络结构而对这些挑战具有弹性，并且可以快速训练。此外，根据Eq. (12)，DUNE模型仅受[G, h]影响，这些由形状大小确定。因此，对于特定的机器人，DUNE模型可以部署在各种真实世界环境中，而无需重新训练。

---

⁴ λᵢ可以从输出μᵢ’根据Eq. (12)中的关系导出：λᵢ’ = -μᵢ’ᵀGR⁻¹(st)。

[TABLE CONTENT: Table II showing hyperparameters for DUNE training.]

表 II：DUNE训练中使用的超参数

B. 神经正则化运动规划器

本小节介绍NRMP，它对应于在固定M = {μᵢ}和L = {λᵢ}（由上游DUNE生成）的情况下解决PRMPC问题Q₂。由于DUNE的高效精确距离计算，我们可以轻松地根据距离对障碍物点的重要性进行排序。因此，我们可以通过在每个时间步只考虑M’个最近的点来降低计算复杂性。这导致以下问题：

其中s̃h是NeuPAN上次迭代得到的s[k-1]的简写，bₖ是NeuPAN第k次迭代的相关近端系数。这个子问题旨在通过LDF集成的正则化项高效地生成无碰撞的机器人动作。

1) 神经正则化器： 基于Eq. (13)的正则化函数是：

问题Q₂是一个低维凸优化问题，原因在于：Eq. (10)中范数函数Co的凸性，F的线性性，以及Cᵣ的性质(i)。因此，Q₂可以通过解决凸问题的现成软件（如cvxpy ECOS）来最优求解。实践中，静态安全距离dmin可能不适用于时变环境。因此，Q₂中的dmin需要动态调整。为了实现这一目标，我们建议使用一个变量距离dₜ来替代惩罚函数I中的dmin，其中dₜ在范围[dmin, dmax]内。为了鼓励dₜ在高度受限空间中接近dmin，在高度动态环境中接近dmax，我们提出了一个稀疏性诱导的距离正则化器C₁(d) = -ηΣ[h=t, t+H] ||dh||₁，其中η是一个权重因子。这样，C₁(d)引入了对碰撞的适应性[20]。因此，这将涉及手动调整Co, Cᵣ和C₁中的参数P = {q, p, dmin, dmax, η}。下一小节将推导一个可学习的优化方法来自动微调P。

2) 可学习的优化网络： 优化问题中的权重参数通常是手动调整的，这既耗时又可能不是挑战性场景的最优选择。为了在新环境下实现Q₂中参数的自动校准，我们提出了一种用于解决Q₂的可学习优化网络（LON）方法，该方法可以从失败中学习以找到合适的参数。LON的关键在于它利用了可微凸优化层（cvxpylayers）[42]。因此，与传统优化求解器不同，LON提供了通过规范凸规划进行微分的能力。在这些规划中，参数可以直接映射到解，从而便于反向传播计算。此外，通过cvxpylayers，NRMP可以与DUNE无缝集成，因为它们都支持反向传播，从而实现了整个NeuPAN系统的端到端训练。

然而，使用LON解决Q₂并非易事，因为cvxpylayers要求优化问题满足规范参数化程序（DPP）形式。为此，本文提出了以下问题重构，将Q₂转换为DPP友好的问题。具体来说，为了满足[42]中的DPP格式，我们通过引入一组DPP参数{γₒᵃ, γₒᵇ}来重新配置非DPP函数Co，得到
C₀ᴰᴾᴾ(S,U) = Σ[h=t, t+H] (||γₒᵃsh - ãsh||² + ||γₒᵇuh - b̃h||²), (27)
其中ãsh ← q₀sh’和b̃h ← p₀u’被引入作为反向传播的DPP参数⁵。另一方面，我们在Q₂中重新表述Cᵣ为：
Cᵣᴰᴾᴾ(S,U,L) = (p₁/2)Σ[h=0, H-1]Σ[i=0, M’] ||min(Iᴰᴾᴾ(sh, μᵢʰ, λᵢʰ), 0)||²

• (p₂/2)Σ[h=0, H-1]Σ[i=0, M’] ||Eᴰᴾᴾ(sh, μᵢʰ, λᵢʰ)||², (28)
  其中DPP重构的I和E是：
  Iᴰᴾᴾ = γᵢᵃt(st) - γᵢᵇpᵢ - γᵢᶜdₜ, (29)
  Eᴰᴾᴾ = γᵢᵈGᵀ + γᵢᵉλᵢᵀR(st), (30)
  向量γᵢᵇ ← λᵢᵀ，γᵢᵈ ← μᵢᵀG，标量γᵢᶜ ← 1，γᵢᵉ ← λᵢᵀpᵢ + μᵢᵀh。因此，DPP参数是P’’ = {q, p, dmin, dmax, η, ãsh, b̃h, γᵢᵃ, γᵢᵇ, γᵢᶜ, γᵢᵈ, γᵢᵉ}。考虑到对生成行为的影响，我们选择P’ = {q, p, dmin, dmax, η}作为LON中的可学习参数。
  经过上述重构，问题Q₂变为：
  Q₂ᴰᴾᴾ: min_{{S,U}∈F} C₀ᴰᴾᴾ(S,U) + Cᵣᴰᴾᴾ(S,M,L) + C₁(d)
• (bₖ/2)Σ[h=0, H-1] ||sh - s̃h||², (31)

可以证明C₀ᴰᴾᴾ, Cᵣᴰᴾᴾ和C₁(d)都满足DPP规定。再加上集合F中的其他函数也是DPP友好的，问题Q₂ᴰᴾᴾ是DPP兼容的，其参数可以通过反向传播进行优化。具体来说，一个参数，比如x ∈ P’，可以利用梯度下降法进行修正，这由一个损失函数L§来促进：
x(k+1) = x(k) - α(∂L/∂x), (32)
其中α是学习率。梯度在范围[gmin, gmax]内被裁剪，最大值为1.0以避免梯度爆炸。

[ALGORITHM CONTENT: Algorithm 2 for DPP-friendly NRMP.]

算法 2：DPP友好的NRMP

3) 损失函数： 损失函数L§基于Q₂ᴰᴾᴾ中呈现的成本函数Co, Cᵣ和C₁进行设计，并可根据特定任务进行选择。特别地，最终的损失函数可以是几个原子损失函数的组合：L(P’) = Σᵢ₌₀² aᵢLᵢ(P’)，其中aᵢ是第i个损失函数的权重。关键思想是允许LON从失败中学习以更新可学习参数。这里，我们提供了三个原子损失函数的例子：
L₁(P’) = ||s - s⁰||₂²
L₂(P’) = ||u - u⁰||₂²
L₃(P’) = -ηΣ[h=t, t+H] ||dh||₁

• 如果机器人偏离目的地，可以使用L₁(P’)函数产生一个更大的q，鼓励机器人返回朴素路径。
• 如果机器人在拥挤的环境中卡住，可以结合L₂(P’)和L₃(P’)产生一个更大的p但更小的dmax，这为机器人运动创造了激励。
• 如果机器人与障碍物碰撞，可以结合L₁(P’)和L₃(P’)产生一个更小的q，允许机器人暂时离开朴素路径，和一个更大的dmax，产生更保守的运动。
  NRMP的整个过程总结在算法2中。

C. 收敛性和复杂性分析

整个NeuPAN过程总结在算法3中，可以看作是基于学习（即DUNE）和基于模型（即NRMP）算法之间的迭代。具体来说，给定在第k次迭代的状态-动作空间{S[k], U[k]}，NeuPAN生成下一轮的解{S[k+1], U[k+1]}如下：
{S[k],U[k]} → DUNE → {M[k+1], L[k+1]} → NRMP → {S[k+1],U[k+1]}。
因此，从一个初始猜测{S[0], U[0]}开始，NeuPAN生成的序列是：
{S[0],U[0]} → DUNE → {M[1], L[1]} → NRMP → {S[1],U[1]} → DUNE → {M[2], L[2]} → NRMP → {S[2],U[2]} → … (33)
这种基于模型的深度学习框架可以通过端到端反向传播进行训练。它可以通过向DUNE添加神经元和向NRMP添加约束来自然地利用额外的训练数据和先验知识。

---

⁵符号 ← 表示参数替换。

[ALGORITHM CONTENT: Algorithm 3 for NeuPAN.]

算法 3：NeuPAN

最后，我们介绍NeuPAN的复杂性分析。根据算法3中列出的过程，在每次迭代中，首先从扫描数据生成扫描流，复杂度为O(MH)。随后，DUNE由多个神经层组成，计算成本为O(MHNₙ)，其中Nₙ是DUNE神经网络中的神经元数量。接下来是NRMP，它解决一个基于DPP的优化问题，复杂度为O(H(n+2))³.⁵。总之，如果收敛所需的迭代次数为K，NeuPAN的总复杂度为O(K(MH(Nₙ+1) + (H(n+2))³.⁵))。可以看出，复杂度与M呈线性关系，这证实了NeuPAN可以实时处理数千个点的事实。

VI. 实验

在本节中，我们在一个开源的轻量级机器人模拟器Ir-sim⁶中展示了数值结果，以分析NeuPAN的有效性和效率。为了进一步展示NeuPAN在实际设置下的有效性和鲁棒性，我们还在高保真模拟环境和真实世界测试轨道上，对不同机器人平台上的NeuPAN性能进行了评估。

所采用的机器人平台包括地面移动机器人、轮腿机器人和乘用自动驾驶汽车，如图6所示。

• 图6(a)所示的地面移动机器人是一个定制的、多模式、小尺寸的机器人平台，其运动运动学可以在差分和阿克曼模式之间切换。
• 图6(b)所示的轮腿机器人是一个中等尺寸的平台，它集成了轮式和腿式机器人的功能，因此在复杂场景中同时享有高机动性和地形适应性的优点。与图6(a)中的地面机器人相比，轮腿机器人涉及更高的运动不确定性（例如，身体振荡），因此需要更精确的控制以确保稳定性。
• 图6©所示的乘用自动驾驶汽车是一个4.675m × 1.77m × 1.5m的大尺寸车辆平台，用于城市驾驶。

所有这些平台都配备了激光雷达系统（2D或3D），使它们能够获得环境的点表示。这些机器人在未知环境中的定位是通过Fast-lio2 [43]或Lego-Loam [44], [45]实现的。所有实验都在没有任何先验地图的情况下进行，仅依靠目标位置、期望速度和板载激光雷达进行自主导航。请注意，在真实世界实验中，移动障碍物（例如人类）的速度较低（小于1m/s），我们在每个MPPC时域内将这些障碍物点视为固定的⁷。
我们采用以下性能指标进行评估。

• 成功率： 成功定义为机器人在没有任何碰撞的情况下完成导航任务。这包括两个条件，即路径完成和碰撞规避。如果导航时间超过预定阈值（表明机器人卡住了），则认为路径完成失败。同时，机器人与障碍物之间的任何碰撞也被视为失败。成功的类似定义在[6]中提出。成功率是成功案例在总测试次数中所占的比例。
• 导航时间： 导航时间是指机器人成功完成导航任务所需的时间。它通过在模拟器中计算时间步数或在真实世界实验中记录时间戳来测量。
• 平均速度： 平均速度是在整个导航过程中计算的，由模拟器或真实世界实验中的里程计记录。

更高的成功率表示更好的碰撞规避能力和有效性。更短的导航时间和更高的平均速度表示更高的机动性和效率。为了量化杂乱环境中导航的难度水平，我们定义了一个名为狭窄度（DoN）的度量，如下所示：
DoN = 机器人宽度 / 最小可通过空间宽度 (34)
更高的DoN（接近1）意味着更窄的空间和更高的机器人通过难度；反之亦然。

---

图6：我们实验中使用的三种机器人平台：(a) 地面移动机器人；(b) 轮腿机器人；© 自动驾驶汽车。

A. 实验1：在Ir-sim中验证NeuPAN

1) 与RDA的比较： 我们测试并比较了NeuPAN和RDA [20]在使用差分和阿克曼机器人在三种不同场景下的性能，这些场景由11个随机生成的凸、非凸和动态障碍物（速度：1m/s）组成。为确保NeuPAN和RDA之间的公平比较，配备2D激光雷达的机器人被赋予相同的起点（即[-1, 25]）和终点（即[50, 25]）位置，期望速度为4m/s，如图7所示。超过100次试验的定量比较结果列在表III中。我们评估了NeuPAN和RDA的成功率、平均导航时间和平均速度。结果表明，在处理凸障碍物时，RDA和NeuPAN的成功率在差分和阿克曼运动学下都非常接近。然而，在处理非凸障碍物时，RDA的成功率为59%和71%，而NeuPAN的成功率分别为73%和82%，在阿克曼和差分运动学下。这表明NeuPAN在非凸障碍物的成功率方面比RDA高出19%以上。这个结果证明了通过NeuPAN直接将原始点映射到动作的重要性。这也定量地说明了将障碍物表示为密集点可以多大程度上改善导航性能。此外，如表III所示，NeuPAN在所有模拟场景中都实现了更高的移动速度（提升6.0%）和更少的导航时间（减少11.27%），这验证了NeuPAN的高效率。更多在Ir-sim中的演示可以在附录D（补充材料）中找到。

[TABLE CONTENT: Table III, comparing NeuPAN and RDA in the Ir-sim simulation.]

表 III：NeuPAN和RDA在Ir-sim模拟中的性能比较

2) 障碍物速度的影响： 为了展示我们方法在处理具有已知点速度的移动障碍物方面的有效性，我们比较了NeuPAN和NeuPAN-vel（包含点速度）在图7©所示动态场景中的性能。我们考虑四种不同场景，障碍物速度从1m/s到4m/s不等，并评估成功率、平均导航时间和平均速度的性能指标。表IV中的所有结果都是通过平均100次试验获得的。可以看出，NeuPAN和NeuPAN-vel的性能在低速场景（例如，障碍物速度为1m/s和2m/s）中是相当的。然而，在高速场景（例如，障碍物速度为3m/s和4m/s）中，NeuPAN-vel实现了更高的成功率（在3m/s和4m/s情况下分别提高了10.96%和35.42%）和更短的导航时间（在3m/s和4m/s情况下分别减少了1.09%和3.47%），这证明了将点速度纳入NeuPAN以处理移动障碍物的有效性。

3) 微调验证： 所提出的NeuPAN能够从环境提供的奖励中学习，从而通过自动调整来处理领域变化（例如，传感器噪声）。为了看到这一点，我们考虑一个DoN=0.67的走廊场景。给定起点和终点位置[-5, 20]和[75, 20]，相关结果如图8所示。最初，我们用不当参数配置NeuPAN，机器人在第0个回合发生碰撞（即图8(a)的第一个子图）。通过使用损失函数L₃(P’)对失败进行反向传播，机器人在27和38个训练回合后能够取得进展（即图8(a)的第二和第三个子图）。经过54个训练回合后，机器人用适当的参数成功地在场景中导航（图8(a)的最后一个子图）。

随后，我们在同一个走廊场景中测试了训练好的NeuPAN，但现在机器人激光雷达涉及传感器噪声（即在测距测量中加入了标准差为0.2的高斯噪声）。虽然训练好的NeuPAN有能力处理无噪声情况并通过走廊，但它在传感器噪声下会遇到困难并与障碍物碰撞，如图8(b)左侧所示。然而，如果我们继续训练NeuPAN另外12个回合，机器人再次通过走廊。即使传感器噪声太大，导致内部走廊无法通行，NeuPAN仍然可以找到一条替代的外部路径（图8(b)的右侧）。这证明了NeuPAN在处理领域变化方面的适应性。

图8©显示了在回合数上的平均训练损失。可以看出，在完美和有噪声的情况下，损失都迅速下降并收敛到最小值，这证实了图8(a)和图8(b)，并表明训练速度很快。这是由于NeuPAN的基于模型的学习特性，它只通过反向传播调整少量可学习的参数，如第V-B节所述。

图7：用于评估NeuPAN和RDA的随机生成障碍物场景。(a) 凸。 (b) 非凸。 © 动态。

表 IV：NeuPAN和NeuPAN-vel在Ir-sim模拟中的性能比较。

图8：机器人轨迹和训练损失随回合数的变化。(a) 配备无噪声激光雷达的机器人轨迹。(b) 配备受高斯噪声(0, 0.2)影响的激光雷达的机器人轨迹。© 损失随回合数的变化。

B. 实验2：在开放数据集上验证DUNE

在本小节中，我们进行真实世界实验，以验证我们提出的NeuPAN的DUNE模块的功效，以及它相对于采用非精确距离的现有方法的优势（补充材料附录E）。我们考虑两个开源数据集：1) KITTI [46]，这是一个流行的真实世界城市驾驶数据集（见图9(a)）；2) SUSCAPE⁸，这是一个大规模多模态数据集，包含超过1000个场景。这个SUSCAPE数据集是基于图6©中的自动驾驶汽车平台收集和处理的。我们根据三种不同的规则计算自身车辆与所有周围物体之间的最小距离：中心点距离（cd）、全形状集距离（sd）和我们的DUNE距离（dd）。基于物体检测器框的cd和sd计算分别用cd_d和sd_d表示。这里我们选择了一个著名的基于点的检测器Pointpillars [47]，其在汽车检测任务上的准确率达到74.31%（中等）。距离误差定义为计算距离与真实距离（基于数据集提供的原始点云计算）之间的差异。从图9(a)和9©可以看出，NeuPAN的DUNE模块的距离误差明显小于其他方法的误差，这简明地量化了直接点机器人导航带来的好处。因此，我们可以有效地克服传统物体检测算法中固有的检测不准确性。

SUSCAPE数据集的定性结果如图9(b)所示，相关的定量结果如图9©所示。结果显示，我们的DUNE距离仍然具有最小的误差。此外，与KITTI中的结果相比，cd_d和sd_d误差增加了。这是由于基于学习的物体检测器缺乏泛化性。相比之下，我们的NeuPAN的DUNE模块可以直接应用于不同的数据集。最后，人们可能会想，我们是否可以通过用其他高精度物体检测器替换Pointpillars来减少这种距离误差。为此，我们进行了另一项实验，考虑一个具有100%准确率的完美物体检测器，即我们直接使用由人类专家标记的真实边界框作为其输出。基于该检测器的计算可以表示为cd_g和sd_g。从图9©可以看出，由于物体检测的改进，cd_g, sd_g的误差小于cd_d和sd_d。然而，这些误差仍然远大于dd误差。这是因为盒子形状和非凸物体形状之间存在差距。

在两个数据集上（在同一计算机平台上测试），NeuPAN的DUNE模块和Pointpillars的推理延迟如图9(d)所示。可以看出，DUNE的推理时间在KITTI数据集上达到4ms，在SUSCAPE数据集上达到10ms，这分别比Pointpillars的16ms和23ms推理时间快得多。这是因为DUNE是一个完全可解释的轻量级神经网络，只有六个全连接层，比具有深度卷积层的Pointpillars网络效率高得多。

为了分析NeuPAN的DUNE模块的可扩展性，其计算时间随点数的变化如图10所示。作为比较，我们还实现了一个基准方案ECOS [40]，这是一个用于解决问题Eq. (12)的现成优化求解器。所有测试都在一台配备AMD Ryzen 9 CPU的计算机上进行。可以看出，所提出的DUNE能够在0.2秒内处理100万个点。相比之下，基准方法ECOS需要超过650秒来处理100万个点，这明显高于DUNE。这表明当输入点的数量在数千或更多时，DUNE将计算时间减少了1000倍以上。这种显著的加速是由于DUNE的基于模型的学习特性，这证实了第V-A节中的理论和方法。

图9：在KITTI和SUSCAPE数据集上的距离误差比较。(a) Pointpillars在KITTI上的物体检测结果。蓝色和红色框分别表示检测结果和真实情况。(b) SUSCAPE上的完美物体检测结果，所有框都由人类专家标记。© cd, sd和dd在KITTI和SUSCAPE上的平均距离误差。(d) DUNE和Pointpillars之间的推理时间比较。

图10：DUNE与优化求解器ECOS在不同输入点数量下的推理时间比较。

C. 实验3：地面移动机器人导航

1) 动态环境： 我们采用Gazebo [48]，一个广泛认可的开源3D机器人模拟器，来展示我们方法在使用板载2D激光雷达时的动态碰撞规避能力。实验设置如图11(a)-11(b)所示，其中机器人在差分转向模式下运行，必须在两个给定检查点之间尽可能快地巡逻，同时防止自己被大量敌对的移动障碍物包围和碰撞。具有圆柱形和非凸形状的障碍物被随机放置在一个感兴趣的区域内，并表现出相互碰撞规避行为，速度可调（最大速度：0.1m/s）。我们将我们的方法与基于强化学习的方法AEMCARL [24]和基于优化的方法RDA [20]进行比较。所有这些方法都采用0.3m/s的期望速度。

基于50次试验的实验结果，圆柱形和非凸障碍物的数量从15到20不等，呈现在表V中。可以看出，对于有圆柱形障碍物的场景，NeuPAN的成功率比RDA和AEMCARL分别提高了4.69%和11.60%。此外，NeuPAN将导航时间减少了12.53%和35.80%，并将移动速度提高了5.07%和12.36%，分别相对于RDA和AEMCARL。另一方面，对于有非凸障碍物的场景，NeuPAN将成功率提高了38.19%，将导航时间减少了16.33%，并将移动速度提高了5.08%，与RDA相比。注意，AEMCARL在这种情况下失败了，因为AEMCARL是基于点质量模型（带膨胀半径的点）开发的，不适用于非凸障碍物。

可以看出，没有一个模拟方案能达到100%的成功率。这些失败的发生有两个原因。首先，机器人的激光扫描器视野有限（FoV），可能无法检测到其覆盖范围之外的移动障碍物。因此，机器人可能在反应之前与这些未检测到的障碍物发生碰撞。其次，障碍物密集地堆积在一个有限的区域内移动。它们的行为是随机的，并且它们不会主动避开自身机器人，如[6]所示。因此，存在机器人没有可行逃生路径的场景。例如，如果机器人被障碍物完全包围，即使机器人保持静止，碰撞也是不可避免的，因为障碍物会向它靠拢。

三种方案的机器人轨迹和速度剖面如图11所示。可以看出，AEMCARL由于其保守的神经策略和其将障碍物视为球的过简化模型，在拥挤的障碍物前倾向于绕行，导致更长的导航时间（图11©）。另一方面，RDA倾向于与障碍物碰撞，因为它基于从激光扫描转换来的多边形计算不精确的机器人-障碍物距离，这在表示非凸障碍物时引入了不可避免的误差，导致更高的失败率（图11(f)-11(g)）。最后，NeuPAN利用原始点来表示障碍物，从而消除了AEMCARL和RDA中涉及的距离误差。通过直接将原始点映射到动作，NeuPAN在具有任意形状障碍物的复杂环境中实现了更好的导航性能（图11(d)-11(e)）。

2) 结构化真实世界测试平台： 我们在结构化真实世界测试平台（即一个尺寸为4m×4m的沙箱）中进行实验，以展示NeuPAN的高精度，如图12所示。机器人的任务是在赛道内尽可能快地竞赛而不发生任何碰撞。我们通过改变20cm×20cm立方体的位置，设置了具有不同DoN的挑战1-3。挑战1-3中最窄的空间分别为32cm, 30cm和25cm。考虑到机器人宽度，剩余的边距分别为10cm, 8cm, 3cm，分别对应于0.52, 0.58, 0.79的DoN。这些挑战代表了不同的通过难度，并用于评估导航精度的极限。我们还设置了挑战4，带有一个动态障碍物，我们采用另一个移动机器人来挑战赛道内的自身机器人。

我们比较了我们的方法NeuPAN与著名的运动规划器TEB [3]和手动控制在路径完成、导航时间和平均速度方面的性能。从图12中还可以观察到，TEB方法需要一个预先构建的占用栅格图。相比之下，我们的方法只需要目标状态信息，即四个角落的检查点。期望速度设置为1m/s。定量结果列在表VI中。

可以看出，NeuPAN成功通过了所有挑战，并以12.49s的最短时间和0.788m/s的最高速度完成了赛道，接近了机器人1m/s的最大速度。这表明NeuPAN在此任务中实现了3cm的控制精度极限。相比之下，TEB在挑战3（3cm边距通道）前卡住，未能完成行程。这是因为TEB依赖于占用栅格图，而障碍物的栅格表示导致导航精度下降，使其不适用于高精度导航。通过在挑战3中逐步增加边距，TEB方法在边距为7cm时通过了挑战3，这代表了其导航精度极限。可以看出，我们的方法比TEB的精度提高了2倍以上。最后，通过采用手动控制，也可以控制机器人通过所有这些挑战。但由于在狭窄空间需要小心避免碰撞，手动控制导致更长的导航时间（23.95s）和更低的移动速度（0.396m/s / 0.165），与我们的方法相比。这些结果证实了我们可解释的端到端框架在具有普遍不确定性的真实世界实验中的有效性。

3) 非结构化真实世界环境： 上述实验考虑了结构化环境，其中障碍物易于检测（例如，盒子、墙壁）和分类。然而，对于广泛的现实生活应用（例如，管家机器），目标场景是高度非结构化和无序的。为此，我们进一步在一个高度杂乱的实验室中测试了NeuPAN，如图13所示。实验室里堆满了杂物，如椅子、沙箱、水瓶和设备，这些都是形状任意的不可识别物体。机器人需要在没有预先建立地图的情况下，以0.5m/s的期望速度在这个环境中巡逻。首先，我们邀请10名人类驾驶员手动控制机器人。但不幸的是，他们都失败了，要么导致机器人碰撞，要么因速度不足而超时。然后，我们采用NeuPAN来处理这种情况。这一次，任务完成了，相关的轨迹（标记为蓝线）如图13所示。最窄的地方只有大约3厘米的容差，DoN = 0.88（见图13(5)）。但由于DUNE的精确距离感知和NRMP的高精度运动，我们的NeuPAN方法能够仅用板载激光雷达实时导航机器人通过这个具有挑战性的场景。

NeuPAN和TEB在此任务期间的轨迹和速度剖面如图14所示。我们通过Cartographer [49]（一个著名的SLAM算法）为TEB构建占用栅格图以规划其轨迹，如图14(a)所示。TEB轨迹（标记为黄色）在狭窄空间失败，因为栅格图有限分辨率造成的不可避免误差。图14(b)-14(d)展示了NeuPAN的成功轨迹（标记为蓝色）及其相关的线性和角速度剖面。可以看出，线速度在目标速度0.5m/s附近波动，角速度严格限制在[-3.14, 3.14] rad/s范围内，实现了稳定且有界的控制策略。

[IMAGE CONTENT: Table V, Table VI, Figures 11, 12, 13, 14, etc.]
由于内容过多，表格和图片的具体翻译已在上述各小节中描述。

D. 实验4：轮腿机器人无地图导航

在本小节中，我们在一个中等尺寸的机器人平台，即图1中提到的轮腿机器人上验证NeuPAN，以进行自主无地图导航和密集导航任务，如图15所示。朴素路径是通过连接手动设置的目标状态之间的直线生成的，没有考虑环境中的障碍物。Fast-lio2 [43]被用于实时环境建图和自身机器人的定位。注意，最窄的空间的DoN值为0.92。从图15可以看出，起点和终点（图15(d)中的相同位置）之间存在3个挑战：1) 通过一个狭窄的门道（图15(a)）；2) 避开任意障碍物（图15(b)中的盆栽）；3) 绕开突然冲过来挡路的敌对人类（图15©）。由于NeuPAN提供的精确动作，轮腿机器人成功地克服了所有这些挑战。这个实验展示了我们的方法在增强轮腿机器人操作能力方面的功效和鲁棒性。包括轨迹、线速度和角速度在内的时间变化如图16所示。很明显，轮腿机器人成功地跟随了目标状态并返回到起点。线速度在期望速度0.6m/s附近波动，但严格控制在1m/s以下（用户请求的最大速度）。同样，角速度严格控制在-3.14 rad和+3.14 rad之间。这个结果表明，由于NeuPAN的NRMP模块的可解释性和硬边界约束，我们的方法是约束保证的，这与可能输出不确定运动的基于学习的解决方案形成对比。

为了进一步展示我们方法在真实世界中操作的有效性，我们进行了一个定量实验，以比较NeuPAN和Falco [19]的性能。任务是让轮腿机器人在一个高度受限的空间（DoN=0.89）中沿直线轨迹导航，如图17所示。可以看出，NeuPAN成功地引导机器人通过狭窄空间，平稳地到达目标。相比之下，Falco方法在狭窄通道前卡住了。这是因为Falco将激光雷达点转换为体素进行碰撞规避，并通过最大化到达目标的概率来确定轨迹。点体素化和概率采样操作导致导航精度下降。定量结果显示在表VII中。可以看出，NeuPAN将DoN（即导航精度）从0.79提高到0.89，与Falco相比，DoN增益超过12.6%，精度提高了2倍。此外，与在相同挑战（DoN=0.79）下的Falco相比，NeuPAN实现了更高的移动速度（提高32.5%）和更短的导航时间（减少29.9%）。

E. 实验5：乘用车导航

在本小节中，我们在一个大尺寸的乘用车平台上验证NeuPAN。与前述机器人相比，该车辆具有更高的速度值（例如，10到50km/h）和更大的最小转弯半径（即6m）。因此，现有的乘用车解决方案采用更大的安全距离（例如1m），车辆在受限空间前常常会停下。在接下来的实验中，我们将展示NeuPAN可以克服上述缺点。

1) 模拟环境： 我们采用CARLA [50]，一个由虚幻引擎驱动的高保真模拟器，来创建一个虚拟停车场场景，如图18所示。安装在车顶的128线3D激光雷达提供环境的实时测量。任务是引导车辆从区域A到区域B，包括两个阶段。在第一阶段，如图18©所示，非法停放的车辆堵塞了道路，DoN = 0.95。但由于端到端的特性，NeuPAN成功地实时找到了运动学约束下的最优动作，成功的轨迹如图18(a)-18©所示。在第二阶段，如图18(d)-18(f)所示，生成了一个敌对的动态交通流来模拟真实世界的敌对或甚至意外交通。例如，在图18(e)中，一辆危险的障碍车撞向我们的自身车辆。在碰撞瞬间，NeuPAN生成了一个类似专家驾驶员的转向和加速动作，使车辆从碰撞中恢复并及时转弯。图18(g)-18(i)展示了动态交通流下的其他挑战性案例。有趣的是，图18(h)展示了一个极端情况，其间隙对于任何现有方法来说都太窄了，无法通过。这是因为检测到的框比实际物体稍大，使得剩余的可行驶区域宽度小于自身车辆的宽度。然而，我们的方法通过操纵车辆成功地通过了这个具有挑战性的情况，如图18(h)所示。这已经超过了人类驾驶水平，经我们的志愿者人类驾驶员测试。

2) 真实世界环境： 在现有工作中，许多方法，如端到端RL，在模拟环境中展示了巨大潜力。然而，由于模拟到现实的差距，这些方法在应用于真实世界场景时面临困难。真实世界测试也可以验证NeuPAN的鲁棒性，因为现在考虑了硬件不确定性（例如，噪声、损伤）。

首先，我们在停车场测试了配备128线激光雷达的车辆，如图19所示。与道路上宽敞的环境不同，停车场留给车辆通过的空间更小（DoN=0.93）。采用物体检测或占用栅格的现有解决方案容易绕行或卡住。相比之下，NeuPAN成功地控制车辆以S形轨迹移动，以避开盒子和人体模型，如图19(a)-19©所示。

其次，我们进行了一个简单而特别设计的实验，以验证NeuPAN的性能。在这个挑战中，车辆需要在一定的时间预算内通过一个宽度为1.82m的极窄通道（对应于5km/h的平均速度）。由于车辆宽度已经是1.77m，只有大约5厘米的容差（DoN=0.97）。我们将我们的NeuPAN与：1) 由Autoware [51], [52]（一个最先进的开源自动驾驶解决方案）实现的混合A星算法，和2) 人类驾驶进行比较。首先，可以看出，即使在DoN接近1的情况下，我们的NeuPAN解决方案也成功地以7km/h的速度引导车辆通过间隙，如图20(a)所示。其次，在5km/h的速度下，人类驾驶员很可能会失败。只有当我们将速度降低到较低值（例如2km/h）时，人类驾驶员才能通过仔细观察来应对这种情况，如图20(b)所示。最后，Autoware解决方案，即混合A星，将激光雷达扫描转换为占用栅格图，如图20©所示。这种方法将狭窄的间隙视为不可通行，从而生成绕行的替代方向。相比之下，我们的NeuPAN解决方案直接利用激光雷达点作为输入，实现了更高的精度，并成功地找到了最优路径，如图20(d)所示。上述实验展示了所提出框架在极其杂乱环境中的优势。这种优势使我们的方法在处理各种困难案例方面非常有前景。

VII. 结论

本文提出了NeuPAN，一种用于直接点机器人导航的端到端基于模型的学习方法。开发了一个新颖的紧密耦合的感知-控制框架，包括DUNE和NRMP，以直接将原始点映射到机器人动作，而没有误差传播。由于可解释的深度展开神经网络，DUNE可以以模拟到现实的方式进行训练，将障碍物点快速转换为潜在距离特征。输出的距离特征被嵌入作为神经正则化项，通过由可微凸优化层表示的NRMP生成无碰撞和时间高效的机器人动作。在多种机器人平台和不同场景下的详尽实验验证了NeuPAN，结果表明NeuPAN在准确性（提升超过2倍）、导航时间、平均速度、鲁棒性和泛化能力方面均优于现有最先进的方法。由于NeuPAN能实时生成感知感知和物理可解释的运动，它使得自主系统能够在以前被认为不可通行的杂乱环境中工作，从而为杂乱房间的家政服务和有限空间操作等新应用提供了可能。

---