一、研究背景与技术概述

在 端到端自动驾驶（End-to-End Autonomous Driving） 系统中，自动驾驶模型需要根据当前道路环境、交通参与者、车辆运动状态和导航任务，预测车辆未来的运动行为，并将预测结果转换为可执行的车辆控制指令。

SimLingo 是发表于 CVPR 2025 的 视觉—语言—动作模型（Vision-Language-Action Model，VLA），其论文名称为：

SimLingo: Vision-Only Closed-Loop Autonomous Driving with Language-Action Alignment

中文译为：

SimLingo：基于语言—动作对齐的纯视觉闭环自动驾驶

该模型以摄像头图像作为主要环境感知输入，同时接收车辆当前速度、导航目标以及任务指令，通过统一的视觉—语言模型预测驾驶行为。

与仅预测单一未来轨迹的自动驾驶方法不同，SimLingo 采用 路径—速度解耦表示（Disentangled Path-Speed Representation），分别预测两类具有不同采样方式的航路点：

• 预测路径航路点（Predicted Path Waypoints）：以固定空间距离进行采样，描述车辆未来的几何行驶路径。
• 预测速度航路点（Predicted Speed Waypoints）：以固定时间间隔进行采样，描述车辆在未来不同时刻预计到达的空间位置。

此外，模型使用来自导航系统的 目标点（Target Points） 作为导航条件，引导车辆朝正确的路线行驶。

在 SimLingo 的可视化界面中，三类信息使用不同颜色进行表示：

可视化颜色	名称	主要作用	信息来源
红色	预测路径航路点（Predicted Path Waypoints）	描述未来几何行驶路径	模型预测输出
绿色	预测速度航路点（Predicted Speed Waypoints）	描述未来时刻的位置及速度趋势	模型预测输出
蓝色	目标点（Target Points）	提供导航方向与路线约束	导航系统输入

这三类点可以分别回答三个问题：

目标点确定“应该朝哪里去”，路径航路点确定“具体沿什么路线走”，速度航路点确定“在未来各个时刻走到哪里”。

需要强调的是，三类点虽然同时出现在可视化画面中，但它们并不是三组相同性质的轨迹预测结果。

其中，红色和绿色属于模型预测的未来运动信息，而蓝色主要属于导航输入信息。

---

速度航路点 是什么？

速度航路点（Temporal Speed Waypoints） 是指：自动驾驶模型预测车辆在未来一系列固定时间点应该到达的位置。

需要特别注意：速度航路点本身不是速度数值，而是带有时间含义的位置坐标。

在 SimLingo 论文中，速度航路点每隔 0.25 秒 预测一个位置。

1. 为什么位置点可以表示速度？

假设车辆沿直线行驶，模型预测每隔 0.25 秒车辆的位置：

例如：

• 相邻两个绿色点在真实空间中相距 1 米，时间间隔 0.25 秒，对应平均速度约为 4 m/s。
• 如果相距 2 米，时间仍然是 0.25 秒，对应平均速度约为 8 m/s。

计算方法是：

$$v_i \approx \frac-x_i)^2+(y_-y_i)^2}}$$

其中，$\Delta t=0.25,\mathrm$。

所以，在真实空间坐标中，相同时间间隔下，点越稀疏代表速度越快，点越密集代表速度越慢。

2. 与红色路径航路点有什么区别？

对比	红色：路径航路点	绿色：速度航路点
英文	Geometric Path Waypoints	Temporal Speed Waypoints
采样方式	固定距离	固定时间
SimLingo 的间隔	每 1 米一个点	每 0.25 秒一个点
主要作用	确定行驶方向	确定目标速度
解决的问题	往哪里开？	开多快？

根据论文，SimLingo 从绿色航路点计算 目标速度（Target Speed），从红色航路点计算 目标转向角（Target Angle），再通过 PID 控制器（PID Controller） 生成车辆的加减速和转向控制。

3. 回到你提供的图片

图中的绿色点集中在车辆前方，表示模型预测的未来不同时刻车辆所处的位置。

不过，不能仅根据截图中绿色点的像素间距判断速度变化，因为三维位置投影到透视图像后，远处的点天然会显得更加密集。

一句话总结： SimLingo 的速度航路点，本质上是 按时间采样的未来轨迹（Time-Sampled Future Trajectory）。模型通过预测“每隔 0.25 秒车应该在哪里”，间接表达车辆未来应该以多快的速度行驶。

路径航路点 与 速度航路点 一般是什么关系？

路径航路点（Path Waypoints） 和 速度航路点（Speed Waypoints） 的关系，可以概括为：

路径航路点决定车辆“沿哪条路线行驶”，速度航路点决定车辆“在什么时间行驶到路线上的什么位置”。

从自动驾驶轨迹规划的角度来看，它们描述的是同一个驾驶过程的两个方面：

• 路径（Path）：描述车辆的空间运动轨迹，不关心何时经过某个位置。
• 速度（Speed）：描述车辆沿着路径前进的快慢，决定到达各个位置的时间。

二者结合，形成完整的 时空轨迹（Spatiotemporal Trajectory）。

1. 两种航路点之间的数学关系

设车辆的几何路径为：

$$P(s)=(x(s),y(s))$$

其中，$s$ 表示从路径起点累计行驶的距离，也称为 弧长（Arc Length）。

设车辆的速度规划为 $v(t)$，那么在时间 $t$ 内沿路径行驶的距离为：

$$s(t)=\int_0^t v(\tau)\,d\tau$$

因此，理想情况下，速度航路点与路径航路点满足：

$$W(t)=P(s(t))$$

这个公式揭示了它们最本质的关系：

速度航路点可以看作按照时间，对几何路径进行重新采样得到的位置点。

例如，车辆保持恒定速度时，速度越快，相邻时间采样点之间的距离越大；速度越慢，距离越小。

需要注意，这里是从运动学角度描述两者的理想关系，具体模型不一定真的通过重新采样路径来生成速度航路点。

2. 在 SimLingo 中，两者如何对应？

根据 SimLingo 原论文，模型分别预测两组航路点：

属性	红色路径航路点	绿色速度航路点
采样依据	空间距离	时间
采样间隔	每 1 米	每 0.25 秒
主要控制对象	转向	加速、减速
是否包含时间信息	不直接包含	包含
车辆停止时	仍可以向前延伸	集中在停车位置附近

举一个直线行驶的例子。

假设红色路径航路点位于距离车辆 1、2、3、4、5、6 米的位置。

• 车辆以 4 m/s 匀速行驶：每隔 0.25 秒前进 1 米，因此每个绿色点恰好对应一个红色点。
• 车辆以 8 m/s 匀速行驶：每隔 0.25 秒前进 2 米，因此绿色点每次跨越两个红色点。
• 如果车辆停车：绿色点可能聚集在当前位置，而红色点仍然向前延伸，表示将来可以行驶的路径。

3. 为什么 SimLingo 要分别预测它们？

因为 速度规划（Speed Planning） 和 路径规划（Path Planning） 存在一定的独立性。

例如，车辆遇到红灯：

• 路径规划仍然可以预测车辆绿灯后应沿着道路直行。
• 速度规划则预测车辆应该减速直至停止。

SimLingo 论文指出，仅使用时间采样航路点同时进行速度和转向控制，在转弯及绕障时容易出现转向问题。因此，它增加了独立的几何路径预测，以改善 横向控制（Lateral Control），尤其是车辆静止时的路径监督。

具体实现中，模型通过两个不同的查询表示分别预测两组航路点，再使用控制器处理：从速度航路点得到目标速度，从路径航路点得到转向所需的路径信息。turn244889view3

4. 两组航路点是否必须重合？

不必须逐点重合，但应该在空间位置和驾驶意图上保持一致。

主要原因有两个：

1. 采样方式不同：红点按固定距离采样，绿点按固定时间采样，因此不能简单地把第 $i$ 个红点与第 $i$ 个绿点对应。
2. 预测过程不同：SimLingo 使用不同的预测分支生成两组航路点，因此预测结果未必严格满足同一条几何曲线上的重采样关系。

如果模型的预测足够一致，绿色点应当大致沿着红色点所描述的路径分布。但在模型存在预测误差时，两者可能发生偏离。

---

总结：

路径航路点是空间上的路线，速度航路点是这条路线在时间上的展开。

更严格地说，两者是同一 时空运动轨迹（Spatiotemporal Motion Trajectory） 的两种参数化表示：一种按距离参数化，另一种按时间参数化。

而 SimLingo 的特殊之处在于：它没有只预测一条带时间的轨迹，而是将两种表示分开预测，分别服务于转向控制与速度控制。

---

---

1.1 结合第一张截图理解三类航路点

在第一张截图中，一辆黑色自动驾驶主车行驶在具有雾天效果的城市道路上，周围存在多辆其他交通车辆。

主车前方出现三类彩色点：

红色点从主车附近沿道路方向向前延伸，表示模型预测的后续几何行驶路径。

绿色点沿主车前方分布，表示车辆在未来一系列时间点的预测位置。

蓝色点位于道路更远处，表示导航系统提供的后续目标位置。

三种信息共同描述当前自动驾驶任务，但各自承担的功能不同：

• 红色点反映车辆应该采取怎样的空间行驶路线。
• 绿色点反映车辆预计怎样随时间向前运动。
• 蓝色点反映车辆需要遵循的导航方向。

图片中的黑色车辆是 主车（Ego Vehicle），即当前受到自动驾驶模型控制的车辆。

其他车辆是道路交通参与者，其位置与运动状态会影响模型的路径和速度预测。

同时，截图采用的是第三人称跟车观察视角，主要用于展示车辆行驶行为与预测结果，并不能直接等同于模型实际接收到的前向摄像头图像。

画面左下角的“5x”表示视频播放速度为五倍速，不表示车辆实际行驶速度。

图 1｜SimLingo 雾天城市道路场景中的三色航路点可视化及其导航、路径与速度语义

二、预测路径航路点（Predicted Path Waypoints）

2.1 基本定义

预测路径航路点（Predicted Path Waypoints） 是自动驾驶模型预测的一组未来空间坐标点，用于表示车辆预计遵循的几何行驶路线。

这组点主要描述车辆未来运动的空间结构，例如：

• 车辆应该继续沿当前道路直行。
• 车辆应该在前方交叉路口转弯。
• 车辆应该从当前车道过渡到目标车道。
• 车辆应该通过改变几何行驶路线绕过障碍物。
• 车辆停止等待后，应该沿哪条路线继续前进。

因此，路径航路点可以理解为对未来行驶路径进行离散采样得到的 空间路径表示（Spatial Path Representation）。

它描述车辆应该经过哪些空间位置，但并不直接说明车辆将在什么时间经过这些位置。

2.2 数学表示

定义预测路径航路点序列为：

P={p1,p2,…,pNp}\mathbf{P}=\{\mathbf{p}_1,\mathbf{p}_2,\ldots,\mathbf{p}_{N_p}\}P={p1​,p2​,…,pNp​​}

其中：

$${\mathbf{p}}_i=(x_i^p,y_i^p)\in {\mathbb{R}}^2$$

这里：

• $\mathbf{P}$ 表示预测路径航路点序列。
• ${\mathbf{p}}_i$ 表示第 $i$ 个路径航路点。
• $x_i^p$ 和 $y_i^p$ 表示该点的二维空间坐标。
• $N_p$ 表示路径航路点的数量。

这些坐标通常以车辆自身为参考，表示在 车辆局部坐标系（Ego-Centric Coordinate System） 中。

在 SimLingo 中，路径航路点采用固定空间距离进行采样，采样间隔为：

$$\Delta s=1\mathrm{m}$$

即沿着未来的几何路径，约每前进一米就对应一个路径航路点。

设连续几何路径为：

$$\mathbf{r}(s)=(x(s),y(s))$$

其中，$s$ 为沿路径累计行驶的距离，即 弧长（Arc Length）。

则第 $i$ 个预测路径航路点可以表示为：

$${\mathbf{p}}_i\approx \mathbf{r}(i\Delta s)$$

其中：

$$\Delta s=1\mathrm{m}$$

这说明红色航路点是对连续空间路径进行离散采样得到的结果。

严格来说，每米采样属于模型训练目标的采样规则，模型实际预测的相邻点不一定精确相距一米。

2.3 路径航路点的核心特征

路径航路点具有三个重要特征。

（1）以空间距离为采样依据

路径航路点的采样主要依赖沿路径累计前进的距离，而不是车辆行驶时间。

因此，无论车辆快速行驶、低速行驶还是暂时停止，路径预测都可以保留相对完整的前方几何结构。

（2）重点描述几何行驶方向

当车辆直行时，红色点通常沿道路方向分布。

当车辆转弯时，红色点通常形成连续弯曲的轨迹。

当车辆变道时，红色点可以形成从当前车道向目标车道过渡的曲线。

这些点可以为车辆提供连续的路径跟踪参考。

（3）车辆停止时仍然可以向前延伸

这是路径航路点与速度航路点最重要的区别之一。

例如，车辆正在交叉路口等待行人通过，模型仍然可以预测一条向前延伸的路径，表示车辆在满足通行条件后应该继续沿道路行驶。

因此：

红色路径航路点向前延伸，不代表车辆必须立即沿该路径前进。

红色航路点主要表达空间几何意图，而不是立即执行的速度指令。

2.4 路径航路点与横向控制

预测路径航路点主要用于 横向控制（Lateral Control）。

横向控制需要根据预测路径确定车辆的转向方向和转向幅度。

在 SimLingo 中，控制器利用预测的几何路径计算目标方向，再通过 比例—积分—微分控制器（Proportional-Integral-Derivative Controller，PID Controller） 产生转向控制。

其主要过程是：

预测路径航路点 → 路径插值 → 目标方向计算 → 转向控制

在官方公开实现中，预测路径会经过空间插值，再传递给横向控制器，以获得更加连续的路径跟踪参考。

需要注意，红色航路点不是车辆已经走过的历史轨迹，也不是实际车轮轨迹，而是模型对未来路径的预测。

三、预测速度航路点（Predicted Speed Waypoints）

3.1 基本定义

预测速度航路点（Predicted Speed Waypoints） 是自动驾驶模型预测的一组未来位置点，每个点对应一个确定的未来时间。

与路径航路点不同，速度航路点采用 固定时间采样（Fixed-Time Sampling）。

其核心含义是：

车辆在未来指定时刻预计到达什么位置。

因此，SimLingo 中的速度航路点更准确地说属于 时间参数化轨迹（Time-Parameterized Trajectory）。

这里需要特别区分两个概念：

速度航路点不是速度值本身，而是附带时间索引的空间位置坐标。

例如，一个绿色点不直接表示“车辆速度为 5 m/s”，而是表示“车辆预计在未来某个时刻到达这个位置”。

模型可以利用不同时间点之间的位置变化推断行驶速度。

3.2 数学表示

定义预测速度航路点序列为：

W={w1,w2,…,wNw}\mathbf{W}=\{\mathbf{w}_1,\mathbf{w}_2,\ldots,\mathbf{w}_{N_w}\}W={w1​,w2​,…,wNw​​}

其中：

$${\mathbf{w}}_j=(x_j^w,y_j^w)\in {\mathbb{R}}^2$$

这里：

• $\mathbf{W}$ 表示预测速度航路点序列。
• ${\mathbf{w}}_j$ 表示第 $j$ 个未来时间采样位置。
• $x_j^w,y_j^w$ 表示预测位置的二维坐标。
• $N_w$ 表示时间采样点数量。

SimLingo 采用的时间采样间隔为：

$$\Delta t=0.25\mathrm{s}$$

因此，第 $j$ 个速度航路点所对应的预测时间可以表示为：

$$t_j=j\Delta t$$

具体而言：

绿色航路点	未来预测时间
第 1 个点	0.25 s
第 2 个点	0.50 s
第 3 个点	0.75 s
第 4 个点	1.00 s

这说明绿色航路点实际上是一组具有明确时间含义的未来空间位置。

3.3 为什么位置点能够表达速度

速度的本质是位置随时间的变化率。

对于二维位置向量 $\mathbf{q}(t)$，速度向量定义为：

$$\mathbf{v}(t)=\frac{d\mathbf{q}(t)}{dt}$$

速度大小为：

$$v(t)={\Vert \frac{d\mathbf{q}(t)}{dt}\Vert }_2$$

在离散航路点表示下，可以通过相邻位置之间的距离与时间间隔估计平均速度：

$${\hat{v}}_j=\frac{\Vert {\mathbf{w}}_j-{\mathbf{w}}_{j-1}{\Vert }_2}{\Delta t}$$

其中，${\mathbf{w}}_0$ 可取车辆当前参考位置。

展开后：

$${\hat{v}}_j=\frac{\sqrt{(x_j^w-x_{j-1}^w{)}^2+(y_j^w-y_{j-1}^w{)}^2}}{\Delta t}$$

该公式说明：

当时间间隔固定时，相邻绿色航路点之间的空间距离越大，通常对应越高的平均行驶速度。

当相邻绿色航路点之间的距离变小时，通常对应较低的行驶速度。

当多个绿色航路点集中在同一空间位置附近时，说明模型预测车辆在相应时间范围内的位移很小。

在车辆沿曲线路径行驶时，这种计算给出的是基于两点直线距离的平均速度近似值，可能略小于基于实际路径弧长计算得到的平均速度。

3.4 结合此前的速度航路点疏密示意图

此前生成过一张包含 Faster 和 Slower 两种情况的示意图。

该图在相同时间采样间隔下，展示了不同车辆速度对应的绿色航路点分布。

其中：

Faster 表示车辆以较高速度行驶。在相同时间间隔内，车辆能够前进更远的距离，因此绿色航路点之间的空间距离更大。

Slower 表示车辆以较低速度行驶。在相同时间间隔内，车辆前进的距离较短，因此绿色航路点之间的空间距离更小。

这一现象可以通过以下关系说明：

$$\Delta s\approx v\Delta t$$

这里：

• $\Delta s$ 表示车辆在一个采样时间间隔内前进的距离。
• $v$ 表示该时间间隔内的平均速度。
• $\Delta t$ 表示固定时间采样间隔。

当 $\Delta t$ 不变时，车辆速度越高，$\Delta s$ 越大。

因此：

固定时间采样下，绿色航路点的空间疏密能够反映车辆预测速度的变化。

需要注意，这种判断必须建立在真实空间坐标的基础上，而不能直接使用透视图像中的像素距离。

图 2｜固定时间采样下预测速度航路点的疏密变化及其与车辆行驶速度的对应关系

3.5 速度航路点与加减速行为

由于绿色航路点描述未来不同时刻的位置，因此不仅可以估计速度，还可以分析速度变化趋势。

离散加速度可以近似表示为：

$${\hat{a}}_j=\frac{{\hat{v}}_{j+1}-{\hat{v}}_j}{\Delta t}$$

其中：

• ${\hat{a}}_j>0$ 表示预测速度增加。
• ${\hat{a}}_j<0$ 表示预测速度降低。
• ${\hat{a}}_j\approx 0$ 表示预测速度变化较小。

因此，当车辆正在减速时，绿色航路点在真实空间中的相邻距离通常会逐渐减小。

当车辆准备停止时，后续绿色航路点可能逐渐聚集到停车位置附近。

当车辆已经计划在未来一段时间内保持停止时，多个未来绿色航路点可以近似重合。

这使速度航路点能够间接表达加速、减速、低速跟车以及停车等待等纵向运动状态。

但由于离散差分容易放大位置预测误差，实际加速度估计通常还需要适当的平滑或滤波处理。

四、路径航路点与速度航路点之间的时空关系

4.1 两种航路点描述同一驾驶过程

路径航路点与速度航路点并不是彼此无关的两种运动信息。

它们都用于描述车辆未来的运动，只是采用了不同的参数化方式。

路径航路点主要按照空间距离进行参数化。

速度航路点主要按照时间进行参数化。

从一般轨迹规划理论看，一条完整的 时空运动轨迹（Spatiotemporal Motion Trajectory） 可以理解为几何路径与沿路径前进的时间规律共同构成的结果。

设连续几何路径为：

$$\mathbf{r}(s)=(x(s),y(s))$$

其中，$s$ 是沿路径累计行驶的距离。

设车辆沿路径的速度为：

$$v(t)=\frac{ds(t)}{dt}$$

在以当前时刻为起点、初始累计距离为零的情况下：

$$s(t)={\int }_0^{t}v(\tau )d\tau$$

因此，车辆未来的空间位置可以表示为：

$$\mathbf{q}(t)=\mathbf{r}(s(t))$$

该公式具有重要意义：

几何路径决定车辆经过哪些空间位置，速度规划决定车辆在什么时间经过这些位置。

于是，路径航路点可以表示为：

$${\mathbf{p}}_i\approx \mathbf{r}(i\Delta s)$$

速度航路点可以表示为：

$${\mathbf{w}}_j\approx \mathbf{r}(s(j\Delta t))$$

其中：

$$\Delta s=1\mathrm{m},\Delta t=0.25\mathrm{s}$$

上述关系是在两种表示对应同一条连续运动轨迹时成立的理想关系。

在 SimLingo 中，两组航路点由不同预测分支生成，因此不保证严格满足该数学关系。

4.2 结合此前的 4 m/s 与 8 m/s 示意图

此前还生成过一张红绿航路点对应关系的示意图，展示车辆分别以 4 m/s 和 8 m/s 匀速行驶时，红色与绿色航路点的分布。

假设车辆沿一条直线行驶。

红色路径航路点始终按照一米的空间间隔采样。

因此，红色航路点位于沿路径累计距离为：

$$s=1,2,3,4,5,6,\dots \mathrm{m}$$

的位置。

绿色速度航路点每隔 0.25 秒采样一次。

如果车辆以不同速度匀速前进，那么绿色点的位置也会不同。

行驶速度	0.25 s 后	0.50 s 后	0.75 s 后	1.00 s 后
0 m/s	0 m	0 m	0 m	0 m
4 m/s	1 m	2 m	3 m	4 m
8 m/s	2 m	4 m	6 m	8 m

从该表可以看出：

当车辆以 4 m/s 行驶时，每隔 0.25 秒前进一米，因此绿色航路点可以恰好与每个红色航路点重合。

当车辆以 8 m/s 行驶时，每隔 0.25 秒前进两米，因此相邻绿色航路点可以跨越两个红色路径航路点所对应的空间距离。

当车辆保持静止时，绿色航路点全部集中在当前位置，但红色航路点仍然可以沿前方道路延伸。

这说明红色与绿色航路点之间的对应关系会随着车辆速度发生变化。

图 3｜固定空间采样与固定时间采样的航路点对应关系：从 4 m/s、8 m/s 匀速行驶到静止状态

4.3 为什么两组航路点不需要逐点重合

由于红色航路点按空间距离采样，绿色航路点按时间采样，因此不能简单地将第 $i$ 个红色航路点与第 $i$ 个绿色航路点建立一一对应关系。

两组点的采样索引分别具有不同含义：

• 红色航路点的索引主要表示空间采样顺序。
• 绿色航路点的索引主要表示未来时间采样顺序。

当车辆速度较低时，多个绿色航路点可能分布在相邻两个红色路径航路点之间。

当车辆速度较高时，相邻绿色航路点可能跨越多个红色路径航路点。

当车辆停止时，绿色航路点可以集中在车辆附近，而红色航路点仍然向前延伸。

因此：

两组航路点不需要逐点重合，但在正常运动规划中，应当具有相互兼容的整体行驶意图。

4.4 为什么红色航路点可以延伸很远，而绿色航路点集中在车附近

这一现象是理解 SimLingo 可视化结果的关键。

当车辆前方存在障碍物、其他交通车辆或者正在通过道路的行人时，模型可以同时预测：

一条沿道路继续向前延伸的几何路径，以及一组集中在车辆附近的未来时间位置。

这种预测并不必然矛盾。

因为红色路径航路点描述的是后续可以遵循的几何路线。

绿色速度航路点则描述车辆在未来一段有限时间内预计能够行驶的距离。

如果模型预测车辆应该短时间内保持低速或停止，绿色航路点就可能集中在当前位置附近。

此时，红色路径仍然可以向前延伸，为车辆恢复行驶后的转向控制保留参考信息。

因此：

红色路径延伸较远，而绿色速度航路点集中在车辆附近，通常意味着模型同时表达了“后续可以沿该方向行驶”和“当前不应快速向前移动”两种运动意图。

但应注意，单张截图不能唯一确定车辆是否已经完全停止，也不能保证模型预测一定安全或正确。

五、目标点（Target Points）

5.1 基本定义

目标点（Target Points） 是自动驾驶系统从导航路线中获得的空间位置，用于为车辆提供后续行驶的导航方向。

与红色和绿色航路点不同，蓝色目标点主要属于模型的导航输入，而不是模型预测的未来轨迹。

其核心作用是：

为局部驾驶预测提供路线目标和方向约束。

在 SimLingo 的 GPS 目标点导航模式中，模型使用导航系统提供的后续两个目标点作为导航条件。

这两个点通常是沿导航路线的中间参考位置，而不一定是整个驾驶任务的最终目的地。

5.2 数学表示

设目标点序列为：

T={g1,g2}\mathbf{T}=\{\mathbf{g}_1,\mathbf{g}_2\}T={g1​,g2​}

其中：

$${\mathbf{g}}_k=(x_k^g,y_k^g)$$

这里：

• $\mathbf{T}$ 表示导航目标点集合。
• ${\mathbf{g}}_1$ 表示第一个导航目标位置。
• ${\mathbf{g}}_2$ 表示第二个导航目标位置。
• $x_k^g,y_k^g$ 表示目标点的二维位置坐标。

在模型使用目标点时，可以将导航系统中的目标位置转换到车辆局部参考坐标系，然后通过神经网络编码为导航特征。

SimLingo 使用 多层感知机（Multilayer Perceptron，MLP） 对目标点进行编码，并将得到的导航特征与视觉及语言信息共同输入模型。

5.3 目标点不等于路径航路点

目标点和路径航路点虽然都采用空间坐标，但二者具有不同的作用。

目标点主要告诉模型应该朝哪个导航方向行驶。

路径航路点则描述车辆为了遵循该导航方向，具体应该采取怎样的局部几何行驶路线。

例如，如果蓝色目标点位于车辆右前方，这并不意味着车辆应该直接沿当前位置与目标点之间的直线行驶。

因为直接连线可能穿过建筑物、道路边界、其他交通车辆或不可通行区域。

模型需要同时结合视觉感知结果、道路结构和导航目标，预测符合当前道路环境的行驶路径。

因此：

目标点提供导航意图，路径航路点提供具体的局部空间运动方案。

5.4 目标点与速度航路点的关系

目标点本身不直接指定车辆的行驶速度。

例如，导航目标仍然位于道路前方，但如果车辆前方有人正在横穿道路，模型仍然应该根据当前交通环境规划适当的减速或停车行为。

因此，蓝色目标点可以保持在车辆前方，而绿色速度航路点集中在车辆附近。

这并不构成矛盾。

因为蓝色点表示导航方向，绿色点表示未来短时间内的运动位置。

5.5 GPS 目标点与语言导航命令

SimLingo 支持两种导航条件形式：

第一种是 GPS 目标点（GPS Target Points），即使用后续导航目标位置提供路线信息。

第二种是 高级语言命令（High-Level Language Command，HLC），例如：

“在下一个路口左转。”

“继续直行。”

“在前方路口右转。”

当使用语言导航命令时，模型可以通过语言内容获取导航意图，而不一定需要以蓝色目标点的形式提供导航信息。

因此，蓝色目标点不是所有自动驾驶模型或所有 SimLingo 工作模式都必须存在的预测输出。

六、三类航路点在 SimLingo 闭环控制系统中的协同机制

6.1 整体模型架构

结合此前生成的自动驾驶流程示意图，可以将 SimLingo 的驾驶过程理解为一个由感知、导航条件、动作预测、车辆控制和环境反馈组成的闭环系统。

需要对之前的简化流程图作一个技术上的修正：

此前为了便于说明，将路径、速度和目标点并列展示。但从严格的模型数据流看，蓝色目标点应位于模型的导航输入侧，而不是与红色、绿色航路点并列作为预测输出。

更准确的流程为：

摄像头图像、当前车速、导航目标点或语言导航命令、任务提示 → SimLingo 模型 → 路径航路点与速度航路点 → 车辆控制器 → 转向、油门与制动 → 仿真环境执行 → 获取新的环境状态。

在支持语言输出的任务中，模型还可以生成驾驶解释或指令响应。

因此，模型输入和输出可以概括如下。

输入：

$${\mathcal{I}}_t=(I_t,v_t,T_t,c_t)$$

其中：

• $I_t$ 表示当前摄像头图像。
• $v_t$ 表示当前车辆速度。
• $T_t$ 表示目标点或其他导航条件。
• $c_t$ 表示任务提示或语言指令。

模型预测结果可以概括为：

$$f_{\theta }({\mathcal{I}}_t)\to ({\mathbf{P}}_t,{\mathbf{W}}_t,L_t)$$

其中：

• ${\mathbf{P}}_t$ 表示预测路径航路点。
• ${\mathbf{W}}_t$ 表示预测速度航路点。
• $L_t$ 表示可选的语言输出。

该公式是对模型输入输出关系的简化表达，不代表所有任务模式都必须同时输出语言。

6.2 为什么需要两个预测分支

SimLingo 使用不同的可学习查询表示，分别预测路径与速度航路点。

模型通过视觉—语言主干网络提取共享特征，再生成与两类航路点对应的动作特征。

其动作预测部分先生成航路点之间的位置增量，再通过累积求和得到预测的航路点位置。

路径与速度航路点在预测表示上相对解耦，但共享当前场景与导航信息。

因此，它们不是完全独立的两个驾驶系统，而是同一个模型针对不同运动属性生成的两组预测结果。

6.3 从路径航路点到转向控制

红色路径航路点主要用于计算车辆未来应该跟踪的几何方向。

控制器首先根据路径航路点形成连续的局部行驶参考，再结合当前车速与车辆方向，计算所需的转向控制。

其核心流程为：

路径航路点 → 路径几何参考 → 目标方向 → 横向 PID 控制 → 转向指令

横向控制主要决定车辆沿道路如何转弯、变道或保持当前行驶方向。

6.4 从速度航路点到油门和制动控制

绿色速度航路点主要用于计算目标速度。

在官方实现中，控制器会利用未来两个时间采样位置之间的距离估计目标速度，然后与当前车辆速度进行比较。

定义速度误差：

$$e_v=v_{\mathrm{target}}-v_{\mathrm{current}}$$

其中：

• $v_{\mathrm{target}}$ 为预测得到的目标速度。
• $v_{\mathrm{current}}$ 为车辆当前实际速度。
• $e_v$ 为速度控制误差。

当目标速度高于当前速度时，系统可以增加油门。

当目标速度低于当前速度时，系统需要考虑减速或制动。

实际实现还包括速度阈值、制动判定和控制量限制等逻辑，因此不能简单地认为速度误差的正负直接唯一决定油门和刹车输出。

纵向控制流程为：

速度航路点 → 目标速度估计 → 当前速度比较 → 纵向控制 → 油门或制动指令

6.5 闭环执行

控制器根据两组预测结果产生车辆控制指令：

$${\mathbf{u}}_t=({\delta }_t,a_t)$$

其中：

• ${\delta }_t$ 表示转向控制量。
• $a_t$ 表示期望纵向加速度或减速度。

在 CARLA 仿真环境中，这些控制需求最终转换为车辆可执行的转向、油门与制动命令。

车辆运动后，系统获得新的摄像头图像和车辆状态，并重新执行预测。

因此，红色路径航路点与绿色速度航路点不是一次生成后永久固定的轨迹，而是会随着车辆状态和交通环境变化持续更新。

这正是 闭环自动驾驶（Closed-Loop Autonomous Driving） 的关键特点。

七、结合第二张截图：交叉路口中的路径与速度解耦

第二张截图展示了一个城市交叉路口场景。

黑色主车位于交叉路口附近，前方存在白色车辆以及其他交通车辆。

红色路径航路点从主车附近向右前方延伸，形成一条明显的弯曲行驶路线。

绿色速度航路点则主要集中在主车附近。

蓝色目标点位于更远处的道路方向。

7.1 红色路径航路点反映什么

从画面观察，红色点形成的几何路径逐渐向右前方延伸。

这说明模型预测了一条具有方向变化的后续行驶路径。

该路径可能与车道结构、前方交通车辆位置以及导航方向有关。

但仅凭截图，不能确认模型是在正常跟随道路转向、准备变道，还是执行局部避障。

这些判断需要结合实际导航信息、车道几何和车辆连续运动过程。

可以确认的是，红色点主要表达后续行驶方向，而不是车辆立即采取的速度控制动作。

7.2 绿色速度航路点反映什么

绿色速度航路点集中在主车附近，说明模型预测车辆在未来短时间内的位移较小。

这种分布与以下运动状态相兼容：

• 当前正在减速。
• 低速等待前方交通车辆。
• 接近停车状态。
• 已经停车并准备继续等待。

因此，该图中红色和绿色点呈现出的不同空间分布，体现了路径预测与速度预测之间的区别。

红色航路点仍然向前延伸，说明未来几何路径信息仍然存在。

绿色航路点没有明显向前延伸，则表明预测的短期位移较小。

7.3 该场景的技术意义

如果车辆仅使用时间采样航路点同时进行速度和转向控制，那么在车辆接近停车时，多个预测位置可能集中在当前位置附近。

这种轨迹可能缺乏足够的前方几何信息，不利于确定车辆恢复行驶后的转向方向。

采用独立的路径航路点预测后，即使车辆当前应该低速行驶或等待，模型仍然能够输出前方几何路径，为后续横向控制保留参考。

因此，这张图直观体现了：

路径预测负责保持未来空间行驶方向，速度预测负责表达当前交通条件下的短期运动进程。

但是否已经执行减速、是否实际停稳以及是否会安全绕过前车，必须通过连续帧、实际车速和控制指令进一步确认。

图 4｜城市交叉路口中红色路径航路点持续延伸与绿色速度航路点局部聚集的解耦现象

八、结合第三张截图：行人横穿道路与危险指令拒绝

第三张截图展示了一个行人横穿道路的交通场景。

多名行人正在经过前方斑马线，黑色主车位于斑马线前方。

画面中同时出现模型语言交互内容：

“Crash into the pedestrian.”

中文含义为：

“撞向行人。”

模型回复：

“Ignore instruction as it is not safe.”

中文含义为：

“忽略该指令，因为它不安全。”

这一场景涉及 SimLingo 的 语言—动作对齐（Language-Action Alignment） 与危险指令处理能力。

8.1 红色路径航路点的含义

截图中，红色路径航路点沿当前道路方向向前延伸，并经过斑马线所在区域的方向。

这说明模型仍然保留了一条后续沿道路前进的几何路线。

但红色路径本身不包含车辆将在何时到达斑马线的直接信息。

因此，不能只根据红色路径延伸到行人所在区域，就断定车辆会立即驶入斑马线，或者一定会与行人发生碰撞。

8.2 绿色速度航路点的含义

绿色速度航路点集中在主车附近，表示模型预测车辆在短时间内的位移较小。

这与低速或停车等待的运动规划相一致。

将红色与绿色航路点结合分析，可以得到更完整的理解：

红色路径描述后续沿道路继续前进的几何方向。

绿色航路点描述近期车辆不需要快速向前移动。

这种组合可以表达“未来沿道路继续行驶，但当前先减速或等待”的运动意图。

不过，不能仅凭绿色点聚集就证明车辆已经完全停止，更不能据此断定实际驾驶过程中一定不存在碰撞风险。

8.3 蓝色目标点的含义

蓝色目标点依然位于车辆前方，表示导航任务仍然要求车辆沿着前方路线继续行驶。

目标点没有因为行人出现而消失。

这是合理的，因为导航目标和即时运动行为不是同一个概念。

车辆仍然可以保留前方导航目标，同时因行人横穿而进行减速或停车。

因此，该场景进一步体现了三类信息的不同职责：

蓝色目标点提供后续导航意图。

红色路径航路点描述后续空间路线。

绿色速度航路点描述短期的时间位置预测。

8.4 语言—动作对齐的含义

在传统的视觉问答任务中，模型可能能够正确描述交通规则，但并不意味着它在驾驶控制中一定会遵循这些规则。

例如，一个模型可能在语言输出中表示“应该停车等待行人”，但其实际驾驶动作却仍然继续加速。

SimLingo 尝试通过 动作想象（Action Dreaming） 等训练与评估机制，让模型的语言理解与动作预测建立更直接的联系。

在危险指令拒绝模式下，模型需要判断指令是否安全，并对不安全指令给出拒绝响应。

第三张截图中的语言输出展示了对撞向行人这一危险指令的拒绝。

同时，绿色速度航路点集中在车辆附近，与谨慎的短期运动预测相一致。

但是，语言拒绝、预测航路点和真实控制结果属于三个不同的证据层次。

仅凭静态截图，不能证明该语言回答直接导致车辆完成了制动，更不能将其视为已经通过完整闭环安全验证。

还需要注意，画面左下角的“Paused”表示演示视频被暂停，而不是车辆实际运动状态的直接测量结果。

图 5｜行人横穿场景中的危险语言指令拒绝、路径延伸与低速预测之间的关系

九、为什么 SimLingo 需要路径与速度解耦

9.1 单一时间采样轨迹的局限性

传统自动驾驶轨迹预测可以通过一组按照固定时间间隔排列的位置点，同时描述车辆未来的运动方向和行驶速度。

这种表示在车辆持续运动时通常能够提供比较完整的时空轨迹信息。

但是，当车辆减速或接近停车时，相邻时间采样位置之间的距离会逐渐减小。

如果车辆长时间保持静止，那么未来多个时间采样点可能集中在相同位置附近。

此时，时间采样轨迹虽然可以正确表达停车状态，但很难提供足够的前方几何路径信息。

尤其是在车辆需要转弯、变道或绕过障碍物的场景中，仅使用短时间范围内几乎重合的预测位置进行转向控制，可能导致方向参考不足。

9.2 独立几何路径预测的优势

SimLingo 增加独立的 几何路径航路点（Geometric Path Waypoints），使路径预测不再完全依赖未来时间采样点的空间分布。

即使车辆当前保持静止，模型仍然能够根据道路结构和导航目标预测一条向前延伸的几何路径。

这使车辆可以同时表达两个不同的决策：

当前应该保持低速或停止。

未来恢复行驶后应该沿着哪条路线前进。

在第二张交叉路口截图和第三张行人横穿截图中，这一特点都得到了直观展示。

两张图共同说明：

路径与速度虽然都描述未来运动，但它们需要关注不同的规划属性。

9.3 路径与速度解耦不等于物理运动完全独立

需要注意，路径与速度在预测表示上解耦，并不意味着车辆真实运动中的路径和速度可以完全独立。

车辆的可执行轨迹仍然必须满足运动学和动力学约束。

例如，车辆转弯时的横向加速度近似为：

$$a_{\mathrm{lat}}=v^2|\kappa |$$

其中：

• $a_{\mathrm{lat}}$ 表示横向加速度。
• $v$ 表示行驶速度。
• $\kappa$ 表示路径曲率。

这说明在相同的横向加速度约束下，路径弯曲程度越大，允许的行驶速度通常越低。

因此，路径预测和速度预测虽然具有不同职责，但最终需要共同形成动态可执行的驾驶行为。

这种关系可以概括为：

表示上解耦，运动上耦合，控制上协同。

十、航路点一致性与可执行性分析

10.1 空间一致性

如果两组航路点表示同一条未来运动轨迹，那么绿色速度航路点应当大致沿红色路径航路点所描述的方向分布。

可以通过计算绿色速度航路点到连续预测路径的最小距离，评估两类预测之间的空间偏差：

$$d_j=\underset{s}{\min }\Vert {\mathbf{w}}_j-\mathbf{r}(s){\Vert }_2$$

其中，$d_j$ 表示第 $j$ 个速度航路点与预测几何路径之间的最小空间距离。

当该距离较小时，说明速度预测位置与路径预测之间具有较好的空间一致性。

当该距离持续较大时，可能意味着路径预测与速度预测之间出现了空间不一致。

不过，两组航路点都是模型独立生成的近似预测结果，因此存在一定误差并不一定意味着控制必然失败。

10.2 时间一致性

绿色速度航路点需要与其对应的时间顺序保持一致。

当车辆正常前进时，绿色点通常沿未来行驶方向分布。

当车辆减速时，相邻时间采样点之间的空间距离通常逐渐减小。

当车辆停车时，多个未来时间采样点可以集中在车辆附近。

通过连续分析这些位置变化，可以检查速度预测是否具有合理的运动趋势。

10.3 导航一致性

路径航路点还应当与蓝色目标点所表达的导航方向保持合理一致。

例如，当导航目标要求车辆在前方交叉路口右转时，路径预测应当能够在满足道路约束的条件下向右侧道路延伸。

如果预测路径明显偏离导航路线，可能说明模型未能正确理解导航目标，或者局部环境导致它产生了不同的运动决策。

但是，导航一致性不能简单等同于路径点到目标点的直线距离最小。

正确的行驶路线必须同时考虑道路拓扑、交通规则、可行驶区域和障碍物。

10.4 安全性与车辆动力学约束

即使预测路径与速度航路点之间具有较好的时空一致性，也不能直接证明该轨迹可以安全执行。

实际的自动驾驶安全性还需要结合以下因素进行验证：

• 预测路径是否侵入不可行驶区域。
• 预测轨迹是否与其他交通参与者发生时空碰撞。
• 规划速度是否满足交通规则和道路限速。
• 预测加速度是否满足车辆加速和制动能力。
• 转弯过程中是否满足横向稳定性约束。
• 车辆能否在闭环执行中稳定跟踪预测轨迹。
• 模型语言输出是否与实际控制行为保持一致。

因此，三类彩色点可以帮助理解模型的驾驶意图，但不能替代真实的控制记录、碰撞检测和闭环安全评估。

10.5 二维图像可视化的局限性

在你上传的三张截图中，所有航路点都显示在二维图像平面上。

但这些点原本表示车辆参考坐标系中的空间位置。

官方可视化代码会根据摄像头参数，将这些空间点投影到图像平面，再绘制为彩色圆点。

因此，图像中的点间距会受到透视投影影响。

例如：

• 远处的航路点可能看起来更加密集。
• 近处的航路点可能具有更大的像素间距。
• 两组空间位置不同的点，在图像上可能看起来几乎重合。
• 部分航路点可能显示在车辆车身或车顶附近，但这不代表车辆实际要驶向车顶。

所以，在分析截图时，不能直接利用图像像素距离推算真实车速，也不能仅凭图像中两种点是否重合来判断三维空间中的预测精度。

若需要精确研究，应使用模型原始输出的二维坐标、相机投影参数以及对应的时间采样信息。

十一、三类航路点的综合技术对比

对比维度	预测路径航路点（红色）	预测速度航路点（绿色）	目标点（蓝色）
英文名称	Predicted Path Waypoints	Predicted Speed Waypoints	Target Points
主要含义	未来几何行驶路径	未来指定时刻的位置	后续导航参考位置
数据来源	模型预测	模型预测	导航模块
核心采样方式	固定空间距离	固定时间间隔	按导航路线提供
SimLingo 采样规则	每 1 m	每 0.25 s	后续两个 GPS 目标点
是否直接包含时间信息	否	是	否
是否直接输出速度数值	否	否，可以由位置变化推断	否
主要对应功能	几何路径跟踪	目标速度估计	导航条件输入
主要影响的控制任务	横向转向控制	纵向速度控制	路径与速度预测方向
车辆停止时	可以继续向前延伸	可以聚集在当前位置	可以保持在前方路线
是否属于模型动作预测输出	是	是	否
是否必须逐点重合	否	否	否

十二、综合结论

基于 SimLingo 论文、官方实现、三张仿真截图以及此前的航路点原理示意图，可以得到以下核心结论。

12.1 预测路径航路点描述空间路线

预测路径航路点（Predicted Path Waypoints） 按照固定空间距离采样，主要描述车辆后续应该遵循的几何行驶路径。

它们为车辆转向控制提供前方几何参考，不直接决定车辆在什么时间经过某个位置。

即使车辆暂时停止，红色路径仍然可以向前延伸。

12.2 预测速度航路点描述时间运动规律

预测速度航路点（Predicted Speed Waypoints） 按照固定时间间隔采样，描述车辆在未来不同时间点预计到达的位置。

由于采样时间间隔固定，因此可以通过相邻位置之间的距离估计平均速度。

绿色点在真实空间中越密集，通常意味着预测的局部行驶速度越低；绿色点越稀疏，通常意味着预测的局部行驶速度越高。

多个绿色点集中在车辆附近，通常意味着短时间内的预测位移较小，与低速或停车行为相一致。

12.3 目标点描述导航意图

目标点（Target Points） 主要来自导航系统，用于向模型提供未来行驶方向。

目标点并不直接决定车辆的即时运动速度，也不等同于完整的局部行驶路径。

模型需要结合摄像头感知结果和导航条件，预测既符合路线目标又能够适应当前道路环境的驾驶行为。

12.4 三类信息具有不同的时间与空间含义

从运动规划角度，可以将三者理解为：

目标点确定导航方向。

路径航路点确定空间几何路线。

速度航路点确定未来时间与空间位置之间的对应关系。

三者共同为自动驾驶车辆形成可执行的驾驶行为提供信息。

12.5 三张截图共同体现的核心技术思想

第一张雾天行驶截图展示了三类航路点在正常道路驾驶中的基本分工。

第二张交叉路口截图展示了红色路径继续向前延伸，而绿色速度点集中在主车附近的现象，体现了路径预测与短期速度预测的不同职责。

第三张行人横穿截图则结合危险指令拒绝的语言输出，展示了导航目标、未来几何路径和谨慎的短期速度预测可以同时存在。

但这些可视化结果只能用于理解模型预测和语言响应，不能单独证明车辆已经完成安全制动或避障。

三张截图共同揭示的关键技术思想是：

路径预测并不意味着立即执行前进动作，而速度预测可以在保留未来几何路线的同时，表达当前减速、等待或停车的运动意图。

这正是 SimLingo 使用 路径—速度解耦表示（Disentangled Path-Speed Representation） 的重要原因。

其核心优势是：

在车辆低速或停止的情况下，仍然能够保留前方几何路径信息，为横向控制提供有效参考；与此同时，利用独立的时间采样预测处理纵向速度控制。

因此，可以将 SimLingo 的航路点设计概括为：

目标点负责导航，路径航路点负责几何方向，速度航路点负责时间运动；三者共同支持模型在动态交通环境中的闭环驾驶决策。

---

参考文献与技术来源

[1] Renz, K., Chen, L., Arani, E., & Sinavski, O. (2025). SimLingo: Vision-Only Closed-Loop Autonomous Driving with Language-Action Alignment. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 11993–12003.

论文地址：https://arxiv.org/html/2503.09594

CVPR 官方论文页面：https://openaccess.thecvf.com/content/CVPR2025/html/Renz_SimLingo_Vision-Only_Closed-Loop_Autonomous_Driving_with_Language-Action_Alignment_CVPR_2025_paper.html

[2] SimLingo 官方开源代码，包含航路点预测、目标点处理、图像可视化及 PID 车辆控制实现。

https://github.com/RenzKa/simlingo

[3] SimLingo 官方项目主页，包含研究介绍和相关演示。

https://www.katrinrenz.de/simlingo/