分布式具身智能系统平台Embodied Multi-Agent Intelligence-从UGV集群+UAV集群 → 走向 空地协同系统Air-Ground Collaborative Autonomy

视频、雷达SLAM 巨视安防 2026年5月22日 07:00 上海

🚀 空地协同的本质不是通信，而是“跨域坐标统一 + 多尺度约束融合”

空地协同终极架构图（UAV + UGV + 融合引擎）

包含：

• 三类约束

• 三层架构

• 数据流

• 地图融合

空地协同终极架构图

四个核心：三类约束 / 三层架构 / 数据流 / 地图融合

一、三类约束

🚀 用不同来源的“约束”去限制各机器人位姿的不确定性

---

🔷 1. 几何约束（Geometric Constraints）——主约束

来源

• LiDAR Scan Matching

• Visual Feature Matching

• VIO / LO

数学本质

T_i_j ∈ SE(3)

👉 直接提供：

• 相对位姿（位置 + 姿态）

---

在系统中的作用

✔ 主定位来源
✔ 精度最高
✔ 决定局部结构

---

空地场景中体现

• UAV ↔ UAV（视觉/VIO）

• UGV ↔ UGV（LiDAR）

• UAV ↔ UGV（跨视角匹配，较难但关键）

---

🔷 2. 距离约束（Metric Constraints）——抗漂移

来源

• UWB
  -（可扩展：ToF / 雷达测距）

---

数学形式

||p_i - p_j|| = d_ij

👉 只有“距离”，没有方向

---

在系统中的作用

✔ 抑制长期漂移
✔ 建立全局“尺度一致性”
✔ 提供弱连接

---

关键理解

❗ UWB不能定位，但能“防止漂”

---

🔷 3. 语义约束（Semantic Constraints）——高级约束

来源

• YOLO（检测）

• CLIP（语义理解）

• Landmark识别

---

形式（软约束）

p_i ≈ p_j  （同一对象）

---

作用

✔ 跨尺度对齐（UAV vs UGV）
✔ 弥补几何失败（纹理差环境）
✔ 提供“场景理解能力”

---

举例

• UAV看到一个设备

• UGV也看到同一个设备

👉 → 建立跨域约束

---

✅ 三类约束总结一句话：

🚀 几何定精度，距离控漂移，语义做跨域对齐

---

二、三层架构

---

🔷 Layer 1：单体自主（Single-Agent）

UAV / UGV各自：

• SLAM（LiDAR / VIO）

• EKF融合

• 局部地图

---

输出：

Local Pose + Local Map

---

🔷 Layer 2：同类集群（Swarm）

UAV swarm / UGV swarm

• 多机SLAM

• 子图共享

• 回环检测

---

技术核心：

• Distributed SLAM

• Submap Fusion

---

输出：

Cluster Map（同类一致）

---

🔷 Layer 3：空地协同（Air-Ground）

---

核心模块：

Air-Ground Factor Graph

融合：

• UAV约束

• UGV约束

• 跨域约束（Anchor / UWB / 视觉）

---

输出：

Unified Global Map
Unified Pose Graph

---

✅ 三层关系

单机 → 同类 → 跨域
局部 → 群体 → 全局

---

三、数据流

---

🔄 整体数据流

---

🔷 Step 1：传感器输入

LiDAR / Camera / IMU / UWB

---

🔷 Step 2：前端处理（Front-End）

• Feature extraction

• Scan matching

• Object detection

👉 输出：Observations（观测）

---

🔷 Step 3：约束构建

生成：

Geometric Factor

Metric Factor
Semantic Factor

---

🔷 Step 4：融合引擎

Factor Graph Optimization

内部：

• Pose Graph

• 非线性优化（GTSAM类）

---

🔷 Step 5：输出

Global Pose
Global Map

---

✅ 数据流本质一句话

🚀 传感器 → 观测 → 约束 → 图优化 → 位姿/地图

---

四、地图融合

---

🔷 系统有三种地图

---

1️⃣ 局部地图（Local Map）

• 单机器人

• 高频更新

• 有漂移

---

2️⃣ 子图（Submap）

• 局部稳定块

• 用于共享

---

3️⃣ 全局地图（Global Map）

• 多机器人融合

• 优化后结果

---

🔷 地图融合过程

---

Step 1：Submap生成

每个机器人：Local SLAM → Submap

---

Step 2：Submap匹配

方式：

• Scan Matching（UGV）

• Feature Matching（UAV）

• Anchor对齐（跨域）

---

Step 3：加入图优化

Submap_i ↔ Submap_j → Constraint

---

Step 4：全局优化

Pose Graph Optimization

---

Step 5：输出统一地图

Unified Map

---

🔷 关键策略

---

✔ 不共享原始数据

❌ 点云
❌ 图像

✔ 只共享：

• Submap

• Feature

• Pose

---

✔ 异步融合

• 不要求同步

• 后端统一优化

---

✔ 多尺度融合

• UAV（全局）

• UGV（细节）

The system employs a three-layer architecture with multi-constraint fusion (geometric, metric, and semantic), enabling asynchronous data flow from perception to factor graph optimization, and achieving unified map fusion across heterogeneous UAV and UGV platforms in GNSS-denied environments.

核心挑战

❗ 1. 坐标系统不一致（最大问题）

平台	特点
UAV	3D自由空间
UGV	2.5D（贴地）
地图	局部坐标（SLAM）

👉 问题：

• UAV map ≠ UGV map

• 各自漂移

• 无全局基准（GNSS拒止）

---

❗ 2. 感知尺度不一致

UAV	UGV
全局视野	局部精细
稀疏	密集

UAV看到的是：结构（轨道/道路）

UGV看到的是：细节（设备/裂缝）

---

❗ 3. 时间/同步问题

• UAV快（高动态）

• UGV慢（稳定）

👉 不能强同步

技术路径

---

🚀 路径总览：三层架构

Layer 1: 单体自主（UAV / UGV）
Layer 2: 同类集群（UAV swarm / UGV swarm）
Layer 3: 空地协同（Air-Ground Fusion）

---

核心：空地坐标统一方法

---

✅ 方法1：共享“地图锚点”（最推荐）

思路：

不统一坐标系，而是通过“公共观测”建立约束

---

🔷 实现方式

1️⃣ 选取 Anchor（锚点）

例如：

• 铁轨交汇点

• 设备（变电箱）

• 标志物（人工Tag）

---

2️⃣ UAV识别

• 视觉检测（YOLO / CLIP）

• 得到：Anchor在UAV坐标系位置

---

3️⃣ UGV识别

• 同样识别Anchor

• 得到：Anchor在UGV坐标系位置

---

4️⃣ 建立约束

T_uav_anchor ≈ T_ugv_anchor

👉 推导：

T_uav_ugv

---

✔ 优势

• 不依赖GNSS

• 可渐进优化

• 非常鲁棒

---

✅ 方法2：空地相对观测（更高级）

---

🔷 UAV → UGV观测

• UAV俯视识别UGV

• AprilTag / UWB Tag / 特征匹配

👉 输出：

Relative Pose (UAV → UGV)

---

🔷 UGV → UAV观测（可选）

• UWB测距

• 视觉仰视（难度较大）

---

✔ 推荐组合：

UAV视觉 + UWB辅助

---

✅ 方法3：地图对齐（Map-to-Map）

---

🔷 流程

1. UAV生成全局稀疏地图

2. UGV生成局部精细地图

3. 做：

👉 Scan Matching / Feature Matching

---

输出：

T_map_uav_to_map_ugv

---

✔ 优势

• 无需实时观测

• 可离线优化

统一框架

🔥 Factor Graph（跨域扩展版）

---

模型：

Nodes:
- UAV Pose
- UGV Pose
- Landmark (Anchor)

Edges:
- UAV SLAM
- UGV SLAM
- UWB Range
- Visual Detection (Anchor)
- UAV→UGV Relative Pose

---

核心：

🚀 空地协同 = 在同一个图优化里融合所有约束

---

技术路线

---

🔥 Step 1：定义统一坐标表达

建议：

Local Map Frame（各自）
+
Shared Anchor Frame（关键）

---

🔥 Step 2：实现“跨域约束模块”

新增模块：

Air-Ground Constraint Engine

输入：

• UAV观测

• UGV观测

• UWB

输出：

• Relative Pose Constraint

---

🔥 Step 3：加入触发机制（非常关键）

例如：

• UAV飞到UGV上方

• 距离 < 20m

👉 自动触发：

• 视觉匹配

• UWB增强

---

🔥 Step 4：分层融合（推荐）

层	方法
实时层	EKF（快速）
后端层	Factor Graph（精确）

🚀 Air-ground collaboration in GNSS-denied environments is achieved through multi-agent factor graph optimization, leveraging anchor-based alignment, relative observations, and map-to-map constraints.