AiBrainBox-VLA:面向无人机VLA模型训练与验证的机载数据采集、实时传输、地面推理和闭环控制系统
AiBrainBox-VLA:面向无人机VLA模型训练与验证的机载数据采集、实时传输、地面推理和闭环控制系统
AiBrainBox-VLA + 多传感器数据采集 + VLA 边缘推理 + PX4 闭环控制一体化系统

-
三大核心目标:
-
数据采集: 采集相机、MID360 激光雷达、毫米波雷达、飞控状态以及人工操控指令,形成严格时间同步、可回放、可训练的 MCAP 数据集。
-
实时推理: 机载数据通过自组网实时传输到地面 AGX 推理设备,供 VLA 模型进行环境理解、任务决策和动作生成。
-
闭环控制: 地面 VLA 输出动作指令,通过自组网回传 AiBrainBox-V,由 AiBrainBox-V 通过 MAVROS/MAVLink 与 PX4 飞控交互,实现无人机控制。

-
架构原则:
AiBrainBox-V 是机载数据与控制中枢,AGX 是地面 AI 推理节点,PX4 是底层飞行控制器
六层架构:

-
任务分解
WP1:AiBrainBox-V 机载硬件及传感器集成

WP2:多传感器时间同步与数据采集
VLA训练数据的价值不仅取决于传感器数量,还取决于不同模态数据之间的时间对应关系。
建立统一的数据时间基准

WP3:MAVROS 与 PX4 飞控数据采集
A. 飞控状态采集
-
飞行器位置、速度、姿态。
-
IMU、角速度、加速度。
-
GPS、RTK定位状态。
-
飞控模式、解锁状态。
-
电池、电压、电流。
-
飞控输出及必要的执行机构状态。
B. 人工操控数据采集
记录:
-
RC_CHANNELS_RAW / RC_CHANNELS。
-
MANUAL_CONTROL(如果实际使用)。
-
遥控器输入通道映射。
-
当前飞行模式。
-
人工控制指令与飞控实际状态。
-
控制权限状态(人工/自主)。
遥控器输入不等于飞机实际执行的控制量。
训练数据中最好同时记录人工输入、飞控设定值、飞控反馈状态和执行机构输出。这样才能分析操控指令与实际运动之间的关系。
C. MAVROS集成
-
MAVROS安装和配置。
-
MAVLink串口或UDP连接。
-
PX4状态订阅。
-
飞控数据ROS Topic封装。
-
RC输入数据订阅。
-
飞控模式、解锁等状态管理。
-
控制指令发布接口。
WP4:MCAP 数据记录与管理
采用 ROS2 + rosbag2 + MCAP

建立标准化数据集目录:

metadata.json 记录:
-
设备型号及软件版本。
-
飞控型号及 PX4 版本。
-
传感器序列号。
-
传感器内外参。
-
时间同步方式及误差。
-
飞行任务编号。
-
数据采集起止时间。
-
操控方式及任务描述。
WP5:自组网实时数据传输

具体工作:
-
自组网接口及通信协议适配。
-
ROS2 Topic 到网络传输的数据封装。
-
图像压缩与码流传输。
-
激光雷达点云传输优化。
-
毫米波雷达数据转发。
-
飞控状态与操控数据实时传输。
-
控制指令反向传输。
-
数据优先级与带宽调度。
-
网络断连、丢包、延迟恢复机制。
-
通信性能监控。
WP6:AGX 地面 VLA 推理端集成


WP7:VLA 控制指令回传与 PX4 闭环控制
建立完整的控制链路:
AGX VLA → 自组网 → AiBrainBox-V → MAVROS → MAVLink → PX4。
A. 控制指令协议设计
建议建立统一的控制消息结构:
|
字段 |
说明 |
|---|---|
|
Command_ID |
指令序列号 |
|
Timestamp |
指令生成时间 |
|
Valid_Until |
指令有效截止时间 |
|
Control_Mode |
速度、位置、航向等控制模式 |
|
Target_Velocity |
目标速度 |
|
Target_Position |
目标位置 |
|
Target_Yaw |
目标航向 |
|
Confidence |
VLA输出置信度 |
|
Status |
指令有效状态 |
B. AiBrainBox-V 控制管理
-
接收 AGX 控制消息。
-
指令格式解析。
-
时间戳与有效期检查。
-
指令连续性检查。
-
指令限幅及安全约束。
-
控制模式切换。
-
MAVROS 控制接口适配。
C. PX4 控制接口
-
OFFBOARD 模式管理。
-
位置/速度设定值发布。
-
航向控制。
-
飞控状态监控。
-
控制指令执行状态反馈。
D. 控制安全机制
至少实现以下机制:
|
异常情况 |
处理机制 |
|---|---|
|
自组网中断 |
停止接受新指令,进入预设失联策略 |
|
VLA输出超时 |
丢弃过期指令 |
|
指令异常 |
限幅、拒绝执行 |
|
AGX推理异常 |
停止自主控制 |
|
AiBrainBox异常 |
PX4执行预设失联保护 |
|
人工接管 |
人工优先,禁止VLA抢占 |
特别建议建立控制权仲裁机制:
人工控制优先级高于 VLA 自动控制。
另外,控制指令必须有独立的有效期、心跳和序列号,避免网络恢复后旧指令重新进入控制链路。
WP8:系统联调、飞行测试与验收
完整的数据链路和闭环链路测试。

三个阶段进行:
-
地面联调: 不启动电机,验证传感器、数据录制、网络和控制指令。
-
半实物测试: 使用 PX4 SITL/HITL 或等效测试环境,验证控制链路及故障处理。
- 实际飞行: 首先人工控制飞行并采集数据,再逐步验证 VLA 控制,初期保留人工接管能力和安全保护。

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)