AiBrainBox-VLA:面向无人机VLA模型训练与验证的机载数据采集、实时传输、地面推理和闭环控制系统

AiBrainBox-VLA + 多传感器数据采集 + VLA 边缘推理 + PX4 闭环控制一体化系统

图片

  • 三大核心目标:

  1. 数据采集: 采集相机、MID360 激光雷达、毫米波雷达、飞控状态以及人工操控指令,形成严格时间同步、可回放、可训练的 MCAP 数据集。

  2. 实时推理: 机载数据通过自组网实时传输到地面 AGX 推理设备,供 VLA 模型进行环境理解、任务决策和动作生成。

  3. 闭环控制: 地面 VLA 输出动作指令,通过自组网回传 AiBrainBox-V,由 AiBrainBox-V 通过 MAVROS/MAVLink 与 PX4 飞控交互,实现无人机控制。

图片

  • 架构原则:

AiBrainBox-V 是机载数据与控制中枢,AGX 是地面 AI 推理节点,PX4 是底层飞行控制器

六层架构:

图片

  • 任务分解

WP1:AiBrainBox-V 机载硬件及传感器集成

图片

WP2:多传感器时间同步与数据采集

VLA训练数据的价值不仅取决于传感器数量,还取决于不同模态数据之间的时间对应关系。

建立统一的数据时间基准

图片

WP3:MAVROS 与 PX4 飞控数据采集

A. 飞控状态采集

  • 飞行器位置、速度、姿态。

  • IMU、角速度、加速度。

  • GPS、RTK定位状态。

  • 飞控模式、解锁状态。

  • 电池、电压、电流。

  • 飞控输出及必要的执行机构状态。

B. 人工操控数据采集

记录:

  • RC_CHANNELS_RAW / RC_CHANNELS。

  • MANUAL_CONTROL(如果实际使用)。

  • 遥控器输入通道映射。

  • 当前飞行模式。

  • 人工控制指令与飞控实际状态。

  • 控制权限状态(人工/自主)。

遥控器输入不等于飞机实际执行的控制量。

训练数据中最好同时记录人工输入、飞控设定值、飞控反馈状态和执行机构输出。这样才能分析操控指令与实际运动之间的关系。

C. MAVROS集成

  • MAVROS安装和配置。

  • MAVLink串口或UDP连接。

  • PX4状态订阅。

  • 飞控数据ROS Topic封装。

  • RC输入数据订阅。

  • 飞控模式、解锁等状态管理。

  • 控制指令发布接口。

WP4:MCAP 数据记录与管理

采用 ROS2 + rosbag2 + MCAP

图片

建立标准化数据集目录:

图片

metadata.json 记录:

  • 设备型号及软件版本。

  • 飞控型号及 PX4 版本。

  • 传感器序列号。

  • 传感器内外参。

  • 时间同步方式及误差。

  • 飞行任务编号。

  • 数据采集起止时间。

  • 操控方式及任务描述。

WP5:自组网实时数据传输

图片

具体工作:

  1. 自组网接口及通信协议适配。

  2. ROS2 Topic 到网络传输的数据封装。

  3. 图像压缩与码流传输。

  4. 激光雷达点云传输优化。

  5. 毫米波雷达数据转发。

  6. 飞控状态与操控数据实时传输。

  7. 控制指令反向传输。

  8. 数据优先级与带宽调度。

  9. 网络断连、丢包、延迟恢复机制。

  10. 通信性能监控。

WP6:AGX 地面 VLA 推理端集成

图片

图片

WP7:VLA 控制指令回传与 PX4 闭环控制

建立完整的控制链路:

AGX VLA → 自组网 → AiBrainBox-V → MAVROS → MAVLink → PX4。

A. 控制指令协议设计

建议建立统一的控制消息结构:

字段

说明

Command_ID

指令序列号

Timestamp

指令生成时间

Valid_Until

指令有效截止时间

Control_Mode

速度、位置、航向等控制模式

Target_Velocity

目标速度

Target_Position

目标位置

Target_Yaw

目标航向

Confidence

VLA输出置信度

Status

指令有效状态

B. AiBrainBox-V 控制管理

  • 接收 AGX 控制消息。

  • 指令格式解析。

  • 时间戳与有效期检查。

  • 指令连续性检查。

  • 指令限幅及安全约束。

  • 控制模式切换。

  • MAVROS 控制接口适配。

C. PX4 控制接口

  • OFFBOARD 模式管理。

  • 位置/速度设定值发布。

  • 航向控制。

  • 飞控状态监控。

  • 控制指令执行状态反馈。

D. 控制安全机制

至少实现以下机制:

异常情况

处理机制

自组网中断

停止接受新指令,进入预设失联策略

VLA输出超时

丢弃过期指令

指令异常

限幅、拒绝执行

AGX推理异常

停止自主控制

AiBrainBox异常

PX4执行预设失联保护

人工接管

人工优先,禁止VLA抢占

特别建议建立控制权仲裁机制:

人工控制优先级高于 VLA 自动控制。

另外,控制指令必须有独立的有效期、心跳和序列号,避免网络恢复后旧指令重新进入控制链路。

WP8:系统联调、飞行测试与验收

完整的数据链路和闭环链路测试。

图片

三个阶段进行:

  1. 地面联调: 不启动电机,验证传感器、数据录制、网络和控制指令。

  2. 半实物测试: 使用 PX4 SITL/HITL 或等效测试环境,验证控制链路及故障处理。

  1. 实际飞行: 首先人工控制飞行并采集数据,再逐步验证 VLA 控制,初期保留人工接管能力和安全保护。

图片

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐