高算力边缘平台Orion O6与移动机器人

智能移动机器人因其具备感知、决策、控制等功能，对算力有较高需求。

Orion O6是此芯（Cix）推出的一款为高性能边缘计算定制的Arm64开发平台：

      • 强大的 SoC： 核心处理器（12核高性能CPU + NPU），45TOPS综合算力；

      • 丰富的接口： 原生支持多种接口（如多路USB3.0、USB2.0、HDMI、5G以太网、M.2、TF插槽、Type-C口电源、风扇接口等），满足智能机器人多传感器（激光雷达、相机、IMU）和多外设的接入需求。

机器人硬件平台选用Hiwonder JetAuto Pro Robot (专业开发版+6路环形语音麦克风阵列)，该机器人硬件包含运动底盘、抓取机械臂、RGBD相机、机械臂单目相机、激光雷达、IMU、科大讯飞六路环形麦克风阵列、显示屏等，可满足环境感知、运动控制、语音交互等多任务需求。

Camera, 雷达，Audio等模块的接口均为USB 接口， 直接连接到Orion O6 开发板上。

电机驱动相关功能由一个基于STM32的扩展板完成，通过USB 串口与主控板（Orion O6）连接。

硬件连接图

基础环境搭建

Orion O6 安装 Ubuntu 22.04 with ROS2-humble

1.ubuntu 安装参考链接：How to enable dpu&gpu&npu&vpu on Orion O6(ubuntu 24.04) - Orion - Radxa Community

2.ros2安装

ROS的最简单安装——鱼香一键安装_鱼香ros-CSDN博客

传感器驱动与环境依赖安装

包括：相机、激光雷达、USB摄像头

相机驱动

sudo apt-get install ros-humble-image-publisher
sudo apt-get install ros-${ROS_DISTRO}-diagnostic-updater
sudo apt install ros-humble-backward-ros
sudo apt install nlohmann-json3-dev
# 编译相机驱动功能包
cd /home/cix/ros2_ws/src/OrbbecSDK_ROS2/orbbec_camera/scripts
sudo bash install_udev_rules.sh 
sudo udevadm control --reload-rules  
cd /home/cix/third_party_ros2/orbbec_ws
colcon build

激光雷达驱动

cd /home/cix/third_party_ros2/YDLidar-SDK
mkdir build
cd build
cmake ..
make -j10
sudo make install
# 编译激光雷达ros功能包
sudo apt install ros-humble-laser-filters
# 修改激光雷达ros功能包CMakeLists.txt
# 在里面添加add_compile_options(-Wno-unused-parameter)，否则会报错
cd ros2_ws
colcon build --packages-select ydlidar_ros2_driver

USB摄像头驱动

sudo apt install ros-humble-usb-cam

语音模块驱动

1. 六路麦克风阵列配置

1.1. 申请科大讯飞离线语音包和ID

申请的应用（离线语音关键词）名称：hiwonder ； APPID：c21fbf6c

1.2. 完成对语言资源文件 common.jet 的替换、对APPID的替换

2. 麦克风设备

修改相应代码中的麦克风port

六路环形麦克风port：/dev/ttyCH341USB0； mic_type：mic6_circle

修改文件/launch/mic_init.launch.py、/scripts/awake_node.py、/scripts/wonder_echo_pro_node.py中的麦克风port。

3. 修改各pkg路径

确保各launch.py中的所调用的pkg路径都修改正确。

4. 安装需要的库

pip install dashscope
pip install librosa
pip install webrtcvad
pip install openai

5. PortAudio library动态链接库配置

sudo apt update
sudo apt install portaudio19-dev libportaudio2 libportaudiocpp0

6. 编译

colcon build --packages-select xf_mic_asr_offline_msgs colcon build --packages-select xf_mic_asr_offline

7. 添加共享库路径

程序在运行时需要动态加载共享库 liboffline_record_lib.so，但系统找不到这个 .so 文件，需添加此共享库路径。

永久添加（也可临时添加）：

echo 'export LD_LIBRARY_PATH=/home/cix/ros_ws/src/xf_mic_asr_offline/lib/arm64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

8. 运行指令（以‘语音控制小车为例’）

source install/setup.bash

# 在运行 launch 前设置环境变量
export MIC_TYPE=xf  # 使用讯飞麦克风
export ASR_LANGUAGE=Chinese  # 中文
#麦克风权限
sudo chmod 666 /dev/ttyCH341USB0

# 然后运行 launch 文件
ros2 launch xf_mic_asr_offline voice_control_move.launch.py

SLAM建图、自主导航与物体抓取

SLAM建图与自主导航

demo展示：https://live.csdn.net/v/503682

机械臂抓取

demo展示：https://live.csdn.net/v/503689

基于大模型的机器人自主导航与物体抓取

大模型API-Key获取与配置

1.1 阿里云大模型API-Key获取与配置

模型：通义千问-plus
API-Key：sk-516405220cce4d9083e7aa7ce3676f8c

配置密钥：将获取的大模型的 API-Key 填写到home/cix/ros_ws/src/large_models/large_models/large_models/config.py文件下aliyun_api_Key变量。

1.2  阶跃星辰API-Key获取与配置

API-Key：5QLr5CKAgPPVglc4umSdA2zp1kl5xQ9NKhRY1Y7apE9nhX0N3uVwl3gONOzKlWJhg

配置密钥：将获取的大模型的 API-Key 填写到home/cix/ros_ws/src/large_models/large_models/large_models/config.py文件下stepfun_api_key变量。

1.3 用到的大模型

LLM	qwen-max-latest
VLM	qwen-vl-max-latest
ASR	sambert-zhinan-v1
TTS	paraformer-realtime-v2

编译

cd ros_ws
colcon build --packages-select large_models_msgs
colcon build --packages-select large_models
colcon build --packages-select large_models_examples

将~/ros_ws/src/large_models/large_models/large_models/下的resources资源包copy到~/ros_ws/install/large_models/lib/python3.10/site-packages/large_models/下

运行示例

语音控制机器人运动

demo展示：https://live.csdn.net/v/503694

智能导航搬运

demo展示：https://live.csdn.net/v/503691

AI modelhub

AI modelhub提供了大量和机器人相关的AI模型，并且能够使用此芯P1 NPU进行加速。modelhub链接：CIX AI Model HUb | Radxa Docs

机器人相关模型列表：

机器人感知	目标检测	yolo系列(yolox,yolov8,yolov11,yolov12,yolov13)
	语义分割	deeplab,yolov8,sam2,fastsam
	深度估计	depth_anything_v2,mdias_v2
	姿态检测	handpose,yolov8-pose,openpose
	OCR	PP_OCRv4,duguang_ocr
	语音识别	whisper
	目标跟踪	nonatrack
	LLM	DeepSeek,llama,qwen

总结

通过本篇博客将此芯科技Orion O6这一高性能边缘计算平台，与移动机器人深度结合，构建出一套拥有强大感知、决策与控制能力的智能机器人系统。

1.感知层：通过Orion O6的多路USB接口，无缝接入了RGB-D相机、激光雷达、麦克风阵列等传感器，实现了多模态数据的同步采集与预处理。

2.决策层：利用Orion O6的12核CPU与高性能NPU，部署并加速了SLAM、视觉识别、语音交互等核心算法，将感知数据转化为对环境与任务的理解。

3.执行层：通过稳定的通信协议，将决策指令下发至STM32扩展板，精准控制了移动底盘与六轴机械臂，实现了自主导航与灵巧抓取。