在车载环视、安防监控、机器人巡检等场景中,单颗摄像头的视野永远有限。为了获得更广阔的视角,行业普遍采用多摄像头拼接方案。

但真正的难点不在于“拼”,而在于实时、低延迟、高画质地拼——需要同时处理多路视频的采集、同步、畸变校正、融合拼接和编码输出。这对硬件算力和软件架构都是不小的考验。

灵眸科技推出的AVS(Around View System)方案,基于EASY-EAI-Nano-TB核心板,通过两颗MIPI-CSI摄像头,实现3840×1088超宽全景画面的实时拼接与RTSP推流。本文带你快速上手。

PART.01——快速上手:三步跑通AVS

第一步:准备编译环境

在PC端Ubuntu系统中进入EASY-EAI编译环境,具体操作可参考灵眸科技官网《入门指南》。

https://www.easy-eai.com/document_details/27/1100

第二步:拉取源码并翻译

cd /opt/EASY-EAI-Toolkit
git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-1126B.git
cd EASY-EAI-Toolkit-1126B/Solutions/avs
./build.sh all

编译完成后,可执行文件和资源会自动部署到板端。

第三步:板端运行

cd /userdata/Solu/avs
systemctl stop rkaiq_3A.service
insmod video_rkavsp.ko
insmod video_rkfec.ko
./avs --vi_size 1920x1080 --avs_chn0_size 3840x1088 --avs_chn1_size 1920x544 \
      -a /etc/iqfiles -e h265cbr -b 4096 -n 2 \
      --avs_mode_blend 0 --ispLaunchMode 0 \
      -J /oem/usr/share/avs_json/rk_2_1920x1080.json &

运行后,系统自动启动RTSP推流,使用VLC即可预览全景画面。

PART.02——效果与参数说明

AVS方案支持主码流和子码流同时输出:

  • 主码流:3840×1088,H.265编码,4Mbps码率
  • 子码流:1920×544,可用于预览或低带宽传输

拼接模式支持三种:

  • 融合拼接(BLEND):画面无缝融合,视觉连贯
  • 无融合垂直拼接:上下分屏显示
  • 无融合水平拼接:左右分屏显示

通过调整JSON配置文件,可以灵活适配不同摄像头布局和拼接需求。

PART.03——开发指南:不止于开箱即用

AVS方案不仅提供可直接运行的例程,还开放了完整的源码和开发指南。开发者可以在 Solutions/avs目录下找到:

  • build.sh:编译脚本,支持 all、deploy、clear等参数
  • CMakeLists.txt:工程管理文件,清晰展示了如何组织第三方库、easyeai-api 和自定义代码
  • src/:核心源码,包含视频采集、拼接、编码等模块的实现

对于需要定制化开发的团队,可以参考灵眸科技官网文档中的“开发指南”章节,了解如何:

  • 增加自定义功能模块
  • 集成第三方库
  • 修改拼接参数和JSON配置

写在最后

全景拼接是一项门槛较高的技术,涉及到多路视频同步、畸变校正、融合算法、编码推流等多个环节。灵眸科技AVS方案将这些复杂性封装在底层,让开发者能够以极低的成本快速验证和部署全景视觉应用。

无论是车载环视、安防全景,还是机器人环境感知,这套方案都能为你提供一个坚实的起点。

让边缘AI落地更简单,也让视野更开阔。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐