前言:

做边缘AI视觉项目,最怕什么?不是模型精度不够,而是跑不动。算法在PC上跑得飞起,一上板子就卡成PPT;想用NPU加速,结果工具链复杂、量化掉精度、部署踩坑无数。更别提还要外挂摄像头、适配屏幕、调通视频流......一套流程走下来,项目周期被拖得面目全非。

有没有法子,能快速把"摄像头输入→NPU推理→屏幕输出"这条链路直接跑通,让开发者拿到就能用、用了就能评?

眺望电子基于RK3572核心板与YOLOv5通用目标检测模型给大家跑一遍,做成一个可直接运行的例程。接上摄像头、插上屏幕、推一条命令,就能看到NPU实时推理的效果。

图片

一、RK3572 NPU介绍

RK3572是一款面向边缘计算与AIoT应用的低功耗高性能处理器,集成两颗Cortex-A73大核与六颗Cortex-A53小核,每核均配备NEON协处理器。

NPU:最高提供4 TOPS 算力,支持 INT4 /INT8 /INT16 /FP4 /FP8 /FP16 /BF16 混合精度运算及W4A16非对称MAC操作,在保证精度的同时大幅降低计算开销。该NPU兼容TensorFlow、Caffe、TensorFlow Lite、PyTorch、ONNX、Android NN、MXNet 等主流框架。

工具链:配套Rockchip自研RKNN3推理框架,提供从模型转换、量化、优化到部署的完整工具链。其中RKNN3-Toolkit支持多精度量化、连板/仿真推理及性能内存评估;RKNN3 API与rkllm3-server提供高效推理服务并支持OpenAI兼容接口,可便捷部署CNN、LLM等主流模型,显著提升NPU利用效率与开发便捷性。

图片

二、YOLOV5目标检测例程

本示例程序基于RK3572平台内置的NPU加速引擎,运行YOLOv5通用目标检测模型,实现对MIPI-CSI接口输入的实时视频流进行在线目标识别与分类。通过该测试,用户可以直观评估模型在实际场景下的检出率、类别判别准确度以及实时处理性能,从而切实感受RK3572在边缘AI视觉任务中的推理性能表现。

图片

YOLOV5(You Only Look Once)目标检测算法,继承了 YOLO 系列高速度、高精度的特点,并在网络结构、特征提取能力以及检测性能方面进行了进一步优化。该算法采用单阶段检测架构,能够在一次网络前向推理过程中同时完成目标定位和类别识别,从而实现高效的实时目标检测。

为更贴近真实边缘计算场景,本测试套件将所有图像输入环节从静态图片读取切换为动态视频流采集,从而更准确地反映实际部署环境中的资源消耗与响应特性。

2.1  例程测试

用户可在光盘资料中:“Core-RK3572 核心板光盘资料 \ 4-软件资料 \ 3-RK3572 模型案例源码 \ 2-源码资料 \ rk3572_Cdemo \ rk3572_Cdemo.tar.gz” 下载模型。

本次测试使用的摄像头型号为IMX415,测试模型案例前将摄像头接入RK3572底板中丝印 J10 或 J14 的MIPI CSI接口中,为能够成功预览摄像头推流识别效果,请接入MIPI屏幕或HDMI接口。

图片

IMX415 摄像头

图片

MIPI CSI 接口

2.2  推送应用

进入应用目录中,使用adb命令将YOLOV5模型应用推送到RK3572开发板中,确保adb正常连接。

talowe@ubuntu22:~$ adb push rknn3_yolv5_detection_cam/ /rk3572_rknn3demo

2.3  运行模型应用

开发板进入/rk3572_ rknn3demo/ rknn_ yolov5_ detection_ cam 目录中执行如下命令

root@rk3572-buildroot:/rk3572_rknn3demo/rknn_yolov5_detection_cam# ./rknn_yolov5_demo ./model/yolov5n.rknn ./model/yolov5n.weight /dev/video22 1

注意:/dev/video22 为接入的摄像头节点

图片

运行后HDMI显示屏或MIPI显示屏中会出现RK3572 实时推理的画面如下运行程序后,显示屏将实时显示摄像头画面,并叠加 YOLOv5 检测结果,每个检测到的目标均用彩色矩形框标出。框的左上角显示类别标签(如 person、car、dog)和置信度。

图片

三、技术实现与应用拓展

这个例程的价值不在于“跑通了YOLOv5”——YOLOv5本身是成熟算法。它的价值在于把边缘视觉部署的完整链路做成了一个可复现的闭环。

3.1  技术应用

  • 4TOPS算力支撑实时推理,工业级宽温保障稳定性用于:工业视觉(产线零件缺陷检测、工件计数)

  • MIPI-CSI摄像头直连,低延迟本地处理用于:智慧安防(人车识别、周界入侵检测)

  • 多精度量化平衡精度与速度用于:智能交通(车辆检测、违章抓拍)

  • 低功耗适配移动巡检设备用于:电力巡检(设备异常识别、仪表读数)

  • 小尺寸核心板适配嵌入式部署用于:机器人视觉(目标跟随、障碍物识别)

图片

而这个闭环就是一个可参照的部署模板。它可以替换成客户想要的模型、调整检测类别、适配的摄像头和屏幕,把“从模型到产品”的路径缩短,可以更快的促进项目落地。

四、小编有话说

感谢大家的信任与支持。这份指南来自眺望电子的技术手册之一《Pi-RK3572 RK3572,NPU模型案例》,适用于RK3572核心板。更多资料可在后台留言或者联系工程师获取。如果大家在实操过程中遇到问题,也欢迎随时交流。

下期预告:

下一篇我们将继续讲解RK3572-YOLOV8模型应用,敬请期待!

广州眺望电子科技有限公司成立于2013年,是一家专注于嵌入式处理器模组研发与应用的国家高新技术企业,与国内外一线处理器品牌如NXP、瑞芯微、全志、瑞萨、ST、龙芯中科等有广泛深度的合作。

我们以专业的嵌入式软硬件底层技术和强大的服务支持能力,加速客户嵌入式智能产品的落地;提供长生命周期、高稳定可靠的嵌入式处理器模组产品,或客制化产品供客户大批量应用于工业、交通、电力、医疗、机器人、工业物联网等众多领域。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐