实训报告--具身智能工业视觉分析与物联监护应用演练

拟制__李伟超（23402094）________________________________________________________

1 工效组合展示

    本次实训围绕具身智能工业视觉分析与物联监护应用展开，通过昇腾工业视觉终端、华为云IoTDA设备接入平台、CodeArts智慧应用构建等核心技术，实现从视觉感知到物联监护的完整技术闭环。

实训目标：

掌握具身智能工业视觉系统的搭建与调试方法。

熟悉IoTDA设备接入与产品模型构建流程。

能够独立完成智慧路灯等物联网应用的快速构建与部署。

工效组合架构：

┌─────────────────────────────────────────────────────────────┐

│                    应用层（智慧路灯/物联监护）                │

├─────────────────────────────────────────────────────────────┤

│              CodeArts应用构建 → 部署 → 运行监控              │

├─────────────────────────────────────────────────────────────┤

│              IoTDA设备接入层 → 产品模型 → 设备实例化         │

├─────────────────────────────────────────────────────────────┤

│              昇腾工业视觉终端 → 视觉识别 → 数据分析          │

├─────────────────────────────────────────────────────────────┤

│              传感器层（温湿度计/吸顶灯/工业相机）             │

└─────────────────────────────────────────────────────────────┘

2 具身智能工业视觉获取与分析应用

2.1 工具软件安装

本次实训在 Windows 工作站上搭建开发环境，先后安装 Python 3、JDK 1.8（jdk1.8.0_192）、海康威视 MVS 客户端、DevEco Studio 等工具软件，并将 D:\python、D:\python\Scripts 加入 Path 环境变量，在系统变量中新建 java_home=D:\jdk1.8.0_192，MVS 安装程序自动写入 GENICAM、MVCAM 系列运行库变量，保证各工具可在命令行直接调用。

图2-1 开发环境变量配置（Python、DevEco、java_home 与 MVS 运行库）

登录华为云官网，完成账号注册与个人认证。账号 hid_0bx1sixzk_l9raz（账号ID：01a09d99b5f67bd799e9008b51238ee5）登录后可正常访问控制台、费用中心与常用功能，为后续 IoTDA、CodeArts 等云服务的开通做好准备。

图2-2 华为云账号基本信息

进入统一身份认证服务 IAM，查看用户列表：主账号 hid_0bx1sixzk_l9raz（企业管理员）与子用户 tjf 均为启用状态，并获取 IAM 用户登录链接，为后续应用侧接入认证与 API 凭证管理打好基础。

图2-3 IAM 统一身份认证服务用户管理

2.1.1 昇腾AI开发环境配置：昇腾侧使用 Atlas 200I DK A2 开发者套件，系统为 Ubuntu 22.04.5 LTS（GNU/Linux 5.10.0+ aarch64）。通过 MobaXterm 以 HwHiAiUser 用户 SSH 登录开发板（192.168.137.100），成功进入 Ascend-devkit 欢迎界面，界面中提供主页、文档、课程、在线体验与代码仓库等参考资源链接。

图2-4 MobaXterm SSH 登录 Atlas 200I DK A2 进入 Ascend-devkit

2.2 工业视觉环境构建与应用

在海康威视 MVS 客户端中，通过 GigE 与 USB 总线自动枚举工业相机，本次使用 USB 3.0 接口连接的 MV-CS060-10UC-PRO（序列号 DA7952512，厂商 Hikrobot）。客户端实时预览画面正常，采集分辨率 2981×1072，帧率约 30 fps，无误帧与丢帧，说明工业视觉采集链路搭建完成，可满足后续 OCR 识别对图像质量的要求。

图2-5 MVS 客户端连接 MV-CS060-10UC-PRO 工业相机并实时采图

2.3 昇腾工业视觉终端应用展现

在昇腾终端上启动 JupyterLab（Jupyter Server 2.5.0），服务运行于 8888 端口，服务目录为 /home/HwHiAiUser/samples/notebooks，通过带 token 的 URL 即可在浏览器中打开 Notebook 开发环境。该环境作为昇腾工业视觉终端的应用展现入口，可用于后续视觉算法的在线开发与演示。

图2-6 昇腾终端启动 JupyterLab 服务

3 具身智能工业视觉识别快速编码实现

3.1 IMA-DS借力

本节借助 AI 编程助手（IMA-DS/Deepseek）快速生成工业视觉 OCR 应用代码框架。由助手直接给出面向网络摄像头与海康工业相机的两套 Python 脚本（ocr_camera_paddle.py、ocr_camera_hikrobot.py），并同步输出"打开黑窗口→激活 venv 环境→运行脚本"的分步操作说明，大幅降低了 PaddleOCR 与海康 MVS SDK 的编码门槛，实现快速借力编码。

3.2 运行环境构造

在 D:\ocr_camera 目录下创建 Python venv 虚拟环境，安装 paddlepaddle、paddleocr、opencv-python、numpy 及海康 MVS Python SDK（MvCameraControl_class）等依赖。首次运行脚本时 PaddleOCR 自动下载 PP-OCRv4 中英文检测（det）、识别（rec）与方向分类（cls）模型；期间出现摄像机连接失败问题，程序按 2 秒间隔自动重试 5 次并给出排查提示（URL/网络/账号密码），检查网络摄像头的 URL 与账密后重新运行，提示"摄像机连接成功"，进入按 c 抓帧识别、按 a 切换自动/手动、按 q 退出的交互模式。

图3-1 venv 环境运行 ocr_camera_paddle.py：模型下载、连接重试与连接成功

3.3 编码实现

程序主体分为四部分：①定义中英映射字典 ch2en，将"光源""含套件""光"等识别结果翻译为英文标签；②初始化 PaddleOCR（use_angle_cls=True, lang="ch", use_gpu=False）；③通过 MVS SDK 枚举设备（MV_CC_DEVICE_INFO_LIST）、创建句柄、打开设备并开始取流；④抓帧循环中将图像复制、镜像并缩小一半后送入 OCR，识别结果查表转英文，同时把检测框坐标按"先放大回原图尺寸、再镜像翻转"还原到原图，用 cv2.polylines 绘制绿框、cv2.putText 绘制英文标签，最后在 finally 中释放相机资源。

图3-2 编码实现（一）：依赖导入、中英映射字典与相机初始化

图3-3 编码实现（二）：OCR 识别、坐标还原与标注绘制

3.4 运行测试

运行 ocr_camera_hikrobot.py，程序自动识别到 1 台海康设备（单帧大小 6291456 字节），按 c 抓帧识别，控制台循环输出"正在识别，请稍候…"及识别结果。将工业相机对准放大镜下的"光源"标签，OCR 正确识别出中文"光源"并在窗口中标注对应的英文 "light source"，识别稳定，达到预期效果。

图3-4 海康工业相机实时 OCR：正确识别"光源"标签并转英文标注

4 IoTDA中转空间构建

4.0 IoTDA构造

登录华为云 IoTDA（设备接入服务，华北-北京四）实例，在"总览-接入信息"中查看应用侧与设备侧的接入协议及端口：应用侧支持 HTTPS(443)、AMQPS(5671)、MQTTS(8883)；设备侧支持 CoAP(5684)、MQTTS(8883)、MQTT(1883) 及 MQTT over WebSocket，接入地址为 1e3f5353c8.st1.iotda-device.cn-north-4.myhuaweicloud.com，设备侧接入使用证书认证并预置接入凭证。

图4-1 IoTDA 接入信息（应用侧/设备侧协议与端口）

在"我的凭证-API凭证"页面获取 IAM 用户名/账号名（hid_0bx1sixzk_l9raz）、IAM 用户 ID 与账号 ID，并确认项目列表中存在 cn-north-4（华北-北京四）项目，作为后续应用侧 API 调用与 CodeArts 构建部署的认证参数。

图4-2 API 凭证与项目列表（cn-north-4 华北-北京四）

4.1 产品及其模型构建

4.1.1 温湿度计

在 IoTDA 控制台创建"温湿度计"产品，并定义物模型服务 T&H，包含 temperature（温度）与 humidity（湿度）两个属性。设备按物模型定义上报属性数据后，控制台物模型数据页可实时查看最新属性值（temperature=23、humidity=35）。

图4-3 温湿度计产品物模型（T&H 服务：temperature/humidity）

4.1.2 吸顶灯

创建"智能吸顶灯"产品并定义两个服务：Light 服务包含 lightproportion（亮度比例）与 v（电压/数值）属性，Color 服务包含 colornow（当前颜色）属性。设备上报后物模型数据页显示 lightproportion=600、v=60，说明 Light 服务定义生效。

图4-4 智能吸顶灯物模型（Light 服务：lightproportion/v）

4.2 设备实例化应用

4.2.1 温湿度计设备注册及模拟测试

在设备列表中注册直连设备：设备标识码 4567（设备 ID：6aa76bebb0cf6bb9833232e_4567，所属资源空间 DefaultApp_6aa7qxdi），注册时间 2026/09/15 14:38:08。使用 MQTT 客户端按平台给出的连接参数（域名、设备 ID、密钥）接入并模拟属性上报，设备转为在线，物模型数据最新更新为 temperature=26.8、humidity=62.5，最近上线时间 2026/09/15 15:28:47，模拟测试通过。此外还注册了另一台"卧室温湿度计"（设备标识码 1234567890，资源空间 DefaultApp_6aa74vdl）用于多设备管理演示。

图4-5 设备列表：智能吸顶灯（在线）与温湿度计 4567

图4-6 温湿度计 4567 在线并上报 temperature=26.8、humidity=62.5

4.2.2 吸顶灯设备注册及模拟测试

注册直连设备 1234（设备 ID：6aa76cd1cbb0cf6bb9833292_1234，产品"智能吸顶灯"），设备在线后进行命令与属性联调：平台下发"设置颜色"命令（service_id: Color，paras: {"color":"红"}），设备返回 {"code":0,"message":"success"} 命令响应，同时按物模型上报 Color 服务属性，设备影子同步更新（eventTime 20260915T0853102Z）。部分同步命令因设备未在超时时间内响应而记录"同步命令设备响应超时（costTime 21185ms）"，经排查为模拟端未及时应答所致，重发后恢复正常。

图4-7 吸顶灯 Color 服务属性上报 colornow="green"

图4-8 平台下发"设置颜色"命令与设备命令响应/属性上报日志

5 CodeArts智慧路灯快速构建与部署

5.1 应用项目创建

登录华为云 CodeArts（DevCloud，华北-北京四），创建 Scrum 类型项目 streetlight，作为智慧路灯应用的开发、构建与发布载体，项目下开通代码托管、编译构建、制品仓库等服务。

5.2 代码托管操作

将基于 Spring Boot 2.1.3 的智慧路灯应用（huawei-0.0.1-SNAPSHOT）源码推送到项目代码仓库 master 分支，提交记录 23d87459。代码中封装了 IoTDA 的登录认证、设备注册、属性上报与命令下发等接口调用逻辑。

5.3 构建任务设立

在"编译构建"中新建构建任务 streetlight-26913855，选择 Maven 构建模板，构建步骤依次为：环境准备、代码检出、Maven 构建、上传软件包到软件发布库（external_nexus_artifact_uploader 插件，版本 2.23.2）。

5.4 项目构建实现

手动触发构建任务 #20260916.2，构建总时长 58 秒：环境准备 11s、代码检出 10s、Maven 构建 29s、上传软件包 6s。日志显示 target/huawei-0.0.1-SNAPSHOT.jar 校验成功并以 V1 版本上传至软件发布库 /streetlight-26913855/20260916.2/，文件大小 29620.83KB，SHA256 摘要校验通过，最终 Finished: SUCCESS。

图5-1 CodeArts 构建任务 #20260916.2 构建成功（SUCCESS）

5.5 项目部署运行

在本地 CMD 中确认 Java 版本为 1.8.0_192，进入 D:\smartlight 目录执行 java -jar huawei-0.0.1-SNAPSHOT.jar，应用以 Spring Boot v2.1.3.RELEASE 正常启动。首次启动时因 IAM 认证参数配置不当，出现连续 login status: HTTP 401 与 java.lang.NullPointerException；核对 API 凭证（账号名、IAM 用户名/密码、项目 ID）后重新启动，登录与设备注册流程恢复正常。

图5-2 本机 java -jar 启动 Spring Boot 智慧路灯应用

图5-3 首次启动出现 401 登录失败问题（修正凭证后解决）

浏览器访问 http://127.0.0.1:8080/index.html 打开"IoT Smart Streetlight 智慧路灯"页面，数据来源选择"数据接入服务"，依次配置通道信息（访问密钥 ID/密钥、通道名称 lightChannel）、资源空间 APPID（DefaultApp_6aa7qxdi）、API 凭证（账号名、IAM 用户名/密码、项目 ID）与产品信息（产品 ID：6aaa09eecbb0cf6bb983d81b，设备标识 6789），页面成功拉取设备属性参数。

图5-4 智慧路灯 Web 应用参数设置页面

在页面中下发"设置颜色"命令（service_id: Color，paras: {"color":"green"}），平台日志显示命令成功下发至设备 6aa76cd1cbb0cf6bb9833292_1234，随后收到设备命令响应 {"code":0,"message":"success"}，物模型属性 colornow 同步更新为 "green"，实现"应用下发→平台转发→设备执行→属性回传"的完整闭环。

图5-5 应用下发"设置颜色"命令的命令响应日志