一、实验目的

1. 了解辅助驾驶系统应用场景。

2. 了解视觉技术在辅助驾驶系统中的应用。

3. 掌握基于手势识别和语音识别智能交互技术的辅助驾驶系统开发。

二、实验内容

1.1 需求分析

智能辅助驾驶本质上涉及注意力吸引和注意力分散的认知工程学，主要包括网络导航、自主驾驶和 人工干预三个环节。

智能辅助驾驶的前提条件是，我们选用的车辆满足行车的动力学要求，车上的传感器能获得相关视听觉信号和信息，并通过认知计算控制相应的随动系统。

对智能辅助驾驶技术进行分解可以看到：智能驾驶的网络导航，解决我们在哪里、到哪里、走哪条道路中的哪条车道等问题；自主驾驶是在智能系统控制下，完成车道保持、超车并道、红灯停绿灯行、灯语笛语交互等驾驶行为；人工干预，就是说驾驶员在智能系统的一系列提示下，对实际的道路情况做出相应的反应。智能辅助驾驶系统的主要功能有：

1）环境信息：实现车内各种环境信息的采集和监测，包括：温湿度、光照度、空气质量、大气压 力等，并可基于相关数据联动电器设备实现智能化的环境调节。

2）疲劳检测及驾驶行为识别预警系统：利用摄像头对驾驶员的头部、面部及眼部动作等自动检测， 针对驾驶员疲劳及注意力分散等危险状态进行实时预警，并支持通过无线通讯将图像传输至云管理平台 实现远程监管和分析。

3）语音识别智能控制：当我们开车累了，我们将车子停下来只要对着麦克风发出要休息的指令， 主驾驶位的座椅会自动放倒，调整到休息模式；冬天天气冷，外后视镜受冷会起雾影响我们的正常行驶， 那么我们通过语音就可以打开后视镜加热功能，雨天我们说一声打开雨刮器，雨刮器就会自动开启。除 此之外，语音还可以控制空调的模式、风速的大小、温度的高低，以及内外循环。 随着人们生活水平的提高,对汽车的需求量也在逐年增多。汽车自动驾驶辅助系统实现的功能有自适应巡航控制功能,前向碰撞预警功能,自动紧急刹车功能以及车道偏离预警功能等,经多次软硬件迭代, 其功能和性能均达到了较高水平。

1.2 系统架构

辅助驾驶系统是一套典型的边缘应用场景，包含了硬件层、边缘层、应用层。

1）硬件层：由无线节点和 Sensor-A 采集类传感器、Sensor-B 控制类传感器来完成一套完整的辅助 驾驶系统硬件部分。

2）边缘层：边缘计算网关内置 IoT 网关服务和 AiCam 计算引擎。IoT 网关服务负责接收/下发无线节点的数据，发送给应用端或者将数据发给云端的物联网智云平台。AiCam 计算引擎内置算法、模型、视频推流等服务，支持应用层的边缘计算推理任务。

3）应用层：应用层通过智云接口与 IoT 硬件层交互（默认与云端的物联网智云平台接口交互），通过 AiCam 的 RESTful 接口与算法层交互。

2. 功能设计

2.1 功能要求

本实验辅助驾驶系统主要完成了智慧物联、手势交互、语音交互、驾驶行为分析、应用设置等功能。

1）智慧物联：展示实时的车内环境、设备数据信息等。

2）手势交互：调用摄像头实时进行手势开关车内设备操作（结果连续 5 次一样判定为正确的手势）， 1 是车窗、2 是风扇、3 是空调。

3）语音交互：点击语音识别图标录制语音命令，再次点击结束录音并开始识别指令，支持的语音 命令，打开/关闭车窗、打开/关闭风扇、打开/关闭空调。

4）驾驶行为检测：利用摄像头对驾驶员的头部、面部及眼部动作等进行自动检测，针对驾驶员疲劳及注意力分散等危险状态进行实时预警。

5）应用设置：对项目的智云帐号、设备地址、百度帐号进行设置。

2.2 功能框图

辅助驾驶系统主要功能框图如下：

3. 硬件接口

3.1 硬件设备

辅助驾驶系统采用 LiteB 无线节点、Sensor-A 采集类传感器、Sensor-B 控制类传感器来完成一套辅助驾驶系统硬件的搭建，也可以通过虚拟仿真软件来创建一个辅助驾驶系统项目，并添加对应的传感器

4. 项目开发

4.1 功能描述

AiCam人工智能轻量化应用框架是一款面向于人工智能边缘应用的开发框架，采用统一模型调用、 统一硬件接口、统一算法封装和统一应用模板的设计模式，实现了嵌入式边缘计算环境下进行快速的应用开发和项目实施。

AiCam 为模型算法的调用提供 RESTful 调用接口，实时返回分析的视频结果和数据，同时通过物联网云平台的应用接口，实现与硬件的连接和互动，最终形成各色智联网产业应用。

AiCam 框架如下图所示：

三、实验步骤

1. 硬件部署

1.1 边缘计算网关

1）准备人工智能边缘应用平台，给边缘计算网关正确连接 Wi-Fi 天线、摄像头、电源。

2）按下电源开关上电启动边缘计算网关，将启动 ubuntu 操作系统。

3）系统启动后，连接局域网内的 Wi-Fi 网络，记录边缘计算网关的 IP 地址。

1.2 产业硬件设备

可选择两种方式创建边缘应用所需要的产业硬件设备：

1）方式一：利用虚拟仿真进行硬件原型搭建。

2）方式二：利用人工智能边缘应用平台的实际硬件进行项目部署，并与边缘计算网关构建成功一个物联网传感网络。

2. 工程部署

1）运行 MobaXterm 工具，通过 SSH 登录到边缘计算网关（参考附录 2）。

2）在 SSH 终端创建实验工作目录：

3）通过 SSH 将本实验工程代码和 aicam 工程包（DISK-AILab\02-软件资料\02-综合应用\aicam.zip） 上传到~/aiedge-exp 目录下（文件的上传参考附录 2）。

4）在 SSH 终端输入以下命令解压缩实验工程：

5）修改工程配置文件 static\edge_autopilot\js\config.js 内的智云帐号、百度账号、硬件地址、边缘服 务地址等信息，示例如下：

6）文件修改好后，通过 MobaXterm 工具创建的 SSH 连接，将修改好的文件上传到边缘计算网关

3. 工程运行

1）在 SSH 终端输入以下命令运行实验工程：

4. 应用体验

4.1 智慧物联

1）应用设置：第一次进入应用可点击主页上方的“设置”选项设置应用参数（默认会读取

static\edge_autopilot\js\config.js 内的初始配置），包括：智云帐号、节点地址、百度 AI 帐号等。设置好后，在智云帐号页面点击“连接”按钮即可连接到硬件项目，成功后会弹出消息提示。

2）应用交互：在应用首页可以看到车内硬件的数据，包括采集类：温度、湿度、空气质量；控制 类：车窗（步进电机）、风扇、空调（继电器 K1）；采集类传感器硬件默认 15S 会更新上传一次数据，应用页面会实时更新。控制类传感器硬件通过应用上相应图标的点击进行硬件的开关动作响应。

3）模式控制：通过应用右上角的模式按钮，进行手动模式、智能模式的功能切换。当智能模式时， AI 识别功能不可用，程序会默认每隔 15s 的时间进行获取当前驾驶行为图片，并调用百度驾驶行为分析算法分析并反馈结果。

a.未检测到驾驶员：

b.检测到驾驶员：

c.驾驶行为检测图片：

d.通过应用的交互，观察硬件的变化（虚拟仿真或者实际硬件均可）。

4.2 手势交互

将应用切换为手动模式：

1）在摄像头视窗中摆好手势实时进行手势识别，成功识别到人手手势后进行设备开关操作（算法识别结果连续 5 次一样判定为正确的手势），1 是车窗、2 是风扇、3 是空调。

2）识别成功后，再次识别同样的手势时，如果之前设备是开状态，则本次为关。

4.3 语音交互

将应用切换为手动模式：

1）点击应用视频窗口右边语音识别按钮录制语音命令，录制完成后点击结束录音，开始调用麦克风进行语音开关车内设备操作，支持的语音命令，打开/关闭车窗、打开/关闭空调、打开/关闭风扇。

2）比如录音“打开车窗”，应用将会控制车窗（步进电机）的反转操作。

3）通过应用的交互，观察硬件的变化（虚拟仿真或者实际硬件均可）。