一、项目介绍

摘 要
动态未知环境下的自主避障是移动机器人实现自主导航的核心基础能力，对工业物流、室内服务等场景的机器人落地应用具有重要的实际工程价值。传统移动机器人避障方法高度依赖环境先验地图与人工预定义规则，在动态未知场景中对多变障碍物的适配能力不足，而深度 Q 网络算法在本科教学与毕设应用中，存在从理论到工程落地缺少完整训练 - 评估 - 演示闭环、复现门槛高的问题。该研究以深度 Q 网络为核心算法，先通过 CartPole-v1 倒立摆标准环境完成算法收敛性与稳定性验证，自主设计适配算法离散动作特性的二维动态避障仿真环境，完成离散动作空间、激光雷达感知仿真、多维度奖励函数的全模块开发，同时搭建基于 FastAPI 与 Vue3 的前后端分离可视化平台，实现算法全流程的闭环展示。实验结果表明，设计的系统在 5 类典型动态场景中实现 100% 的避障成功率，碰撞率与超时率均为 0，可在普通家用 CPU 设备上流畅运行，为本科深度强化学习教学实验、移动机器人避障算法验证提供了低门槛、可复用的完整方案。

关键词：DQN；移动机器人；动态避障；强化学习；可视化

研究目标
该研究以基础 DQN 算法为核心，围绕移动机器人动态避障场景，完成算法从理论到工程化的完整落地，最终实现两大核心目标。第一，算法层面，从零实现 DQN 算法的全流程模块，完成适配 DQN 算法的移动机器人动态避障仿真环境设计，验证 DQN 算法在动态未知环境中的避障性能，解决传统避障方法在动态场景中适应性不足的问题。第二，系统层面，搭建一套前后端分离的可视化系统，实现 DQN 算法训练、多场景评估、参数对比分析、避障过程动画演示的全流程闭环，解决深度强化学习算法落地过程中缺少可视化演示载体、复现门槛高的问题，最终形成一套可直接用于本科教学、算法验证与毕设答辩的完整系统。

主要工作
该研究完成的主要工作包括以下几个方面：
(1)完成 DQN 算法的全流程从零实现。基于 PyTorch 框架完成 DQN 核心网络的模块化设计，实现经验回放池、ε-greedy 探索策略、目标网络同步、损失计算与参数更新等核心模块，搭建完整的 DQN 训练器与推理器，并通过 CartPole-v1 倒立摆标准环境完成算法的收敛性与稳定性验证。
(2)完成移动机器人动态避障仿真环境的自主设计。针对 DQN 算法的离散动作特性，设计包含 5 个基础动作的离散动作空间，完成机器人、动态障碍物、目标点的环境实体建模，实现 16 线束激光雷达的感知仿真与环境状态编码，设计多维度复合奖励函数引导机器人学习避障策略，同时完成随机场景生成器的开发，提升模型的泛化能力。
(3)完成多组对照实验与结果分析。设计完整的实验方案，完成动态避障多场景评估实验，验证算法的避障性能；通过控制变量法完成 5 组核心超参数的对比实验，分析超参数对训练效果的影响规律；完成两组消融实验，验证目标网络机制与多维度奖励函数设计的必要性，为算法优化提供依据。
(4)完成动态避障系统的前后端工程开发。基于 FastAPI 框架开发后端服务，封装算法训练、评估、结果读取的核心接口，通过 Pydantic 实现前后端数据契约的统一；基于 Vue3 框架开发前端可视化平台，设计实验总览、倒立摆验证、参数分析、动态避障、避障演示 5 个核心页面，实现训练曲线、评估指标、避障轨迹动画的直观可视化展示。
(5)完成系统的性能测试与优化。在普通家用 CPU 环境中完成系统的全流程性能测试，优化训练与推理效率，保证系统的训练耗时、接口响应速度、动画播放流畅度均达到实际使用要求，最终实现系统的零硬件门槛运行。

强化学习基础概念
强化学习是一类通过智能体与环境的持续交互实现自主决策的机器学习方法，其核心逻辑是智能体在环境中通过不断试错，学习从环境状态到动作的最优映射策略，最终实现长期累积奖励的最大化。该方法无需预先标注的训练数据，仅通过环境反馈的奖励信号调整决策策略，适配移动机器人动态避障这类无固定规则、环境实时变化的决策场景。
强化学习的核心框架由六大基础要素构成，各要素的定义与在课题中的具体应用如下：
（1）智能体（Agent）：智能体是强化学习中的决策主体，负责接收环境的状态信息、输出决策动作。在该课题中，倒立摆任务的智能体为小车摆杆系统的平衡控制器，动态避障任务的智能体为移动机器人，两类智能体的核心任务均是根据环境观测输出最优动作。
（2）环境（Environment）：环境是智能体所处的外部系统，会根据智能体输出的动作完成状态更新，并向智能体反馈对应的奖励信号。在倒立摆任务中，环境为 Gymnasium 构建的 CartPole-v1 小车摆杆物理系统；在动态避障任务中，环境为自主设计的、包含机器人、动态障碍物与目标点的二维仿真场景。
（3）状态（State）：状态是环境在某一时刻的特征快照，是智能体做出决策的核心依据。在倒立摆任务中，单时刻状态由小车位置、小车速度、摆杆角度、摆杆角速度 4 个数值构成；在动态避障任务中，单时刻状态由机器人位姿、目标相对位置、16 线束激光雷达观测数据共同构成。
（4）动作（Action）：动作是智能体基于当前状态做出的决策选择，该课题的两个任务均采用离散动作空间设计。倒立摆任务的动作空间包含 2 个离散动作，分别为向左推动小车、向右推动小车；动态避障任务的动作空间包含 5 个离散动作，分别为直行、原地左转、原地右转、前进左转、前进右转。
（5）奖励（Reward）：奖励是环境对智能体单步动作的反馈信号，以数值形式表征动作的优劣，正奖励代表动作符合预期目标，负奖励代表动作不符合预期。倒立摆任务中，摆杆保持平衡时每一步获得正奖励，摆杆倾倒时获得大额负奖励；动态避障任务中，机器人到达目标点获得大额正奖励，与障碍物发生碰撞获得大额负奖励，同时设置多维度辅助奖惩项引导机器人的运动行为。
（6）马尔可夫决策过程（MDP）：马尔可夫决策过程是强化学习的基础数学模型，其核心假设为 “未来只取决于现在，不取决于过去”，即智能体仅需根据当前时刻的环境状态即可做出最优决策，无需依赖历史所有状态信息。该课题的倒立摆控制与动态避障任务，均满足马尔可夫决策过程的基本假设，可通过强化学习方法实现最优策略的学习。

二、文档介绍

三、项目设计与实现

硬件环境
系统的硬件环境分为训练环境与推理环境两类，具体配置要求与性能参考如下：
环境为DQN模型的训练提供算力支撑，无GPU强制依赖，普通家用笔记本即可完成全流程训练。推荐配置为 Intel Core i5 或 AMD Ryzen 5 及以上处理器，运行内存 8GB 及以上；最低配置为 Intel Core i3 或同等性能处理器，运行内存 4GB 及以上。若本地配备 NVIDIA GPU（显存4GB及以上），可通过CUDA加速模型训练过程，但该配置为非必需选项。

软件环境
系统的软件开发环境分为后端算法开发环境与前端可视化开发环境两部分，具体配置与依赖说明如下：
1.操作系统：系统的开发环境为 Windows 10/11 与 WSL2 Ubuntu 系统，最终运行环境兼容 Windows、Linux、macOS 三大主流操作系统，无操作系统版本强制限制。
2核心开发语言：后端算法与服务开发采用 Python 3.10 及以上版本，前端可视化页面开发采用 TypeScript 语言，适配 Vue 3 框架的开发规范。
3.后端核心依赖库：后端全部依赖库的版本要求与具体作用如表 2-1 所示，所有依赖均可通过 pip 工具一键安装，完全对应项目中 requirements.txt 文件的内容。
动态避障性能指标
动态避障任务是课题的核心研究内容，采用五项核心评价指标，从成功率、安全性、高效性三个维度综合评估避障算法的性能：
1.成功率：指成功到达目标点的场景数量占总评估场景数量的比例，计算公式为：
成功率=成功到达目标的场景数/总评估场景数×100%
该指标数值越高，代表算法的避障与导航能力越强，理想值为100%。
2.碰撞率：指与障碍物发生碰撞的场景数量占总评估场景数量的比例，计算公式为：
碰撞率=发生碰撞的场景数/总评估场景数×100%
该指标数值越低，代表算法的避障安全性越强，理想值为 0%。
3.平均路径长度：指所有成功到达目标的场景中，机器人实际运动轨迹的长度平均值，单位为场景单位。该指标数值越短，代表算法规划的路径越高效。
4.平均回报：指所有评估场景的回合累积奖励平均值，无单位。该指标综合反映了机器人避障安全性、路径效率与目标到达能力，数值越高代表算法的综合性能越好。
5.超时率：指达到最大步数仍未到达目标点的场景数量占总评估场景数量的比例，计算公式为：
超时率=超时未到达的场景数/总评估场景数×100%
该指标与成功率、碰撞率共同表征算法的任务完成能力，理想值为0%。

实验核心目的
本课题设置三大核心实验目的，形成完整的算法验证闭环，与课题研究目标一一对应：
1.验证自主实现的DQN算法的收敛性与稳定性。通过 CartPole-v1 标准倒立摆控制任务，验证从零开发的DQN算法核心模块的有效性，为动态避障任务提供可靠的算法基础。
2.验证动态避障方法的实际避障效果与泛化能力。通过多典型场景的测试，验证自主设计的动态避障环境、离散动作空间、多维度奖励函数的合理性，测试算法在不同复杂动态场景中的避障性能与稳定性。
3.分析核心超参数与关键模块对算法性能的影响。通过控制变量法开展参数对比实验，明确核心超参数对训练效果的影响规律；通过消融实验，验证课题核心设计模块的必要性，为算法优化提供数据支撑。
各模块核心职责：
1.算法核心模块：负责 DQN 算法的网络定义、训练、推理等核心逻辑
2.数据管理模块：负责配置管理、数据存储、结果服务等
3.可视化展示模块：负责后端 API 服务和前端页面展示
系统完整运行数据流如图所示，从训练执行到可视化展示形成完整的数据闭环，各环节数据流转清晰、无冗余处理。

总结
针对传统移动机器人避障方法在动态未知场景中适应性不足、深度 Q 网络算法在本科教学与毕设应用中缺少完整训练 - 演示闭环的问题，本课题围绕基于 DQN 的移动机器人动态避障方法展开了完整的研究与工程实现。课题从零完成了 DQN 算法的模块化开发，自主设计了适配算法离散动作特性的动态避障仿真环境、多维度复合奖励函数，通过标准倒立摆任务完成了算法收敛性与稳定性验证，最终训练的模型在 5 类典型动态场景中实现了 100% 的避障成功率与零碰撞的优异性能。同时，课题完成了低门槛可视化系统的全栈开发，搭建了算法核心、数据管理、可视化展示三层模块化架构，实现了算法训练、多场景评估、避障动画演示的完整闭环，系统可在普通家用 CPU 环境下流畅运行，完全适配本科教学实验与毕业设计答辩的实际需求。