机器人技术的增强现实：综述

扎娜特·马哈塔耶娃和侯赛因·阿塔坎·瓦罗尔*

1. 引言

增强现实 (AR) 在过去几十年中已成为一个流行的多学科研究领域。它已被用于不同的应用中，以增强来自信息系统的视觉反馈。更快的计算机、先进的相机和新颖的算法进一步激励研究人员扩展 AR 的应用领域。此外，工业4.0 范式推动了增强现在互联物理系统网络和人机通信 [1] 中的应用。与此同时，机器人正日益普及于日常生活中，将其在工业领域的传统应用扩展到康复机器人、社交机器人、移动/空中机器人以及多智能体机器人系统 [2,3] 等其他领域。在机器人技术中，增强现实作为与自主系统进行交互和信息交换的新媒介，提升了人机交互 (HRI) 的效率。

阿祖马提出的增强现实最常见的定义[4]指出，增强现实中“3D虚拟物体实时地融入3D真实环境中”。将近二十年前，阿祖马认为技术局限性，即传感错误和配准问题，是增强现实技术的主要挑战[4,5]。此外，作者列举了增强现实的潜在研究领域，包括医学、机器人运动规划、维护和飞机导航。当时比较了两种采用光学和视频方法的AR显示设备，但它们仍然容易出错，阻碍了有效的增强现实系统的开发。在当时，基于标记的用户位置跟踪是增强现实中的常用技术[6,7]。自那时以来，关于运动跟踪（例如机械式、惯性式）已开展了大量工作。

声学、磁学、光学和无线电/微波传感）被用于增强现实中的导航、物体检测/识别/操作、仪器跟踪和虚拟形象动画[8]。

周等人总结了接下来十年中关于增强现实显示器、跟踪和交互技术的进一步研究工作[9]。该调查分析了1998年至2007年间国际混合与增强现实研讨会（ISMAR）会议录中的276项工作。根据这项工作，研究人员的主要关注点集中在基于视觉的跟踪、相机定位、配准方法和显示技术。

近年来，已有多篇关于增强现实的综述文章发表。王等人 [10] 探讨了增强现实在工业装配中的应用。过去由于易出错的相机定位导致的增强现实问题，已通过计算机视觉领域引入的基于视觉的映射技术得到部分解决。涵盖该活跃研究领域的进一步发展，一篇关于最先进技术的全面综述发表于 [11]。另一篇综述介绍了增强现实中使用的位姿估计算法，发表于 [12]。得益于跟踪与定位技术的进步，大量新型增强现实应用涌现。梅克尼和勒缪 [13] 概述了增强现实在医学、军事、制造业、游戏、可视化、机器人技术、营销、旅游、教育、路径规划、地理空间和土木工程中的应用。在外科手术领域，尼古洛等人 [14] 综述了增强现实在微创手术中的应用，特别关注腹腔镜外科肿瘤学。倪等人 [15] 总结了工业环境中设计与制造的增强现实应用。查佐普洛斯等人 [16] 对移动增强现实的研究与开发进行了调研。

我们的文献检索揭示了增强现实在机器人学中的兴起。过去五年中，关于机器人辅助手术 (RAS)、机器人遥操作、机器人编程和人机交互的研究工作大量发表。然而，目前尚无系统性综述对机器人领域的增强现实最新研究进行总结。在本综述中，我们对会议论文集、期刊和专利中提出的约 100项机器人中的增强现实应用进行了分类综述。我们将所考察的增强现实应用分为四大类：（1）医疗机器人，（2）机器人运动规划与控制，（3）人机交互，以及（4）群体机器人。我们讨论了每类中增强现实应用的贡献，以及相关的技术局限性和未来研究方向。我们希望本综述能够帮助增强现实领域的研究人员和实践者：（1）清晰了解增强现实在机器人学中的当前状态；（2）理解机器人领域中增强现实研究的主要局限性和未来研究方向。

本文的其余部分组织如下：第2节介绍了增强现实的简要历史。第3节回顾了增强现实硬件和软件以及常见增强现实平台。接着，第4节概述了基于增强现实的应用在四个机器人技术领域的开发情况：第4.1节为医疗机器人，第4.2节为机器人控制与规划，第4.3节为人机交互，第4.4节为群体机器人。第 5节得出了结论并指出了未来研究的方向。

2. 增强现实简史

增强现实（AR）的历史可以追溯到20世纪60年代虚拟现实的发明时期，当时萨瑟兰提出了“终极显示”的概念，旨在模拟一个类似于真实世界的合成环境。这一概念包含三个组成部分：1）具备声音和触觉反馈的头戴式显示器（HMD），用于创建逼真的虚拟环境（VE）；2）用户在虚拟环境中与虚拟物体进行交互，就像在真实环境中一样；3）用于创建虚拟环境的计算机硬件。萨瑟兰曾这样描述虚拟现实：“通过适当的编程，这样的显示设备 literally 可以成为爱丽丝走进的仙境”。在麻省理工学院（MIT）林肯实验室，作者对首批具备增强/虚拟现实功能的头戴式显示器进行了各种实验，其中一种设备在文献中被称为“达摩克利斯之剑”。这项发明以其庞大的体积为特征，未使用相机，而是采用了计算机，因此整个系统被连接在天花板上。术语“虚拟现实”首次由计算机科学家杰伦·拉尼尔提出，他于1984年创立了首家开发虚拟现实产品的公司（“VLP研究公司”）。该公司推出了虚拟现实护目镜 [19],操纵杆、数据手套和“Bird 3D”电磁追踪器[20],虚拟现实触觉技术面向市场发展的关键组1件99。2年，位于美国德克萨斯州阿灵顿的阿姆斯特朗实验室发明了被称为虚拟固定装置系统[21]的AR系统。该系统向用户呈现了一种融合视觉、声音和触觉特征的混合现实 (MR)。在另一项研究中， Rosenberg[22]描述了虚拟固定装置界面和叠加感官反馈在遥操作机器人中的优势。该方法在海军海洋系统中心开发的插孔任务上得到了验证，证明其能够提高机器人远程控制的质量和效率，该任务是远程操作操控的一个示例。这项研究表明，在机器人操作任务中，当为操作员提供将虚拟物体增强到用户直接视野中的视觉提示时，操作员表现可得到显著改善。

后来，米尔格拉姆和岸野[23]提出了“虚实连续体”概念，建立了真实世界与完全虚拟世界之间的联系（图1）。米尔格拉姆尺度的一端代表真实环境，另一端代表虚拟环境，而两者之间的所有状态则由新提出的概念——混合现实（MR）来描述。根据米尔格拉姆的图示，混合现实中包含两个广泛领域：增强现实（AR）和增强虚拟性（AV）。然而，这种将真实环境与计算机生成环境结合的媒介逐渐更多地被称为增强现实（AR），而非混合现实（MR）。

）)

在增强现实的发展历史中，一个主要问题涉及如何准确定位用户在3D环境中的位置，这对于在增强现实设备中实现用户视野的增强至关重要。为解决机器人技术中的这一问题，提出了不同的方法，例如达兰特‐怀特和贝利在其研究[24]中描述的同步定位与建图（SLAM）。借助SLAM，移动机器人能够在未知环境中创建地图，并同时确定其在该生成的地图中的位置。

在文献中，“增强现实”这一术语的使用频率高于“混合现实”。根据Scopus数据库1994年至 2019年间收录的论文数量，混合现实（MR）的使用远少于增强现实（AR）和虚拟现实（VR）（见 图2）。该图还显示了从2015年至2019年增强现实术语日益增长的流行度（论文数量从2015年的约 4000篇增至2019年的8000篇）。我们可以预见，在不久的将来，人机交互（HCI）、人‐机器人交互 （HRI）以及人类彼此之间的交互方式可能会因增强现实而发生重大变革。人类生活的各个方面也可能经历显著变化，包括工程、医学、教育、社会科学/自然科学、心理学、艺术和人文学科。

、增强现实 (AR) 和虚拟现实 (VR) 关键词的历史趋势)

3. 增强现实技术

增强环境可以通过不同的技术设备来体验，包括移动显示器（平板电脑和智能手机屏幕）、计算机显示器、头戴式显示器 (HMDs) 以及投影系统，这些进一步推动了空间增强现实 (SAR) 的发展 （图3）。近年来的技术进步提高了增强现实在公众中的普及度。例如，2016年发布的精灵宝可梦 GO游戏使智能手机用户能够在世界各地的不同地点看到增强环境，并在全球范围内进行游戏。随后， Rapp 等人 [25]开发了另一款基于位置的增强现实游戏。在该游戏中，用户可以使用智能手机扫描快速响应 (QR) 二维码，获取全球传播的病毒的视觉图像和描述信息。基于精灵宝可梦GO的成功，可以预见增强现实将改变人类对游戏的认知。此外，增强现实还支持开发动态游戏，让用户在真实环境中行走，通过智能手机不仅获得娱乐，还能获取有用信息，例如如何更好地关注自身健康。

最近推出的增强现实护目镜（例如，微软HoloLens和谷歌眼镜）实现了人类与自主系统之间更高效的交互。在医学领域，手术机器人中的可视化工具已适应于机器人辅助手术 (RAS) 期间使用增强现实技术。例如，达芬奇机器人系统（直观外科公司，加利福尼亚州山景城）[26]能够在手术期间将立体腹腔镜视频渲染到机器人的控制台窗口。

在针对不同增强现实显示器的增强现实应用开发的软件平台方面，已取得显著进展。2013年， Vuforia引擎[27]被引入机器人技术领域。社区作为增强现实中基于图像或模型的感兴趣物体跟踪的框架。Vuforia 可与外部传感器设备（如陀螺仪和加速度计）集成[28]。随后在2017年，苹果公司推出了 ARKit 库[29]，该库在开发工业增强现实应用方面变得流行。在接下来的一年，谷歌发布了 ARCore[30],，这是一个为安卓创建增强现实应用的强大平台。

除了SLAM之外，[31]中还开发了一种异步定位与建图方法。据作者称，由于该技术具有较高的计算和能效，因此对于使用大量移动机器人的系统可能具有优势。Balachandreswaranetal. [32] 提出了一项针对增强现实和虚拟现实（VR）中建图与定位问题的另一项工作。所提出的方法特别为利用头戴式显示器（HMDs）的应用而设计，并依赖于至少一个深度相机的深度数据。

关于基于计算机视觉的3D物体位姿估计技术，[33]中提出了一种深度学习 (DL) 方法。该方法通过使用在被跟踪物体的合成图像上训练的深度卷积神经网络，来实现对场景中3D真实世界物体的跟踪。网络输出物体位置的变化，共使用六个变量，其中前三个描述物体平移，后三个表示以欧拉角表达的物体旋转。结合深度学习，增强现实可用于物体检测，如朴等人 [34] 所实现的。此外，研究人员开发了Deep‐ChildAR系统，以帮助学龄前儿童学习各种物体。该机器人系统包含一个DL框架，用于识别真实场景中的物体，以及一个基于投影的增强现实系统，形成用户友好界面，为儿童提供所选物体的描述。

尽管早期使用显示器进行增强现实，但当前人机交互趋势将更紧凑的头戴式显示器作为增强现实的主要媒介。这种转变是由于嵌入式系统、光学以及定位与配准算法的进步所致。此外，头戴式显示器允许用户以更自然的方式与周围世界和机器人设备进行交互。另一方面，平板电脑和智能手机屏幕在远程操作和仿真任务中非常有用，因为这些设备可以连接到独立处理器进行计算。因此，基于平板电脑和屏幕的增强现实具有较低的延迟问题，但对设备间的校准更为敏感。智能护目镜可以从不同的内置传感器收集数据，因此能够实现对虚拟物体更精确的定位，从而提升质量增强效果。通常，头戴式显示器的设计使得用户佩戴正常光学眼镜时仍可自由走动。然而，与个人计算机相比，头戴式显示器的处理器性能较弱。因此，基于头戴式显示器的增强现实应用存在延迟问题，即头戴式显示器需要一定时间完成计算并将增强图像呈现给用户。

下文将介绍不同类型的头戴式显示器（HMD），它们可分为两大类：（1）光学透视头戴式显示器（OST‐HMD）[35]和（2）视频透视头戴式显示器（VST‐HMD）[36]。在增强现实研究中常用的光学透视头戴式显示器包括微软的Hololens、NVIS公司的nVisor ST60、VuzixTM Star 1200XL、 谷歌眼镜、Atheer OneSmart眼镜、Recon Jet眼镜，以及配备ZED Mini AR立体视频穿透摄像头的 HTC Vive头戴式显示器。此外还有单目增强现实眼镜，例如Vuzix M100智能眼镜，这类眼镜采用光学显示模块。视频透视头戴式显示器（VST‐HMD）在文献中常见的有i‐Glasses SVGA Pro[37]。最近还出现了一类使用微型投影仪的增强现实眼镜，例如Moverio BT‐200智能眼镜，其通过两个投影仪将图像投射到每只眼睛的透明显示屏上。

除了商用头戴式显示器外，定制AR系统也通过结合不同设备（例如视频混合器（松下）、树莓派相机远程视频流和动作捕捉系统）开发出来。用于增强现实的流行动作捕捉系统包括Mictron Tracker和ARTTrack 3D。此外，增强现实研究中使用了多种类型的摄像头，如RGB‐D、双目、立体、深度、红外、单目、针孔、广角和全向摄像头。在定制系统中，VR头显（Oculus Rift和 Oculus DK2）也被改装为AR显示设备[38–41]。

此外，空间增强现实在研究环境中获得了广泛关注。李和张 [42]描述了一种为集成到SAR中而开发的新型目标跟踪方法。该方法利用两个线程：一个用于目标跟踪，另一个用于物体检测。由于物体放置在被跟踪物体与相机之间所导致的光照变化和遮挡，该方法具有较强的鲁棒性。开发基于 SAR的应用的主要组件是相机‐投影仪系统。根据我们的文献检索，二维增强现实投影仪InFocus IN116A和飞利浦 PicoPix 3610被频繁使用。大多数增强现实应用采用基于相机的配准方法，其中标记起着重要作用。增强现实中常用的标记包括二维码、基准标记、红外标记和物体标记。

过去五年中，技术进步为增强现实的发展做出了巨大贡献，但仍需进一步研究。即使是功能强大的头戴式显示器（如微软HoloLens）也存在技术局限性，例如视场角较小和相机分辨率较低。此外，由于头戴式显示器光学系统的限制，用户只能在距物体特定的最小距离之外体验增强世界。另外，配准与跟踪问题仍然普遍存在。例如，当标记或被跟踪物体被遮挡时，真实世界与虚拟组件之间的对齐将不再准确。在许多应用中，例如机器人编程或机器人辅助手术，精度是增强现实的关键性能指标。

4. 机器人中的增强现实应用

4.1. 医疗机器人中的增强现实

在本节中，我们回顾了2015年至2019年五年期间医疗机器人领域开发的增强现实应用。我们将涵盖基于增强现实的机器人辅助手术（RAS）、手术培训平台和康复系统。在本文的这一部分中，我们通过两种检索策略的并集从Scopus数据库中收集了26篇论文：（1）标题中的关键词（“ augmented‐reality‐based” OR “augmented‐reality” OR “augmented reality”）AND（“ robot‐assisted” OR “robotic rehabilitation” OR “robotic surgery” OR “robotic assisted” OR “robot‐assisted” OR “robotics prosthesis” OR “robotic prosthesis”）；（2）标题和关键词部分中的关键词：“augmented‐reality‐based” OR “augmented‐reality” OR “augmented reality”）AND（“robotic surgery” OR “robotic imaging” OR “medical robotics”）。随后，我们排除了综述论文、非英文论文以及不符合本工作范围的论文。此外，我们还通过交叉引用先前考虑的文献找到了其他论文。在选定的论文中，有十项工作被纳入表1的分析。

黛安娜和马雷斯科[43]对基于增强现实的机器人手术平台进行了综述，讨论了计算机辅助手术期间的安全性和效率问题。在[44],中，增强现实技术被用于医学住院医师进行机器人辅助尿道膀胱吻合术的培训。在[45],中，SAR技术被嵌入到移动机器人中，用于机器人辅助康复。该康复框架包含一个投影模块，可在真实世界物体之上渲染虚拟图像。随后，奥坎波和塔瓦科利[46]开发了一种集成了触觉接口的增强现实框架，其中使用了SAR技术和二维投影显示。该系统旨在使整体康复过程更有效、更快速，并减少患者在康复期间的认知负荷。

Pessaux 等人[47]开发了一种结合增强现实技术的可视化系统，用于机器人辅助肝段切除术。该系统可帮助外科医生在手术期间精确且安全地识别几乎所有重要的血管结构。刘等人[48]提出了一种基于增强现实的导航系统，以协助外科医生在经口机器人手术期间进行舌根肿瘤切除术。借助增强现实视觉模块，达芬奇外科手术机器人能够实时识别肿瘤位置，并根据叠加在其立体视图中的指导信息调整切除区域。正如 Navab 等人[49],所指出，基于增强现实的视觉工具与术中机器人成像相结合，可提高计算机辅助手术的效率。

一种兼容增强现实的培训系统，用于协助泌尿科住院医师植入可膨胀阴茎假体，该系统在[50]中被描述。林等人[51],开发了一种用于机器人辅助手术的基于增强现实的视觉系统，其中在颅颌面外科手术的自动导航平台中使用了三维AR显示设备。王等人[52]描述了一种用于口腔颌面外科手术的增强现实导航系统。该框架采用了一种新颖的无标记视频透视法进行配准，能够实时对齐虚拟与真实物体，因此用户无需手动对齐。随后，周等人[53]开发了一种增强现实平台，用于在外科医生进行机器人下颌整形手术期间提供辅助。该框架生成导航指南，并为术前手术计划准备视觉指令。通过此类系统，经验不足的用户在操作过程中有更多机会做出正确决策。例如，在实验过程中，该框架提供的力反馈有助于新手用户控制高速钻头，防止其意外损伤骨或神经组织。

博斯蒂克等人 [54]创建了一个基于增强现实的控制框架，用于向假肢装置发送操作信号。该系统利用一种算法来识别物体，并向上肢假体发送相应的抓取指令。钱等人 [55]提到了名为“ ARssist”的基于增强现实的框架，该框架包含远程操作机器人辅助模块和触觉反馈界面。它可以在微创手术期间生成视觉指令。该系统将内窥镜、所用器械和手持工具的三维模型实时渲染到外科医生视野中（图 4a）。此外，借助投影仪‐相机技术的增强现实辅助手术也正在兴起 [55]。在 [56],一项研究中，AR系统被用于在泌尿外科机器人辅助手术“根治性前列腺切除术”期间渲染操作区域。在 [57],一篇综述中，概述了针对腹腔内微创手术中外科增强现实问题的相关文献。在 [58],一项研究中，总结了神经外科中使用的不同机器人系统以及增强现实/虚拟现实技术。例如，在脊柱神经外科中，作者提到了用于螺钉置入的机器人辅助平台，如Spine Assist、Renaissance和达芬奇手术系统。作者指出，尽管增强现实/虚拟现在神经外科中仍存在局限性，但增强现实/虚拟现实增强培训系统和仿真平台在改善外科医生培训过程方面具有巨大潜力。后续在 [59]中描述了经验丰富的和缺乏经验的外科医生在手术场景中使用该增强现实辅助系统的初步研究（图 4b,c）。通过对25名缺乏经验的外科医生记录结果的分析，作者指出，增强现实辅助有助于提高手术效率、改善患者安全、增强手眼协调能力，并减少外科医生进行工具操作所需的时间。根据汉娜等人 [60],的说法，集成增强现实平台可用于检测和诊断解剖病理。

Quero 等人提出了一项近期工作 [61]，讨论了用于在机器人辅助手术（RAS）中实现更高精度和精度的增强现实与虚拟现实导航框架，特别是在肿瘤肝胆外科手术中的应用。这项工作强调了成像和 三维可视化如何改善外科医生在 RAS 中对操作区域的感知。这些作者还开发了一个基于增强现实的平台，旨在为佩戴头戴式显示器的外科医生实时提供操作区域的“X 光透视视觉” [62]。该系统在微创腹腔镜手术期间的可变形体模上进行了测试。研究发现，由于操作区域由软组织构成，该系统容易产生配准误差。

在机器人手术平台中，达芬奇外科手术机器人是机器人辅助手术（RAS）中最广泛使用的机器人系统。此外，达芬奇系统的控制台显示可被适配以支持手术期间的增强现实技术，从而无需额外的显示器来支持手术中的增强现实。钱等人 (2019b) 综述了增强现实集成于机器人辅助手术（RAS）领域的最新进展。[63]表1总结了近五年内在医疗机器人领域开发的增强现实应用简要概述，以及创建增强现实设置所使用的技术、测试的机器人系统和观察到的整体局限性。1。

根据我们的文献调查，我们预见增强现实有可能引发手术领域的范式转变，从而改善手术期间和术后的结果。另一方面，这可能会给新的医学住院医师和外科医生的培训带来新的挑战，而他们本可以从增强现实增强的可视化和导航工具中受益。在增强现实在医学和康复领域得到进一步应用之前，还应克服当前系统的技术局限性。这些局限性包括延迟、校准和配准误差。

4.2. 增强现实在机器人控制与规划中的应用

本类别的增强现实应用主要关注机器人技术的控制与规划领域。为了找到本节相关的论文，我们通过两种检索策略的并集从Scopus数据库中收集了49篇论文：（1）标题中的关键词（“基于增强现实的” OR “AR辅助的” OR “增强现实”）AND（“机器人导航” OR “机器人控制” OR “机器人定位” OR “机器人可视化” OR “自动规划” OR “机器人控制” OR “机器人编程”）； （2）标题和“关键词部分”均包含的关键词：“基于增强现实的” OR “AR辅助的” OR “增强现实”）AND（“机器人编程”）。我们未考虑非英文论文。

综述论文、重复早期工作的论文以及无关的论文。其他论文通过交叉引用策略添加到列表中。在选定的论文中，有16篇被纳入表2的分析。

Gacem 等人[64]提出了一种增强现实集成系统“投影增强臂 (PAA)”，该系统将投影技术与电动机械臂相结合，以协助人类用户在密集环境中定位和寻找物体。在[65],中，一台红外相机被集成到移动机器人中，通过利用投影SAR技术来增强自主机器人导航。借助该框架，移动机器人能够通过接收以投影红外信号形式提供的图形反馈，沿复杂路径行进。Dias 等人[66]的研究中描述了类似的增强现实集成移动机器人导航系统。该系统采用由非中心折反射相机组成的可视化框架，以及一种能够根据相机数据确定机器人位置的算法。该折反射光学系统通过中心投影和单一视点，利用相机镜头和镜子实现了宽视场。

在[67],具备增强现实功能的工业机器人程序员被要求完成工具中心点示教、轨迹示教和重叠示教任务。该研究中使用的评估指标包括工作执行效率、完成任务所花费的总时间以及机器人程序员所承受的心理负荷量。观察到以下趋势：（1）增强现实辅助用户所承受的心理负荷明显低于未使用增强现实辅助完成任务的用户；（2）对于无经验的增强现实用户而言，使用增强现实支持完成任务所需的时间显著更长。因此可以看出，增强现实技术有潜力降低工业工人的心理负荷；然而，工人需要一定的时间和培训来初步适应AR系统。在[38],增强现实在遥操作维修机器人的远程控制模块中得到应用。在该系统中，手持式操作器通过无线方式向实际维修机器人发送控制信号和操作指令（图6a）。采用光学跟踪系统识别手持式操作器的位置，并在增强现实环境中为维修操作员正确放置生成的增强场景。

在[68],增强现实被用于结构检测中空中机器人的实时控制。在[69],增强现实结合触觉反馈被应用于配备伽马射线探测器的无人机（UAV）的远程操作过程中。借助由三自由度触觉装置、固定摄像头、计算机屏幕和核辐射探测器组成的系统，操作员能够在无人机搜寻核辐射源的过程中远程控制无人机 （图6b）。随后，Kundu等人[70]将AR界面与全向机器人集成，用于轮椅在室内导航过程中的基于视觉的定位。如Zhu和Veloso所示[71],，可以通过具备增强现实功能的界面与智能飞行机器人进行交互，该机器人能够实时生成路径并通过该界面执行规划动作。该界面可以录制机器人的运动视频，并将录制的视频与合成数据叠加，使人类操作员能够研究机器人在飞行过程中所使用的算法。

来自AR仿真环境中的虚拟机器人的信息被用于生成对真实机器人的运动指令[72]。所提出的框架能够仿真抓取放置任务，其中目标物体被放置到计算机数控（CNC）铣床中（图 6c）。李等人 [73]在其工作中表明，当无法使用纯基于运动学的方法计算相机位置时，可借助SAR技术估计AR相机相对于机器人连杆的位置。在另一项应用中，AR平台生成机器人状态和导航指令，并通过AR显示设备发送给人类操作员 [74]。古尔等人 [75]开发了一种AR界面，可在工业环境中建立设备与人类之间的通信。文献 [76]中提出了一种利用模糊认知图优化算法实现移动机器人实时控制的AR系统。在实验期间，该机器人能够根据由符号和路径组成的AR指令调整其预期运动。文献[77]中介绍了一种包含 AR支持的视觉系统和触觉反馈技术的实验装置，用于焊接机器人的远程控制。

基于增强现实的维护机器人远程操作 [38], (b) 在计算机屏幕上基于增强现实的视觉反馈 [69],(c) 使用机器人的三维CAD模型和示教器在增强现实中进行虚拟规划 [72])

刘等人 [78]将增强现实界面与时序与或图（T‐AOG）算法相结合，为机器人程序员提供有关机器人隐状态的信息（例如交互期间的潜在力）。在 [79],中，使用增强现实界面通过增强轨迹的方法对一个七自由度（DoF）机械臂进行编程。该框架能够在仿真环境中执行轨迹生成、运动规划、参数识别和任务执行。在 [80],中描述了一种基于谷歌Tango增强现实计算平台开发的机器人编程助手框架。该AR系统在远程编程两台库卡轻型机器人期间进行了测试。在研究过程中，要求人类操作员修改机器人的关节构型、更改工具中心点的坐标、控制夹爪以及在不同的控制模式之间切换。随后，霍夫曼和戴利 [81]提出了一种增强现实框架，用于将以二维指令的形式在增强现实屏幕上显示来自三维仿真环境的信息。该系统记录来自二维相机和三维传感器的数据，以便将虚拟数据叠加到真实世界环境中的三维物体上。在 [82]中，增强现实与触觉反馈技术相集成。该系统旨在为人类操作员在工业机器人编程和轨迹生成期间提供实时辅助。所开发的界面通过使用手势与AR界面进行交互，使得在与工业机器人协作工作期间实现了更自然和高效的通信。

穆尔齐斯 [83] 发表了近期关于制造业仿真与设计平台最新技术的综述。此外，穆尔齐斯和佐戈普洛斯 [84] 在其研究中探讨了基于增强现实的界面以支持装配过程。在造纸工业的仓库设计中集成增强现实的应用在 [85] 中进行了描述。[86] 描述了一种用于工业机器人编程的基于增强现实的框架。研究发现，此类应用可显著简化机器人编程和运动规划过程，减少对人类操作员进行大量培训的需求。

翁等人 [87] 提出了一种在机器人焊接过程中提供辅助的AR界面。阿瓦莱等人 [88] 开发了另一种用于焊接机器人的增强现实编程框架。该工具帮助新用户在不具备机器人技术专业知识的情况下完成复杂焊接任务。宫等人 [89] 的研究中使用基于投影的增强现实为人类操作员在机器人拾取与放置任务中提供辅助。这种界面通过在真实环境中进行基于机器人的物体操作时提供视觉反馈，降低了参与机器人抓取操作的操作员的认知负荷。

将增强现实技术集成到工业机器人编程、最优路径生成以及部分生产过程的整体设计中，已成为工业领域的常用技术。在为创建增强现实环境而开发的众多平台中，Unity游戏开发平台是最广泛使用的框架。增强现实环境能够映射虚拟与真实机器人，并借助虚拟机器人预测真实机器人的运动。此外，在某些应用中，增强现实为工业机器人的人类程序员提供指导，使人类操作员能够轻松适应新型机器人系统的编程。在表2中，我们对本节介绍的增强现实应用进行了简要总结，包括用于创建增强现实环境的所用技术、机器人平台以及所开发的增强现实系统观察到的局限性。

从现有研究可知，将增强现实技术集成到仿真过程中，可降低人类操作员的认知负荷，从而实现更高效的制造业生产。此外，在工业4.0时代，增强现实技术将成为制造业中人机协作的新媒介。本节分析的已开发应用和研究表明，增强现实在促进行业中人类与技术交互方面具有巨大潜力。然而，制造业、装配和生产领域专业人员的培训需要进行相应变革，以便通过增强现实辅助提高效率，并实现无缝采用。

机器人技术的增强现实：综述

扎娜特·马哈塔耶娃和侯赛因·阿塔坎·瓦罗尔*

4.3. 增强现实用于人机交互

在所考虑的五年期间，为增强人类在与机器人系统或可穿戴设备交互期间的人机交互体验，已开发出增强现实的广泛应用。本节分析的论文采用以下方法选取：首先，我们收集了44篇论文。通过以下两种检索策略在Scopus数据库中进行检索：（1）标题中的关键词：“增强现实” AND （“人机协作” OR “远程协作” OR “可穿戴机器人” OR “远程控制” OR “人机交互” OR “人机交互” OR “机器人遥操作” OR “假体” OR “脑机接口”）；（2）标题和关键词部分均包含的关键词：“增强现实”以及（“增强现实” AND “人机交互”）。随后，我们剔除了综述类论文、非英文论文以及与本主题无关的论文。此外，还纳入了通过交叉引用发现的、且符合本综述范围的论文。如表3所示，共有19篇论文被选中用于详细分析。

借助增强现实技术，Gurevich 等人[90]展示了在主管与本地用户之间建立远程协作工作流程的可能性。在该系统中，一个基于增强现实的投影仪被放置在移动机器人顶部，能够以不占用用户双手的方式传递信息，使其可以自由地遵循远程提供的指令。另一个基于增强现实的无接触交互系统允许用户通过手/脚手势与增强现实环境进行交互[91]。Clemente 等人的研究[92],设计了一种基于增强现实的视觉系统，在物体操作过程中向机器人系统的感觉运动控制模块提供反馈。该系统利用了两种可穿戴设备：触觉数据手套和MR护目镜，以促进用户在与机械手进行远程协作工作期间的交互。

宫等人 [93] 开发了一种基于增强现实的远程控制系统，用于与“IWI”人形警用机器人交通警察进行实时通信。为了实现实时视频监控，该警用机器人内置了“Raspberry Pi”相机模块。该相机使人类操作员能够根据传输到增强现实护目镜或平板显示器的信息向机器人发送远程控制命令。

Piumatti 等人 [94] 创建了一款集成空间增强现实 (SAR) 技术的基于云的机器人游戏。该游戏包含多个模块，用于设置游戏逻辑、声音、图形、人工智能和玩家追踪，以开发并整合适当的增强现实投影，提升游戏体验。Dinh 等人 [95] 利用增强现实技术辅助人类操作员操作半自动封箱机器人。该系统采用空间增强现实和“Epson Moverio BT‐200”增强现实护目镜，在封箱表面生成视觉指令。林等人 [96] 将增强现实技术集成到由轮椅安装式机器人操作器组成的机器人遥操作系统中。增强现实被用于远程重建工作区域的三维场景，并生成特定场景，随后将其叠加到用户视野中，以操控虚拟机械臂。最后，基于增强现实的控制模块将施加于虚拟物体上的手势转换为对机械臂的控制命令。

舍乔尔丁等人 [97]提出了一种增强现实框架，用于通过集成惯性测量单元（IMU）的头戴式显示器（HMD）控制远程呈现机器人。该系统利用自适应算法处理IMU测量值，并推断出由用户头部运动引起的运动模式（例如角速度的方向和大小）。开发了一种基于增强现实的视觉系统，用于构建可重构模块化机器人的运动学模型，见 [98]。每个机器人模块都贴有带唯一标识符的增强现实标签。通过这种方式，获取了每个连杆的状态，并计算了模块间的距离和关节角度。穆尔齐斯等人 [99]利用基于云的远程通信，在增强现实环境中建立了专家与远程辅助维修人员之间的交互（图 8a）

最近，马哈塔耶娃等人 [100]开发了一种基于增强现实的可视化框架，旨在通过在增强现实护目镜中为运行中的机器人周围添加光环来提高操作员对危险的认知（图 8c,d）。该工作引入了安全光环的概念，该概念基于距离和速度的安全度量而建立。增强现实还可用于在人机通信期间传递机器人运动意图。例如，沃克等人 [101]开发了一种基于增强现实的通信框架，用于在AscTec蜂鸟沿预定义轨迹自主飞行期间与其进行交互。在后续工作中，沃克等人 [102]提出了一种AR界面，该界面利用机器人的虚拟模型，使得用户在向真实机器人发送遥操作指令之前，可以先研究虚拟机器人的运动情况。该界面已在

用于远程维护的增强现实硬件设置 [99],(b) 用于3D打印的 RoMA设置[40],(c) 用于可视化机器人周围安全区和危险区的人机交互设置，d) 机器人周围的 安全光环可视化 [100])

用于空中机器人遥操作场景的设计，以采集和处理环境数据。在[103],增强现实被嵌入到远程操作的空中机器人（Parrot Bebop 四旋翼无人机）的控制界面中，该机器人被编程用于在环境检测期间进行数据采集。在[104],提出了一种新颖的遥操作员界面，用于远程控制机器人机械臂执行核废料清理任务。该界面可通过配备触觉反馈的多模态增强现实技术提升人类操作员的操作性能。机器人操作系统（ROS）被用作数据共享和系统集成的主要平台。Brizzi 等人[39]提出了一种基于增强现实视觉反馈的机器人遥操作示例。作者通过实验讨论了增强现在如何基于Baxter机器人在工业装配场景中的遥操作来改善人机交互中的具身感。

在可穿戴机器人技术领域，He等人[105]开发了一种增强现实模拟系统，为患者提供了佩戴肌电虚拟假手的真实体验。该框架包括一个AR显示设备、用于将假肢装置的虚拟图像与人手对齐的姿态估计模块，以及一个允许用户通过从手部记录的肌电信号来控制虚拟假手的反馈系统。Meli等人[106]概述了嵌入触觉反馈和增强现实的机器人框架。这项工作还强调了在增强现实中使用可穿戴手指触觉装置进行机器人操作、引导和游戏的有效性。王等人[107]将脑机接口系统与增强现实视觉反馈相结合，以帮助瘫痪患者控制机械臂进行抓取。该系统在五名受试者身上进行了测试。获得的结果表明，基于增强现实的视觉反馈系统优于标准相机系统（控制时间减少至5秒，夹爪开合误差减少至20%）。Zeng等人[108]将增强现实嵌入到眼动脑机接口系统中，用于机械臂的闭环控制。在实验过程中，八名受试者被要求使用机器人抓取和提起物体。获得的结果如下：与使用无增强现实反馈的视觉系统的试验相比，完成任务所需的触发指令数量减少，提升过程中的错误数量减少了超过50%。

Si‐Mohammed等人[109]引入了一种带有增强现实反馈的脑机接口系统，以简化移动机器人的控制。使用微软HoloLens混合现实眼镜对增强环境进行可视化。

在人机交互领域，Peng 等人[40]开发了一种名为“机器人建模助手 (RoMA)”的基于增强现实的制造框架。通过该框架（图 8b），佩戴增强现实护目镜的用户能够控制由天花板安装的机械臂（ Adept S850，欧姆龙）执行的物体建模和 3D 打印。该框架可通过允许用户与打印物体进行交互并几乎同时做出修改，从而加快设计和 3D 打印过程。Urbani 等人 [110]提出了一种基于增强现实的设备间通信框架，用于监控和调整多功能腕戴式机器人的操作参数（例如状态、形状和位置）。根据 Williams 等人 [111],的说法，第一届“用于人机交互的虚拟、增强和混合现实 (VAM‐HRI)”研讨会汇集了将增强现实、虚拟现实和混合现实集成到不同机器人系统中的研究成果。根据 Sheridan [112],的观点，人机交互中的一个主要开放性问题与人类在与机器人协作工作期间的安全性有关。在 [113]中也探讨了人机交互期间的安全性问题。具体而言，作者提出了虚拟屏障的概念，以在制造环境中保护人类用户在与机器人协作时的安全。此外，增强现实在 [114]中被应用于概念约束下的示教学习。使用该方法，佩戴增强现实护目镜的用户可以看到机器人运动的起始和结束位置，并更直观地定义运动轨迹。

增强现实技术在远程控制和远程呈现方面已逐渐成为人机交互研究的热门方向。此外，基于增强现实的应用的可视化能力提升了其在人机协作任务中的可用性。例如，增强现实在轨迹设计过程中提高了效率，在各类机器人的测试过程中增强了安全性。人机交互应用中的一项关键技术突破是头戴式显示器（如微软HoloLens）的发明。机器人操作系统（ROS）已成为连接增强现实设备与机器人的主流开源平台。表3汇总了约二十种人机交互中的增强现实应用，以及这些应用所采用的技术、测试的机器人系统和观察到的局限性。

根据我们的文献分析，我们注意到增强现实可以显著影响人类对协作工作以及与机器人系统交互的感知。例如，在增强现实的帮助下，交互对人类而言可以变得更加直观和自然。当人类在通信、控制和研究机器人系统期间通过佩戴增强现实护目镜体验增强现实环境时，尤其如此。此外，大量为远程控制和远程操作开发的增强现实应用表明，由于工业4.0的兴起，增强现实技术未来将被广泛使用。然而，增强现实技术仍存在校准问题、光学问题以及定位错误等技术局限性，需要进一步研究，以便人机交互的商业增强现实应用能够从研究转化为市场产品。

4.4. 基于增强现实的群体机器人研究

在本节中，我们考虑了为群体机器人技术开发的增强现实应用。在本节中，我们通过在Scopus数据库的标题和摘要中搜索以下关键词（“增强现实” AND （“机器人集群” OR “群体机器人” OR “Kilobot” OR “群体e‐pucks” OR “生物混合系统”）），找到了九篇论文。我们根据本工作的范围剔除了不相关的论文，并通过交叉引用补充了其他论文。从最终选定的论文列表中，我们进一步选取了七篇用于表4中的分析。

在群体机器人中，增强现实可以通过虚拟感知技术被感知，正如Reina等人所展示的那样。[115]。在他们的工作中，作者提出了一种基于增强现实的虚拟感知框架，该框架包括：（1）一个由机器人组成的集群（15个e‐pucks），每个机器人都嵌入了一个虚拟传感器；（2）一个多摄像头跟踪系统，用于收集真实环境的数据；以及（3）一个模拟器，利用这些数据生成增强数据，并根据嵌入式虚拟传感器的感知范围向每个机器人发送指令（图10a）。借助虚拟感知，可以在增强现实中更有效地研究机器人集群的运动，而在真实环境中微型机器人的感知能力有限。此外，该系统可以帮助研究人员在基于增强现实的合成环境中控制和设计复杂场景下的机器人集群运动。

增强现实还可用于研究生物混合（植物‐机器人）代理群集之间的交互。增强现实被用于可视化生物混合群集所覆盖的空间 [41]。具体而言，该系统展示了随着植物‐机器人系统随时间演化或生长而产生的潜在空间变化。正如 Omidshafiei 等人所展示的 [116],，增强现实被集成到信息物理系统研究中所采用的机器人原型框架中。AR平台通过提供来自系统隐状态的实时视觉反馈，在硬件原型制作和算法测试期间协助用户。

Pinciroli 等人描述了在 ARGoS 仿真环境中对 Kilobot 进行的实验。[117]作者设计了一个插件，用于根据真实机器人场景对在模拟器中开发的应用程序进行交叉编译（图 10d）。Reina 等人在他们的工作中，将增强现实集成到 Kilobot 系统的控制软件中。在所开发的平台中，增强现实与虚拟感知相结合，有助于扩展机器人的操作能力（图10b,c）。这使得它们适用于需要先进传感器和执行器的实验。随后，创建了一个开源平台，用于对大量 Kilobot 进行实验 [119]。该系统的性能在一个实验装置上进行了研究，其中机器人集群被组织执行避障、选址、植物浇水和基于信息素的觅食任务。

在Reina等人最近的[120],工作中，一组Kilobot被编程以在拍摄一部所有演员都是机器人的短片期间执行动作。该工作描述了在拍摄过程中用于机器人集群编程的软件。具体而言，作者编写了一段开源代码，将人工生成的指令转换为C语言代码，随后加载到Kilobot中，使其在真实场景中执行相应的动作。在Llenas等人[121],的工作中，通过观察大规模集群的行为来研究间接通信觅食的概念。在研究过程中，使用了被称为用于千足机器人的增强现实（ARK平台）的主要仿真框架。对集体觅食行为的研究继续[122],，其中研究了约200个Kilobot的行为，这些Kilobot能够获取来自虚拟传感器和执行器的感知数据。ARGoS框架被用作主要实验平台。

群体机器人研究的最新进展是诸如ARK或ARGoS之类的仿真平台。这些仿真平台能够研究集成了虚拟传感器和虚拟执行器的机器人集群的运动。通过这种方式，可利用虚拟传感器增强感知能力有限的微型机器人对环境的感知，使研究人员能够在更复杂的场景中研究其运动。表4列出了在机器人集群研究中开发的增强现实应用、相关技术、机器人系统及其局限性。

在群体机器人研究领域，Scopus数据库收录的1995年至2019年间关于混合现实、增强现实和虚拟现实的论文分布情况如图11所示。从图中可以看出，混合现实、增强现实和虚拟现实技术在群体机器人研究中的整合尚未在文献中得到广泛探讨。然而，在2015年至2019年期间，增强现实和虚拟现实领域的论文数量从5篇上升到约30至35篇。在整个考察时间段内，混合现实领域的论文数量始终少于 5篇。该图的数据通过在Scopus数据库中使用以下关键词检索获得：（1）ALL(“mixed reality” AND NOT “augmented reality” AND (“swarm robotics” OR “robot swarms”))，（2）ALL(“augmented reality” AND NOT “mixed reality” AND (“swarm robotics” OR “robot swarms”))，以及（3）ALL(“virtual reality” AND (“swarm robotics” OR “robot swarms”))。

本次综述概述了在机器人集群中集成增强现实技术的研究尚显不足。然而，增强现实在群体机器人领域的有限引入已经塑造了人类对仿真环境的感知，并显著简化了对机器人群集中集体行为的设计与理解。目前，基于增强现实的仿真平台使科学家能够在实际真实实验之前，在仿真环境中设置涉及数千个微型机器人的实验。尽管迄今为止在此机器人领域内开发的应用还较少，但我们预计，随着增强现实技术的进一步发展，专注于增强现在群体机器人中应用的研究工作数量将显著增加。

5. 结论

在回顾增强现实的历史以及当前的增强现实硬件和软件之后，本研究对2015年至2019年间的机器人技术中的增强现实研究进行了广泛综述。我们涵盖了四个类别的增强现实应用：医疗机器人、机器人控制与规划、人机交互以及机器人集群。丰富的增强现实用例展示了该技术的普遍性及其改善人类生活并产生经济影响的潜力。

增强现实是工业4.0时代的热门技术，在工业过程中，不同的机器人设备可以无线通信，人类可以通过高级可视化感知机器人的状态和执行的操作。鉴于工业机器人领域出现了许多新的增强现实应用，我们预见到人机协作将发生范式转变。预计信息流将主要由机器人主导。可视化显示、先进的摄像头系统、运动跟踪以及计算机视觉领域的新型算法和软件包正在加速这一转变。然而，研究应关注如何防止因过度的增强信息而导致人类认知过载。

尽管可穿戴设备的进步使得增强现实在机器人技术不同领域的集成成为可能，但仍有一些问题需要解决。例如，当前的可穿戴设备视场角有限，在与增强环境中的3D内容交互期间跟踪稳定性较差（特别是在存在遮挡的情况下），且用户界面较为粗糙。尽管增强现实推动了机器人技术的发展，但要将增强现实在实验室之外的机器人系统中应用，仍需进一步研究。为了实际应用的可靠性和鲁棒性，应降低传感元件和配准/跟踪方法的复杂性。此外，还需要精确且半自动化的校准，以实现增强现实在机器人系统中的集成。

机器人技术中增强现实研究的未来研究方向包括以下几点：（1）使用人工智能进行目标定位和配准的新方法。具体而言，在增强期间，先进的跟踪和传感系统应能够自动调整，以便将虚拟对象精确地放置在增强现实环境中；（2）具有宽视场角和高分辨率的显示系统；以及（3）先进的增强现实用户界面和仿真平台，能够将模拟场景精确地融入真实世界环境。

作者贡献： 概念化，H.A.V.；文献检索，Z.M. 和 H.A.V.；项目管理，H.A.V.；指导，H.A.V.；撰写初稿， Z.M.；以及审阅和编辑，Z.M. 和 H.A.V. 所有作者均已阅读并同意该手稿的发表版本。

资助： 本工作由哈萨克斯坦共和国教育和科学部资助的“基于VIA机器人的安全人机交互方法”项目以及纳扎尔巴耶夫大学教师发展计划资助的“基于可变阻抗机器人的硬件和软件安全人机交互方法”项目支持。

Conflicts of Interest: 作者声明不存在利益冲突。资助方在研究的 设计 、发表决策等方面均未发挥作用。

缩写
本手稿中使用了以下缩写： AR 增强现实 BCI 脑机接口 CNC 计算机数控 DL 深度学习 DoF 自由度 HMD 头戴式显示器 HRI 人机交互 MR 混合现实 RAS 机器人辅助手术 ROS 机器人操作系统 SAR 空间增强现实 SLAM SLAM VR 虚拟现实