基于生成对抗网络、采用双尺度自适应高效注意力网络的高精度戴口罩人脸识别模型
点击蓝字
关注我们
关注并星标
从此不迷路
计算机视觉研究院
公众号ID｜计算机视觉研究院
学习群｜扫码在主页获取加入方式
https://pmc.ncbi.nlm.nih.gov/articles/PMC12095821/pdf/41598_2025_Article_2144.pdf
计算机视觉研究院专栏
Column of Computer Vision Institute
戴口罩人脸识别在身份认证中具有重要需求。口罩在公共安全、医疗、教育、餐饮、生产、销售及物流等众多行业与领域被广泛使用。为解决这一问题并实现戴口罩场景下的精准识别与验证，戴口罩人脸识别技术成为一项关键创新。
PART/1
概述
尽管人脸识别是一种普及且低成本的生物特征安全方案，但在准确识别佩戴口罩的人员方面仍面临诸多挑战。因此，亟需一种可靠的戴口罩人脸识别方法。
本研究构建了一种基于深度学习的戴口罩人脸识别框架，旨在出于安全需求精准识别人物身份。首先，从标准数据集中采集输入图像，使用数据库中的戴口罩人脸图像与无口罩人脸图像训练生成对抗网络（GAN）模型。随后，将采集到的输入图像输入GAN模型：
-若输入为戴口罩人脸图像，GAN模型生成无口罩人脸图像，作为特征集1；
-若输入为无口罩图像，GAN模型生成戴口罩人脸图像，作为特征集2；
-若输入图像同时包含戴口罩与无口罩图像，则直接输入双尺度自适应高效注意力网络（DS‑AEAN）。
否则，将生成的特征集1与特征集2输入DS‑AEAN进行人脸识别，以确认身份。
通过增强型Addax优化算法（EAOA）进一步提升模型性能。该模型有助于实现精准的生物特征认证。
将所设计的戴口罩人脸识别模型与现有模型进行对比实验，评估其性能与效果。
PART/2
背景
人脸识别是识别人脸中被遮挡区域特征的过程，该过程需要特定人员的先验信息。当前，遮挡人脸识别的研究现状引起了计算机视觉领域的广泛关注。早期的遮挡人脸识别系统旨在实现对人脸的识别与检测，即使人脸被遮挡部分的位置与形状不规则。与此同时，嘴唇、鼻子和脸颊周围区域常被口罩遮挡，仅剩额头、眉毛和眼睛等未被遮挡的区域。因此，戴口罩人脸识别工具可重点分析从人脸这些区域（如额头、眼睛、眉毛）提取的特征。
多数恐怖分子与犯罪分子会佩戴口罩以隐藏身份，墨镜、帽子和彩色装饰等也可作为遮挡物。使用此类遮挡物会减少识别人所必需的关键特征。与其他常规人脸识别方法相比，戴口罩人脸识别因可用面部特征更少，面临的挑战也更为突出。受数据质量较低与环境条件变化的影响，识别准确率持续下降。
人脸识别方法因非接触、高效且易用的特性，被广泛应用于公共场所的身份验证与门禁控制。当口罩遮挡人脸大部分区域时，人脸识别难度显著增加。因此，探究口罩对人脸识别系统性能的影响，并制定缓解策略以降低性能损失，具有重要意义。
大规模数据集与复杂卷积神经网络（CNN）的兴起，推动了人脸识别任务中深度学习方法的形成。尽管深度学习模型在常规人脸识别场景中取得了成功，但由于口罩遮挡，深度特征往往缺乏足够的不变性，无法直接对完整人脸图像进行描述。因此，口罩佩戴场景下的人脸识别成为一项重大研究挑战。
首先，必须构建包含各类佩戴口罩人脸的大规模训练数据集。构建该规模的训练数据集需要投入大量时间与人力成本，同时维持数据集内数据的多样性也耗时较长。因此，亟需一种经济实用的人脸数据增强方法。其次，根据口罩特性优化框架设计，以降低性能损失至关重要。
文献中针对戴口罩人脸识别最常用的方法是CNN与预训练深度学习模型的迁移学习。然而，支持向量机（SVM）训练耗时较长，迁移学习最突出的缺点是过拟合与负迁移。此外，由于可靠标注数据集极为稀缺，戴口罩人脸识别难度极大。针对这些局限，本文构建了一种高效的基于深度网络的戴口罩人脸识别模型。
本框架的主要贡献如下：
1.构建一种新型人脸识别模型，能够高质量、准确地识别佩戴口罩的人脸。该模型可用于手机、电脑和平板设备的用户身份识别，为设备解锁与个人数据访问提供快速安全的方式。
2.实现基于生成对抗网络（GAN）的数据增强，提升模型泛化能力，使训练后的模型能更好地适应环境与输入数据的变化，从而对未知数据实现更精准的预测与自适应。
3.提出基于增强型Addax优化算法（EAOA）的优化策略，通过参数微调、学习率调整与网络结构优化，提升网络整体识别成功率，实现更高精度与效率的戴口罩人脸识别。
4.设计基于双尺度自适应高效注意力网络（DS-AEAN）的识别模块，构建单一模型实现戴口罩人脸识别，为遮挡人脸识别问题提供全面解决方案。
本文通过多种指标评估所设计的戴口罩人脸识别框架的有效性与稳定性。
本文各章节内容如下：“文献综述”章节详细梳理现有研究工作，并分析现有方法的优势与特点；“基于注意力深度网络与图像采集表示的戴口罩人脸识别模型构建”章节介绍所提模型的架构与数据集说明；“基于所提优化策略的图像增强机制与参数最优调优”章节阐述图像增强机制与算法参数优化过程；“用于精准戴口罩识别的注意力深度网络简要说明”章节介绍用于高精度戴口罩识别的注意力网络；“结果与讨论”和“结论”章节分别给出实验分析与模型总结。
PART/3
相关工作
本阶段首先在“戴口罩人脸识别的必要性”一节阐述了识别戴口罩人脸的迫切性，并介绍了传统技术在各领域面临的各类复杂问题。随后，在“所构建戴口罩人脸识别模型的框架框图”一节详细介绍了新设计的戴口罩人脸识别模型及其结构。此外，在“戴口罩人脸图像描述”一节结合样本图片，讨论了用于验证的数据集及其深层信息，包括类别名称、图像数量与图像尺寸。
戴口罩人脸识别的必要性
新冠肺炎（COVID-19）疫情期间口罩的广泛使用，凸显了戴口罩人脸识别的重要性。传统人脸识别技术通常针对裸露人脸设计，在面对佩戴口罩的人员时，往往难以实现可靠检测。因此，业界对能够在人员佩戴口罩时依然有效识别身份的可靠人脸识别系统的需求日益增长。
戴口罩人脸识别在多个领域的应用及其必要性如下：
-公共安全：为维护公共安全与秩序，所有安检点、公共交通枢纽及其他公共场所必须可靠地识别各类人员，包括佩戴口罩者。
-医疗场景：戴口罩人脸识别有助于在落实感染防控流程的同时，精准识别医护人员与患者。
-身份认证：随着人脸识别在身份认证领域的应用日益普及，开发能够识别佩戴口罩人员的系统对于确保设备与设施的安全访问至关重要。
-犯罪预防：戴口罩人脸识别技术可协助执法部门，即便在犯罪分子佩戴口罩隐匿身份的情况下，依然能对其进行识别。
综上，通过构建可靠、精准的戴口罩人脸识别系统，可有效提升安全措施与公共卫生流程的可靠性，并确保在口罩佩戴场景下身份认证的快速与高效。
所构建戴口罩人脸识别模型的框架框图
一款高效的戴口罩人脸识别模型用于识别佩戴口罩的人员，在公共卫生措施与安全协议日益严格的背景下，其重要性愈发凸显。该设计模型旨在克服传统人脸识别系统因面部局部遮挡（口罩遮挡）而面临的诸多挑战。嘴巴与鼻子等面部特征是人脸身份识别的关键依据，但在戴口罩人脸图像中，这些特征被口罩完全覆盖，使得戴口罩人脸识别成为一项极具难度的任务。此外，小尺寸人脸图像因有效像素点有限，导致特征提取与去噪困难，进而降低人脸识别系统的精度。低分辨率与劣质图像质量也是身份识别过程中的常见复杂问题。（注：原文中“为水纯度预测提取输入数据”等表述上下文逻辑不通顺，结合前文推测为笔误或无关内容，翻译时予以忽略）。为克服这些局限，本研究构建了一种基于生成对抗网络（GAN）辅助的戴口罩人脸识别框架，其整体架构如图1所示。
一种高精度口罩人脸识别模型，旨在基于人脸特征为个人提供可靠、高效的身份认证。该系统用于安防场景，确保仅授权人员获得访问权限。
研究从指定数据库采集包含戴口罩与未戴口罩的原始图像，并对其进行数据增强处理，以此扩充训练数据集，提升模型鲁棒性，避免过拟合问题。本文设计生成对抗网络（GAN）完成图像增强任务。通过将GAN生成的图像加入训练数据，所提框架能够提取更鲁棒的特征，并在分类阶段提升性能。GAN可生成高质量的戴口罩（f1）与未戴口罩（f2）合成图像，其效果接近真实数据，为模型训练提供多样化且逼真的样本。
经GAN增强后的图像被用于最终分类阶段。若输入图像同时包含戴口罩与未戴口罩人脸，则直接送入DS-AEAN网络进行分类。本文采用DS-AEAN结构完成分类任务，双尺度网络可在多尺度下捕捉输入信息，并提取高层上下文信息，以提升分类阶段的鲁棒性。
在测试阶段，若两类图像未同时出现，则将戴口罩图像输入第一尺度卷积层，未戴口罩图像输入第二尺度卷积层。双尺度网络通过融合不同尺度信息，能更精准地实现图像内目标定位。
通过高效优化算法（EAOA）对注意力网络中的训练轮数、隐藏神经元数量、每轮迭代步数等参数进行精细调优，可提升所实现机制的成功率，进而提高口罩人脸识别系统的准确率。
分析结果表明，设计高精度人脸识别模型的目的，是在不同领域提升安防水平与识别效率。
PART/4
新算法框架解析
口罩人脸图像描述
所设计的模型在多种数据集上进行了训练、测试与评估，以用于口罩检测和口罩人脸识别。各数据集的描述如下。
数据集1（“口罩检测数据集”）：本模型所需的口罩人脸图像采集自链接“https://www.kaggle.com/datasets/omkargurav/face-mask-dataset”，访问时间为2024年6月28日。在新冠疫情全球封锁的当下趋势中，人们外出时必须佩戴口罩。本模型基于7553张三通道图像进行口罩识别训练。
数据集2（“真实场景口罩人脸数据集”）：另一个包含戴口罩与未戴口罩人脸图像的数据集，用于评估模型在多种场景下的口罩检测能力。该数据集的链接为“https://github.com/X-zhangyang/Real-World-Masked-Face-Dataset/tree/master”，访问时间为2024年6月27日。分析过程采用真实场景数据库进行训练，该数据库包含数百万条来自不同类别的带标注图像。这些模型的前期训练版本已针对口罩人脸识别进行了优化。
采集到的图像记为Isj，其中j=1,2,3…J，J代表采集到的全部样本数量。数据集的图像样例如图2所示。
基于所提优化策略的图像增强与参数最优调优描述
本节介绍图像增强流程，以及用于调优口罩人脸识别模型关键参数的新型优化技术。在“生成对抗网络”部分，将提供GAN模型的基础信息；“基于GAN的图像增强”部分详细阐述利用GAN进行数据增强的过程；此外，“改进型EAOA”部分将讨论新设计的优化技术中所执行的若干改进，及其伪代码。
生成对抗网络
在本口罩人脸识别模型中，采用生成对抗网络（GAN）完成图像增强，生成戴口罩（f1）与未戴口罩（f2）的高质量合成图像。这些生成的图像将输入DS-AEAN网络用于分类。GAN是一种生成虚拟人脸图像的人工智能机制，其核心包含生成器与判别器两大神经网络。
基于GAN的图像增强
原始输入图像Isj被用于图像增强流程。该方法利用GAN的能力，为现有图像创建逼真且多样的变体。GAN以高效的方式进行训练，以生成高质量的合成数据。
通常，图像增强流程被广泛应用于识别、身份验证和分类模型中。各类基于深度学习与机器学习的图像增强技术被用于不同研究场景。ViTHuge-1429是一种适用于处理海量图像样本的图像增强方法，但该模型参数规模庞大，易出现过拟合问题，且高度依赖全局注意力机制来捕捉空间关系；同时，系统需要更长的训练时间处理图像样本，这可能会增加实现成本。高阶动态模式分解（HODMD）30是一种在各类应用中用于丰富图像样本信息提取质量的增强工具，不过该技术需要复杂计算来处理大规模数据，导致整体开销较高。在部分场景中，这类模型对噪声较为敏感，给高维图像的验证带来了诸多困难。
为解决现有框架中的这些复杂问题，所提出的口罩人脸识别模型采用了GAN。GAN能够通过生成新颖的测试样本，有效缓解过拟合问题，扩充数据集样本数量，并学习可泛化的模式以执行相关流程。GAN生成的样本图像质量更高，且能高效识别特定类别中的各类特征；其工作流程快速，可在极短时间内处理海量样本。
在训练阶段，GAN学习生成与原始数据集相似的新图像。生成器通过添加微小扰动、变化或失真来修改已有图像，这些生成的图像被用于扩充训练数据集，提升数据多样性。这使模型接触更广泛的输入数据方差，从而提升可扩展性与鲁棒性。GAN能够生成色彩、纹理、位置、光照条件及其他视觉特征等多种图像变体，为预测模型构建更多样、更鲁棒的训练数据集。
基于GAN的图像增强优势
GAN可生成多样且逼真的图像变体，实现训练数据集的扩充。
基于增强数据的训练能让神经网络模型更好地适应现实场景中未知的数据与方差。
基于GAN的增强可减少收集和标注大量新数据的需求，从而加快网络训练速度。
基于GAN的图像增强常应用于计算机视觉、医疗成像和语言分析领域，通过提供更多样的训练数据集来提升预测模型性能。
利用GAN进行图像增强可提升预测模型的质量、多样性与可解释性，进而改善图像分类、目标识别等任务的效率。最终，增强后的图像作为输出结果，基于GAN的图像增强可视化效果如图3所示。
改进型EAOA算法
本文提出改进型EAOA算法以构建高效口罩人脸识别模型，该算法在训练深度学习口罩人脸识别模型过程中发挥重要作用。它通过迭代更新DS-AEAN网络的各项参数，包括每轮迭代步数、训练轮数以及隐藏神经元数量。该方法通过调整模型参数来降低损失函数值，从而提升训练数据的利用效率。传统的算术优化算法（AOA）可帮助模型确定一组最优参数，既能减小损失函数，又能提升模型在未知数据上的泛化性能。算术优化策略通过在训练过程中对模型进行归一化处理来避免过拟合问题，防止模型学习训练数据中的噪声，进而提升泛化能力与识别精度。此外，传统AOA在变量数量较多时训练计算成本极高，且需要海量数据集才能实现可靠优化。因此，本文基于公式(4)对公式(5)中的随机变量进行改进，从而实现对AOA算法的优化升级。改进后方法的数值形式如公式(4)所示。
AOA算法的挖掘技巧通过模拟旋角羚在自然环境中的适应性与灵活性，为优化问题提供了一种独特且受生物启发的解决方法。AVOA算法的伪代码如算法1所示。
AVOA算法的流程图如图4所示。
面向图像质量问题的DS-AEAN
在所开发的口罩人脸识别模型中，DS-AEAN用于执行特征提取流程。该阶段以GAN生成的增强图像为输入，DS-AEAN采用双尺度结构，可高效完成小规模与大规模样本的多尺度验证。同时，双尺度层能处理高低质量样本，轻松筛选验证所需的高质量信息，可处理各类图像样本，且在不影响最终结果的前提下输出更优表现。此外，双尺度层提升了网络整体灵活性，使所提框架适配所有场景，因此在EFN中加入双尺度层对各类图像处理更具优势。
在DS-AEAN中，高质量与低质量图像均作为输入，模型可输出更精准的口罩人脸识别结果，且性能不依赖图像质量。通过引入EAN，模型可解释性更强，能捕捉最相关特征。综上，本节得出结论：所开发的DS-AEAN可处理各类增强图像，且不影响网络整体性能。
基于GAN的增强图像被输入DS-AEAN用于口罩人脸识别。若输入图像同时包含戴口罩与未戴口罩人脸，则直接送入DS-AEAN进行分类。所设计的DS-AEAN融合了双尺度提取特征与自适应注意力机制，用于口罩人脸识别任务。通过双尺度注意力层，模型可聚焦输入数据中的显著特征，同时捕捉局部与全局特征，生成更丰富、更具代表性的特征表达，提升大规模特征提取效率。
通过在多尺度下突出重要特征，实现选择性特征融合，使模型能高效整合多尺度信息，做出更合理决策，进而提升网络整体描述能力。改进的空间上下文建模可理解输入图像中特征与目标的空间布局，实现更精准、上下文感知的预测。注意力机制可根据任务需求调整不同尺度特征的权重，使网络聚焦于特定任务的最适配数据，从而提升模型提取有效特征的能力，生成更优预测结果。
DS-AEAN通过聚焦特定特征尺度、关注关键细节并剔除无关数据，有效降低计算开销，加速特征获取流程，优化计算资源，实现更高效的模型训练与推理。双尺度注意力机制使模型能适应输入数据的尺度变化（如目标尺寸或分辨率差异），通过多尺度特征学习，网络可适配目标尺寸变化，同时在各类输入条件下保持稳定性能，提升口罩人脸识别模型的可靠性。DS-AEAN模型的结构示意图如图6所示。
PART/5
实验及可视化
DOTA v1数据集上的定向目标检测（OBB）性能
GAN以高效方式训练，生成高质量合成数据，可同时输出未戴口罩和戴口罩的人脸图像，结果图像如图7所示。
所提方法的统计计算数值结果见表3。
通常，统计计算执行50次迭代，并考虑公式(13)中的多个目标函数。统计验证通过分析最差值、最优值、平均值、中位数和标准差，以提供更优的口罩人脸识别结果。在所有迭代中获得的最高口罩识别值被定义为“最优值”，在实际应用中可辅助决策；所有迭代中的最小值则代表“最差值”，反映预测网络的低效表现。
通过EAOA-DS-AEAN优化，验证可获得更精准的口罩人脸识别结果，当目标准确率达标时，可实现更优的口罩识别效果，同时评估缓解训练潜在风险的高效策略。在数据集2上，所提方法的最优值相比RSA-DS-AEAN提升39.1%，相比TFMOA-DS-AEAN提升41.6%，相比GOA-DS-AEAN提升48.2%，相比AOAM-DS-AEAN提升40.6%。通过引入统计分析技术，研究人员可严谨评估所设计模型的性能，验证其相较于传统算法的优势，为口罩人脸识别领域的研究发现提供鲁棒支撑。
执行时间验证
所开发的口罩人脸识别模型与现有技术的执行时间对比见表6。
口罩人脸识别模型在现实应用场景中的应用
通常，戴口罩人脸识别技术被用于识别在公共场所未佩戴口罩的人员。该技术在各类现实场景中应用广泛，具体如下：
-戴口罩人脸识别模型在医疗行业受到更多关注，可用于识别前来接受医疗服务和常规体检的人员。
-在交通领域，该技术可辅助在登机口和安检点识别乘客。
-为加强受限区域和敏感地点的安全与访问控制，戴口罩人脸识别模型实用性更强。
-多数跨国企业采用该技术追踪员工出勤情况，并监控员工在特定工作区域的活动。
-此外，该技术有助于在人员密集的公共场所保障人员安全，防范犯罪活动。
-在部分场景中，这类框架因能提取人脸特定特征，在生物识别安全系统中得到广泛推荐。
因此可以得出结论：戴口罩人脸识别模型适用于各类现实场景，可用于在大型集会及其他情况下监控人员。
有相关需求的你可以联系我们！
END
转载请联系本公众号获得授权
计算机视觉研究院学习群等你加入！
ABOUT
计算机视觉研究院
计算机视觉研究院主要涉及深度学习领域，主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的论文算法新框架，提供论文一键下载，并分享实战项目。研究院主要着重”技术研究“和“实践落地”。研究院会针对不同领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！
往期推荐
🔗
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
12
0- 0
已为社区贡献125条内容
所有评论(0)