复杂背景下的人眼状态与虹膜位置检测_于林泉.pdf

哈尔滨工程大学学报 Journal of Harbin Engineering University ISSN 1006-7043,CN 23-1390/U 哈尔滨工程大学学报网络首发论文哈尔滨工程大学学报网络首发论文 题目：复杂背景下的人眼状态与虹膜位置检测 作者：于林泉，陆军 收稿日期：2021-06-11 网络首发日期：2022-11-22 引用格式：于林泉，陆军复杂背景下的人眼状态与虹膜位置检测J/OL哈尔滨工程大学学报.https:/ 网络首发网络首发：在编辑部工作流程中，稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶段。录用定稿指内容已经确定，且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期刊特定版式（包括网络呈现版式）排版后的稿件，可暂不确定出版年、卷、期和页码。整期汇编定稿指出版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合出版管理条例和期刊出版管理规定的有关规定；学术研究成果具有创新性、科学性和先进性，符合编辑部对刊文的录用要求，不存在学术不端行为及其他侵权行为；稿件内容应基本符合国家有关书刊编辑、出版的技术标准，正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。为确保录用定稿网络首发的严肃性，录用定稿一经发布，不得修改论文题目、作者、机构名称和学术内容，只可基于编辑规范进行少量文字的修改。出版确认出版确认：纸质期刊编辑部通过与中国学术期刊（光盘版）电子杂志社有限公司签约，在中国学术期刊（网络版）出版传播平台上创办与纸质期刊内容一致的网络版，以单篇或整期出版形式，在印刷出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为中国学术期刊（网络版）是国家新闻出版广电总局批准的网络连续型出版物（ISSN 2096-4188，CN 11-6037/Z），所以签约期刊的网络版上网络首发论文视为正式出版。哈 尔 滨 工 程 大 学 学 报 Journal of Harbin Engineering University 复杂背景下的人眼状态与虹膜位置检测 于林泉1,陆军2（1.北京理工大学 自动化学院，北京 100081；2.哈尔滨工程大学 智能科学与工程学院，黑龙江 哈尔滨 150001）摘 要：为了实现人眼区域的准确定位并在此基础上提高人眼状态检测与虹膜定位的精度和抗干扰能力，本文完善了人脸数据集并设计了人眼目标检测网络，在此基础上研究了人眼状态与虹膜位置的检测算法，提高了人眼状态的检测精度。采用 StyleGAN 的定制化人脸图像生成方法完善了人脸数据，并依据 Yolov5 模型设计了人眼目标检测网络。针对常见人眼状态检测算法在图像较暗等情况下特征点检测失效的问题，研究了基于直方图规定化与形状特征的人眼状态检测模型，给出了准确的人眼状态判断结果，并采用直方图规定化与自适应二值化结合的方法提高了虹膜检测的精度与鲁棒性。实验表明：测得人眼目标检测网络的 MAP 0.75 为 66.4%、测试帧率为19.28Fps，人眼状态检测算法在睁眼、眯眼、闭眼 3 种状态下的检测精度分别为 95%、89%、93%，虹膜定位算法可以准确检测虹膜位置并量化，本文算法具有良好的准确性与通用性。关键词：人眼目标检测；生成对抗网络；人眼状态检测；直方图规定化；虹膜定位；自适应二值化；人脸生成；霍夫变换 Doi：10.11990/jheu.202106041 中图分类号：TP391.41 文献标识码：A Human eye state and iris position detection in complex background YU Linquan1，LU Jun2(1.School of automation,Beijing Institute of Technology,Beijing 100081,China;2.College of Intelligent Systems Science and Engineering,Harbin Engineering University,Harbin 150001,China)Abstract:To achieve accurate positioning of the human eye region and improve the accuracy and anti-interference ability of human eye state detection and iris location on this basis,this paper improved the face data set and designed the human eye target detection network.On this basis,the detection algorithm of human eye state and iris position was studied to improve human eye state detection accuracy.The customized face image generation method of StyleGAN was used to improve the face data,and the human eye target detection network was designed according to the Yolov5 model.Aiming at the problem that the common human eye state detection algorithms fail to detect the feature points in dark images,a human eye state detection model based on histogram regularization and shape features is studied,and accurate human eye state judgment results are given.The accuracy and robustness of iris detection are improved by combining histogram regularization with adaptive binarization.As measured on the experimental data set,the MAP 0.75 of the human eye target detection network is 66.4%and the frame rate is 19.28Fps.The detection accuracy of the human eye state detection algorithm is 95%,89%,and 93%in the three states of open,squinting,and closed eyes,respectively.The iris location algorithm can accurately detect and quantify the iris position.The results show that the algorithm has good accuracy and universality.Keywords:human eye target detection;generative confrontation network;human eye state detection;histogram specification;iris location;adaptive binarization;face generation;hough transformation眼睛是人脸区域中传递信息最多的器官之一，从人眼中可以分析得到诸如情绪、视线、困倦程度等重要的人体状态1。人眼特征在疲劳检测、视线追踪、拍照检测等方向上都有重要的应用价值2。收稿日期收稿日期：2021-06-11.基金项目基金项目：黑龙江省自然科学基金资助项目（F201123）.作者简介作者简介：于林泉，男，硕士研究生;一般而言，人脸眼部区域的检测与应用分为人脸检测定位与人眼特征应用 2 个主要过程，其中人脸定位是人眼特征应用的基础与前提3。国内外各种人脸定位的算法可以按照是否基陆军，男，教授，博士生导师.通信作者：通信作者：陆军，E-mail:.网络首发时间：2022-11-22 16:10:28网络首发地址：https:/ 尔 滨 工 程 大 学 学 报 于深度学习分为传统人脸定位算法与基于深度学习的人脸定位算法4。传统的人脸定位算法主要包括基于空间特征的定位算法、基于人脸自身特征的定位算法和基于统计模型的定位算法5。基于深度学习的人眼定位算法主要通过对神经网络的训练来实现检测6。目前精度最高的算法是在卷积神经网络基础上发展的目标检测网络7，其分为以 Yolo、SSD、RetinaNet 等为代表的 One-stage 和以 R-CNN、Faster R-CNN 等为代表的 Two-stage 算法8。Redmon J 等9提出的 Yolo 算法是目前较为流行的 One-stage 目标检测算法之一，之后出现的 Yolov3、Yolov410算法的性能也不断提高。Tan M 等11的 EfficientDet 算法也是性能较为优异的目标检测算法之一。Liu W等12提出的 SSD 网络和 Fast R-CNN 网络等均是实验效果较好的目标检测网络。国内外人眼状态检测的方法主要包括基于人眼灰度信息的检测方法、基于人眼几何特征的检测方法、基于模板匹配的检测方法与基于特征点检测的方法13。其中基于特征点检测的方法通过对人脸图像中人眼关键点的检测与位置判断实现人眼状态的检测，具有较为广泛的应用14。但上述算法只能应用于图像质量较好的场景下，在图像模糊、含有光照干扰与阴影等场景下的效果较差。针对常见人眼状态检测算法在图片较暗等情况下精度下降的问题，本文首先基于深度学习方法进行人眼定位，并在此基础上设计了基于直方图规定化与形状特征的人眼状态检测方法和基于鲁棒自适应的虹膜定位方法。通过控制模板图像的直方图分布规律，基于直方图规定化的方法削弱图像中阴影部分的干扰，并对人眼图像中的关键部位进行增强，从而更准确地检测虹膜的位置，提高了检测的鲁棒性与准确性。1 实验数据集的建立 常见的人脸数据集普遍存在亚洲人脸不足以及眯眼、闭眼等状态下人脸图像较少的问题，使用这些数据集训练的网络难以检测不同状态下的人眼。针对该问题，本文设计了基于 StyleGAN 的定制化人脸生成网络。在图片生成器的内部，通过特定维度上的特征替换，将黄种人脸的特征赋予生成人脸；并通过修改控制向量在生成域内决定人眼开闭程度方向上的步幅大小，定制化生成人眼处于不同开闭程度下的亚洲人脸图像。基于上述定制化生成的人脸图像与 CAS-PEAL人脸数据集制作了实验数据集，对下述 3 种人眼定位网络进行训练与测试，并且使用该数据集中人眼处于不同开闭程度下的人脸图像对下述人眼状态检测方法与虹膜定位方法的精度进行测试。1.1 基于 Stylegan 的数据集完善 1.1.1Stylegan 网络的结构 StyleGAN 网络生成器的结构如图 1 所示，其主要由映射网络(Mapping Network)、样式模块(AdaIN)和生成网络(Synthesis Network)组成15。包含 8 个全连接层的映射网络将5121的输入向量解耦为同样大小的中间向量 W，样式模块将 W变换为 18 个控制向量，生成网络在 18 个控制向量的基础上通过 9 次上采样与 33 卷积操作将 44 的初始图像变换为 1 0241