基于生物识别技术的智慧校园系统设计与实现_王鹤群.pdf

本栏目责任编辑：唐一东人工智能Computer Knowledge and Technology电脑知识与技术第19卷第1期(2023年1月）第19卷第1期(2023年1月）基于生物识别技术的智慧校园系统设计与实现王鹤群1，郭心茹2，刘群3，刘丽红1(1.中华女子学院 计算机系，北京100101；2.复旦大学 信息科学与技术学院，上海200433；3.江西省上犹县第三中学，江西 上犹 341200)摘要：校园卡系统是数字化校园的基础工程中的重要组成部分，但也存在易丢失、易损坏等弊端。本项目研究了一套以生物识别为基础的智能校园系统，通过人脸识别、指纹识别及条形码识别，实现了进出校园、跑步打卡、图书借阅等功能。其中，采用了谷歌的FaceNet开源人脸识别框架，中控智慧的sdk开发包，tkinter图形界面及MySQL的数据对象等技术。实现了功能完备、效果良好的基于生物识别技术的智慧校园系统，其中人脸识别与指纹识别正确率较高，各项功能的实现符合预期，解决了由传统实体校园卡带来的卡片遗失、消磁等问题，实现校园生活智能化。关键词：智慧校园；人脸识别；指纹识别中图分类号:TP311.41文献标识码：A文章编号：1009-3044(2023)01-0028-03开放科学（资源服务）标识码(OSID):1 引言随着信息技术的快速发展，各大高校也都紧跟信息化的浪潮积极地参与到智慧校园的建设中1-2。校园一卡通系统是建设数字化智慧校园的基础工程以及有机的、重要的组成部分。而校园卡作为校园一卡通系统的依托对象，却存在易丢失、损坏等问题。针对这个问题，本系统利用人脸识别3和指纹识别4生物识别技术5-6，实现具有校园门禁服务、图书借阅服务以及高校阳光长跑打卡服务等功能的智慧校园系统。此系统不需要任何实体的校园卡，取而代之的是采用每位同学的生物特征，即人脸和指纹特征。该系统旨在通过对人的面部特征、指纹纹路或书本条形码进行识别，并依托于计算机将采集到的数据信息上传至后台与数据库中的相关数据进行比对、分析，无须刷卡，自动从后台调出个人信息，并进行相关记录，实现新型的智慧校园系统。此系统的开发使校园生活变得更加方便快捷，进一步完善了大学生的相关服务管理机制，在一定程度上免除了数字化校园带来的后顾之忧，进而促进校园“智慧化”。2 智慧校园需求分析智慧校园系统主要基于生物识别技术，即人脸识别技术和指纹识别技术，实现了校园跑步打卡、图书借阅、进出校园身份识别功能。该系统通过指纹采集器采集指纹，或通过摄像头捕捉人脸，再将采集的参数预处理后传入系统并与已有数据进行比较判断，从而实现身份识别功能。在功能设计上，智慧校园系统可以通过PC端进行操作，同时提供不同的技术选择（指纹识别或人脸识别）和场景选择（进入校园、图书馆、跑步打卡、图书借阅），具体功能设计见表1所示。表1 功能设计表功能人脸检测人脸识别指纹采集指纹识别条形码识别打卡相关信息调取数据共享界面实现设 计判断当前截取到的画面中是否存在人脸，当存在时截取图像中人脸的部分对当前截取到的人脸判断其是否在已训练好的模型中，若存在则显示对应信息，若不存在，则显示为陌生人通过相关指纹采集器与系统进行连接通信实现指纹采集，并将采集到的指纹图片显示在界面中及存到本地文件夹中通过对指纹采集器采集到指纹纹路和系统中所有的指纹图片进行对比识别进行判断系统是否存在该人，若存在则显示对应信息，若不存在，则显示为陌生人对书籍的条形码进行解码，判断是否存在该书籍，若存在则根据用户选择的操作（借阅、归还）更新数据库信息并输出结果，否则输出操作失败的信息打卡成功需满足一天中的打卡次数不得少于7次、两次打卡的时间间隔不得大于4分钟、打卡轨迹的方向为顺时针通过人脸识别或指纹识别得到学号信息，从数据库中调取相关信息，并显示，同时更新数据库中的相关信息打卡点需要调取同一个数据库的信息以得到完整的信息使用Tkinter进行界面的设计及实现，利用响应事件进行一系列的用户交互收稿日期：2022-07-12修回日期：2022-07-26基金项目：中华女子学院校级科研课题（编号：KY2018-0202)作者简介：王鹤群(1984)，女，辽宁抚顺人，讲师，博士，主要研究方向为计算机视觉，数字图像处理，计算机图形学；郭心茹(2001)，女，河南周口人，学士，主要研究方向为计算机科学；刘群(1998)，女，江西赣州人，学士，主要研究方向为计算机科学；刘丽红(1999)，山东菏泽鄄城人，女，学士，主要研究方向为计算机科学。E-mail：http：/Tel：+86-551-65690963 65690964ISSN 1009-3044Computer Knowledge and Technology电脑知识与技术Vol.19,No.1,January202328DOI:10.14004/ki.ckt.2023.0018人工智能本栏目责任编辑：唐一东Computer Knowledge and Technology电脑知识与技术第19卷第1期(2023年1月）第19卷第1期(2023年1月）3 智慧校园系统架构3.1 系统架构如图1所示，该系统主要分为3层结构，包括数据底层、核心层、用户交互层。图1 系统架构图用户交互层则主要负责实现具体的功能，包括进出校门/图书馆，跑步打卡，图书借阅。核心层主要负责借助摄像头、指纹采集器等器材实现人脸识别及指纹识别。数据底层主要负责数据信息的存储，包括数据集、训练模型、数据库信息等。3.2 系统软件设计本系统的主界面包括四部分：图书借阅、进入校园、图书馆、跑步打卡。分别进入这四个功能主界面后，系统默认人脸识别验证，或用户可选择指纹识别验证。在进行人脸识别/指纹识别时，摄像头/指纹采集器会自动抓取人脸图片/指纹图片，实时进行识别。具体流程见图2。图2 系统整体流程图4 智慧校园系统关键技术4.1 人脸识别技术人脸识别技术使用Google的FaceNet7-8开源人脸识别框架，其核心技术是目前较为流行的卷积神经网络算法。FaceNet框架的实现经过数据预处理、人脸检测、数据模型训练和分类器训练、分类器测试，最终呈现结果，具体流程见图3。图3 FaceNet框架实现流程图4.1.1 人脸检测采用MTCNN9-10进行人脸检测并对齐与裁剪，其是多任务级联CNN的人脸检测深度学习模型。该模型网络结构分为三层：P-Net(Proposal Network)、R-Net(Refine Network)、O-Net(Output Network)，利用了检测和对准之间固有的关系来增强性能，特别是在预测及脸部标记点时，通过三个CNN级联的方式进行由粗到简的处理。处理效果如图4。图4 处理示例图4.1.2 模型训练此训练模型采用的数据源，为线下采集的本校内学生，共计82人，每人各40张不同角度，不同表情的160160 像素的人脸图片构成的数据集进行模型训练。具体的模型训练过程可以描述如下：1)使用Batch表示人脸的训练数据，为每个Batch设置训练样本的数量。2)使用DEEP ARCHITECTURE（深度卷积神经网络）进行特征的提取。此系统采用Google的Inception架构深度卷积神经网络，其基本组成结构有四个成分11卷积，33卷积，55卷积，33最大池化。对四个成分的运算结果进行通道上的组合可得到提取的特征。3)利用L2特征归一化将所有图像的特征映射到一个超球面上。4)接入一个Embedding层，将图像x通过函数f映射到d维欧式空间。5)采用 Triplet Loss 三元组损失函数进行模型优化。在进行上述步骤进行模型训练时需要考虑在梯度下降法中，如何设置学习率。本系统设置学习率的初始值为0.01，并选择学习率衰减方式并结合优化器迭代更新学习率。本系统选用AdaGrad的优化器对学习率进行优化，其优点是能自动变更学习率，采用指数衰减的方式进行学习率迭代衰减，其优点是简单直接，收敛速度快。本系统的模型训练部分参数设置如表2所示。4.1.3 分类器训练利用图像计算出来的向量数据训练SVM分类器，29本栏目责任编辑：唐一东人工智能Computer Knowledge and Technology电脑知识与技术第19卷第1期(2023年1月）第19卷第1期(2023年1月）训练采用校内人员的人脸数据集，包括82人共3280张图片。训练过程中每个图像类中存储40张图片，其中80%作为训练，20%作为测试。4.1.4 分类器测试1)单张图片测试结果共测试 82 人，3280 张图片，平均识别率约为94.3%。2)数据集图片测试结果使用CLASSIFY模式进行测试，输出一个总体的准确性实现。共测试82人，3280张图片，识别率约为99.3%。3)实时人脸识别测试结果使用摄像头进行实时人脸识别测试。实现过程选用数据集的82人和10位陌生人进行测试，其平均识别率约为94%。4.2 指纹识别技术利用中控智慧live20R指纹采集器并结合Java语言对其sdk开发包进行二次开发实现。二次开发的主要操作是将sdk开发包的指纹模板提取、指纹模板比对函数进行修改并打包成jar文件后在python引用，最终实现身份验证。4.3 数据模型后 台 信 息 的 更 新 存 储 使 用 MySQL 数 据 库。MySQL是一个小型的开源关系型数据库管理系统，拥有体积小、速度快等特点，其适用多种操作系统和编程语言，可以处理大量数据，使用度较广。5 智慧校园系统的实现与测试此系统的界面主要包括主界面、进出校门界面、进出图书馆界面、指纹识别界面、图书借阅选择操作界面、图书条形码识别界面、跑步打卡界面等，在主界面中用户可选择图书借阅、进出图书馆、进出校门、跑步打卡四个模块进行操作。其功能测试表如表 3所示。5.1 进入校园和图书馆在使用系统的各项功能之前都需要进行身份识别。在身份识别过程中，系统默认为人脸识别验证，或由用户选择指纹识别验证。在进行人脸识别或指纹识别时，摄像头或指纹采集器会自动抓取人脸或指纹，实时进行识别，进而输出识别结果。部分识别结果如图5。(a)人脸识别成功测试图(b)指纹识别成功测试图(c)陌生人识别测试图（右）图5 部分识别结果（下转第34页）参数名Max_nrof_epochsBatch_sizePeople_per_batchEpoch_sizeEmbedding_sizeKeep_probablity参数值意义指定训练论数指定每个batch中训练样本的数量指定每轮需要训练多少人指定一个epoch中批的个数，用于求学习率Embedding_size维数指定弃权的神经元保留率参数值8090451501281.0表2 模型训练部分参数表测试功能项人脸识别指纹识别陌生人人脸识别图书借阅图书归还跑步打卡违规打卡测试方法1.开启摄像头，捕获人脸(20张/秒）；2.与数据集中的人脸进行对比，得到识别度最高的学生学号，连接数据库，获取结果1.选择指纹识别，将手指置于指 纹 采 集 器 中 采 集 指 纹信息；2.与数据集中的指纹进行对比，得到学生学号，连接数据库，获取结果1.选择未在数据集中的成员进行人脸识别，输出结果1.身份识别成功，选择图书借阅；2.扫描书籍条形码，更新数据库信息1.身份识别成功，选择图书归还；2.扫描书籍条形码，更新数据库信息1.身份识别成功，PC端显示学 生 学 号、姓 名、打 卡 总次数；2.按照规定（时间、方向、次数）打卡完毕1.身份识别成功，PC端显示学 生 学 号、姓 名、打 卡 总次数；2.未按照规定（时间、方向、次数）打卡预期结果识别成功，PC端 显 示 学 生基本信息识别成功，PC端 显 示 学 生基本信息识别失败，PC端 显 示 查 无此人PC 端显示借阅 成 功 及 相应 书 籍 的 信息PC 端显示归还 成 功 及 相应 书 籍 的 信息打 卡 总 次 数加1打 卡 总 次 数不变测试结果符合预期符合预期符合预期符合预期符合预期符合预期符合预期表3 功能测试方法与记录30本栏目责任编辑：唐一东人工智能Computer K