人脸识别技术在广播电视节目内容监管系统中的应用与实现_郭靖威.pdf

广播与电视技术 2023年 第50卷 第1期114安全播出与监测监管 Safe Broadcasting&Monitoring and Supervision人脸识别技术在广播电视节目内容监管 系统中的应用与实现【摘 要】为提升广播电视节目内容监测监管效率，节约人工成本，实现自动发现和标记节目中出现的敏感人物，本文将人脸识别技术引入到广播电视智慧监管系统建设中。文章论述了人脸识别引擎的工作流程，以敏感人物样本库数据为识别样本，引用人脸检测算法和人脸检索算法，对视频节目内容抽帧后的图像进行敏感人物识别，标识并存储人物信息。其中，对人脸检测算法和人脸检索算法的原理和实现流程进行了探讨研究。【关键词】节目内容，智慧监管，人脸识别算法【中图分类号】TN931.3 【文献标识码】B 【DOI编码】10.16171/ki.rtbe.20230001024【本文献信息】郭靖威，李晓婷.人脸识别技术在广播电视节目内容监管系统中的应用与实现J.广播与电视技术，2023,Vol.50(1).Application and Implementation of Face Recognition Technology in Radio and Television Program Content Supervision SystemGuo Jingwei,Li Xiaoting(Hebei Radio and Television Supervision Center,Hebei 050031,China)Abstract In order to improve the supervision efficiency of radio and television program content monitoring and supervision,save labor costs,and realize the automatic discovery and marking of sensitive people in the program,face recognition technology is introduced into the construction of radio and television intelligent supervision system.This paper discusses the workflow of the face recognition engine.Taking the sensitive person sample database data as the recognition sample,the face detection algorithm and face retrieval algorithm are cited to recognize the sensitive person of the image after the frame of the video program content,identify and store the person information.Among them,the principle and implementation process of face detection algorithm and face retrieval algorithm are discussed.Keywords Program content,Intelligent supervision,Face recognition algorithm1郭靖威，李晓婷(河北省广播电视监测中心，河北 050031)0 引言广电行业发展迅速，广播电视节目日益丰富。随着广播电视节目数量呈现出的几何式增长，原有的人工监听监看的工作方法，已无法满足当前广播电视节目内容监管的需求。面对庞大的节目数量，以及越来越高的监管要求，人工智能的出现，给广电行业提升监测监管能力和效率带来了契机。基于人工智能的广播电视监测监管系统得到了广泛研究和积极应用，特别是以人脸识别技术为核心的视频节目内容监管系统，对节目进行初步研判分析，缩小人工审核节目的范围，提升监测监管工作效率。本文以省级广播电视节目内容智慧监管系统建设实施为例，论述人脸识别技术的实际 应用。1 系统功能概述广播电视节目内容智慧监管系统可实现对广播电视节目内容合规性的监测监管，并对节目进行敏感分析、热点分析、重点关注分析和舆情评估统计等。系统主要包括的功能模块有节目内容智能分析模块、广告节目监测模块、内容监听监看模块、内容评议模块和节目检索模块等。其中，节目内容智能分析模块是整个系统的核心，为其他模块提供数据基础。系统利用人工智能技术，自动对节目进行多业务的识别、分广播与电视技术 2023年 第50卷 第1期115Safe Broadcasting&Monitoring and Supervision 安全播出与监测监管析和研判。为实现高效、精准的节目内容分析，系统会对节目进行自动分类，对节目中出现的人物和场景进行标签化处理。系统应用人脸识别技术，提取人脸特征，与人脸信息库中的特征数据作对比，实现智能化电视新闻节目舆情监测、敏感人物监测和节目综合检索等功能。2 人脸识别技术概述人脸识别技术，是一种生物识别技术，它基于人的脸部特征信息对人物的身份进行识别。人脸识别技术可以对节目画面中的人脸区域进行自动识别，能够快速、准确发现节目当中出现的政治人物、明星人物等目标人物。人脸识别的过程分为三个步骤，包括人脸图像检测、人脸图像特征提取和人脸匹配与识别。2.1 人脸图像检测人脸检测是人脸识别的第一个步骤，是对人脸图像信息的预处理。人脸检测可以准确识别出画面中的人脸位置和大小，并做标记。人脸图像的特征模式多种多样，使用较多的如直方图特征、模板特征、结构特征和颜色特征等1。人脸检测会根据人脸图像的特征模式，在节目画面中进行检测，实现自动识别人脸图像。2.2 人脸图像特征提取人脸特征提取是人脸识别的第二个步骤，是针对人脸数据的关键特征进行数据建模，这个步骤也称为人脸表征。人脸图像特征包括视觉特征、人脸图像变换系数特征、人脸图像代数特征和像素统计特征等1。本文所述节目内容智慧监管系统主要使用的人脸特征提取方法是基于知识的表征方法。人脸数据来源于面部构成数据，包括眼睛、鼻子、嘴、下巴等局部器官的数据。这些面部数据以及它们之间的结构关系，可以抽象为人脸特征分量。这些特征分量由欧式距离、角度和曲率等数据构成。而这些人脸特征，就是人脸识别系统将要从人脸图像中提取的关键数据，这些数据构建了人脸的基础模型。2.3 人脸图像匹配与识别第三个步骤是人脸图像的匹配和识别。人脸图像匹配，就是将步骤二中的人脸数据模型，与人脸特征数据库中的模板进行匹配，匹配程度达到设定标准后，即为匹配成功。匹配后输出的数据，系统会依据相似程度，对人脸图像的身份信息进行比对判断，从而确认人物身份，这个过程就是识别。3 技术应用与实现建设节目内容智慧监管系统，是当前实现对广播电视节目内容高效率监测的有效手段。该系统包括节目前端采集子系统、节目内容智能分析子系统、样本设定子系统、内容评议子系统和节目检索子系统等部分。本文将重点介绍与人脸识别技术相关的系统部分和算法。3.1 节目内容智能分析节目内容智能分析子系统是节目内容智慧监管系统的核心部分。它是完成节目内容监测监管业务要求的子系统，承担着对节目画面进行人脸识别的任务。系统通过对广播电视节目进行自动分类，精准化对节目中出现的人物和场景进行标识，配合违规敏感样本库中设定的节目内容样本，对节目内容进行比对分析，对节目内容的合规性进行自动研判。节目内容智能分析子系统业务流程如图 1 所示。3.2 人脸识别引擎和样本库节目内容智能分析子系统具备多个内容智能分析引擎，其中人脸识别引擎依靠人脸识别技术，实现节目中出现人物身份的识别与判断。电视节目由一帧一帧的画面组成，人脸识别引擎可以准确判断出包含人脸信息的画面，并对人脸区域进行自动标识。通过与人脸样本库中数据的对比，准确、快速地找出节目中出现的目标人物。依据广播电视监管行业相关规定，提前设置了涉黄、涉爆、敏感人物范围，一旦发现疑似禁止出镜人物，或者监管任务设定的目标人物，系统会自动发出提示，并输出相关节目片段，供监管工作人员核实或处置。人脸样本库由需要识别的敏感人物或目标人物的人脸信息组成，一般为人物照片图像库。当照片上传至节目内容智慧监管系统后，系统将对图像进行人脸检测，对图像中的人脸区域进行特征提取，并用由这些特征组成的向量表示该 图像。人脸识别引擎对照人物样本库的人脸数据，检测、识别节目视频中出现的重点人物，并对重点人物出现的时间、持续时长等信息进行标注、存储。具体流程如图 2 所示。3.3 人脸识别算法实现节目内容智能分析子系统中涉及的人脸识别算法，是一种基于梯度方向直方图（HOG）来提取画面特征，使用随机投影降维方法的加权稀疏表示算法，即 RPH-WSRC（weighed sparse representation algorithm based on ran-dom projection and hog feature extraction）人脸识别算法2。3.3.1 RPH-WSRC 算法步骤RPH-WSRC 人脸识别算法包括以下三个步骤3-5：广播与电视技术 2023年 第50卷 第1期116安全播出与监测监管 Safe Broadcasting&Monitoring and Supervision第一步，利用梯度方向直方图（HOG）来提取画面特征，对人脸数据进行模型建立，描绘出人脸图像信息。HOG 特征是在计算机视觉和图像处理中，通过对人脸图像区域梯度方向直方图的统计和计算，形成描述被检测人脸图像的特征 样本。第二步，利用随机投影矩阵对人脸图像样本进行降维，通过多次投影，降低特征样本的维度，同时分析挖掘特征样本的数据信息，有助于提高人脸识别的效率。随机投影矩阵的产生，是独立的，与样本数据无关。第三步，对比特征样本和数据库中的人脸模板样本，以两个样本的相似性作为权重，用加权稀疏表示算法来实现人脸识别。同时，算法利用随机投影过程中产生的样本残差，融合同类别残差得到残差和，可以提高加权稀疏表示算法的稳定性。3.3.2 RPH-WSRC 算法实现RPH-WSRC 人脸识别算法的实现过程如下：1.对含有人脸图像画面进行预处理，建立特征样本，载入数据库人脸模板样本。将基于 HOG 特征提取的特征样本设为：q n12cXx,x,xR=，q n12cXx,x,xR=ii1i2imxx,x,x=图1 节目内容智能分析子系统业务流程图前端流媒体系统识别引擎对于检测频道，提供实时视频自动录像功能采集频道信息实时拉取视频录像存储提供实时、历史视频查询存储信息、提供检索功能设置频道检索任务下发识别任务存储识别结果成功匹配违规事件产生告警产生告警准备识别下发识别中人物识别、语音识别、涉黄涉暴识别上报图2 人脸识别引擎流程图样本库图片视频HOG特征图像HOG特征比对结果判断结果标识敏感人物丢弃抽帧人脸检索是否人脸检测人脸检测广播与电视技术 2023年 第50卷 第1期117Safe Broadcasting&Monitoring and Supervision 安全播出与监测监管其中，q 为特征样本的维数，c 为特征样本的类别数，m为第 i 类的特征样本数，n 为 i 类特征样本数总和。2.生成随机投影矩阵 Q，分别对特征样本和模板样本迭代 T 次，设 T 2。假设第 t 次对特征样本和模板样本的随机投影矩阵为td qQR=ttXQ X=ttyq y1212,=ttttd nttttciiiimXxxxRxxxx()22exp2（d q），则该次投影后的特征样本和模板样本设为：X t=Q tXy t=q ty 其中，q n12cXx,x,xR=ii1i2imxx,x,x=td qQR=ttXQ X=