基于视频引导模型更新的视频肤色增强方法_丁少博.pdf

第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展0210014-1研究论文基于视频引导模型更新的视频肤色增强方法丁少博*，张雅荔，张坤天津大学微电子学院，天津 300072摘要 在视频的采集和跨媒体再现过程中，相机的色域限制往往会导致获取的图像色彩失真。其中肤色作为人眼最敏感的色彩之一，肤色失真可能会降低观众的视觉体验。肤色增强是一种针对图像或视频中人类肤色的处理技术，通过对失真的肤色进行调整，达到提高显示质量的目的。尤其是在视频处理领域，在提高肤色模型自适应性的同时，还需要考虑算法的实时性与计算工作量，因此，提出一种面向实时视频处理的自适应肤色增强方法。利用镜头边界来引导肤色模型更新，以此降低模型更新的计算工作量；其次，建立一种根据镜头边界更新的动态肤色模型进行皮肤检测；最后，基于主观实验建立了偏好肤色模型，并且实现了针对不同种族的肤色增强。与现有方法相比，所提方法在主观评价实验中取得了更高的平均主观分值。实验结果表明，所提方法可以显著降低模型更新带来的计算工作量，同时实现有针对性的肤色增强。关键词 图像处理；图像增强；镜头边界检测；肤色建模中图分类号 TP391 文献标志码 A DOI：10.3788/LOP220685Video Skin-Color Enhancement Method Based on Video-Guided Model UpdatesDing Shaobo*,Zhang Yali,Zhang KunSchool of Microelectronics,Tianjin University,Tianjin 300072,ChinaAbstract During the acquisition and cross-media reproduction of videos,colors can be distorted because the color gamut of the camera is limited and may differ from the color gamut of the display device.Skin color is among the most sensitive colors to the human eye.Therefore,skin-color distortion can deteriorate viewers video experience.Skin-color enhancement is a processing technology that adjusts a distorted skin color to improve the display quality.Particularly in video processing,the self-adaptability of a skin-color model must be improved while considering the real-time performance and computational load of the algorithms.For these purposes,the present paper proposes an adaptive skin-color enhancement method for real-time video processing.The update of the skin-color model is guided by shot boundaries,which can reduce the computational load of updating.Second,a dynamic skin-color model updated with the shot boundary is built for skin detection.Finally,the preferred skin-color model and skin-color enhancements for different races are achieved through subjective experiments.The proposed method achieved higher mean opinion scores than the existing methods in subjective evaluation experiments.In addition to achieving the targeted skin-color enhancement,the proposed method significantly reduced the computational load of model update.Key words image processing;image enhancement;shot boundary detection;skin color modeling1引言随着光电信息技术的发展，图像与视频已成为人类生活中常见的信息载体，不同类型的显示设备在信息社会中成为人们生活与工作的必需品。通过电子设备获取的各种视觉信息往往是借助摄影设备从外界获取的图像与视频，最终通过显示设备对外呈现。而在拍摄过程中，由于部分摄影设备自身的色域限制，获得图像的色彩会与事物原本的色彩出现偏差，导致最终在显示设备上呈现的画面出现色彩失真。随着画面尺寸的扩展，这种色彩失真也会愈发明显1-2，进而可能会影响观众的观看体验。研究表明，在长期的观察中，人们对皮肤、天空、草地等许多常见事物的颜色会形成后天性主观认知3-4。肤色作为人类重要的外貌特征之一，在图像与视频中更容易吸引观众的注意力。因此，对图像与视频中的人类肤色进行针对性的色彩增收稿日期：2022-02-08；修回日期：2022-03-05；录用日期：2022-03-14；网络首发日期：2022-03-24通信作者：*0210014-2研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展强，使其符合人们的主观认知，是一种改善画质的有效方法。20 世纪末以来，学者们相继提出了不同的肤色增强技术。随着液晶显示器逐渐取代阴极射线管显示器，人们更加关注使用肤色增强算法来提高显示器的色彩质量的内容。目前研究领域中实现肤色增强的方法主要分为两类。第一类为基于目标偏好点实现肤色增强的方法。Kim 等5在研究肤色增强的过程中设置了多个目标偏好点，以此对不同人种的肤色进行差异化处理，实现了对不同种族的肤色增强。王涛等6在 YCbCr 色彩空间将亮度分量均分为三个等级，在三个亮度区间内分别统计肤色像素点的色度均值，并记为初始聚类中心，然后基于 K 均值聚类法计算得到目标偏好点坐标，一定程度提升了肤色增强在非均匀光照下的自适应性。该类方法计算工作量低，具备较好的实时性能，可应用于实时视频处理任务，但由于皮肤区域的检测存在误差，检测区域的边界可能出现在真实皮肤区域的平滑处。对于在检测区域边界出现的色彩突变问题，该类方法缺乏有效的解决方案。第二类为基于模型映射实现肤色增强的方法。2005 年，Kim 等7提出了一种基于模型映射的肤色增强方法，该方法在 YCbCr 色彩空间建立了从皮肤椭圆模型到人眼偏好椭圆模型的仿射变换，有效地避免了 区 域 边 界 色 彩 突 变 的 问 题。Park 等8同 样 以YCbCr色彩空间的椭圆模型为基础，提出了与椭圆模型同圆心的一种偏好肤色椭圆模型，将分布于两椭圆之间环形区域内的像素点视为需要被色彩增强的肤色像素点，在 Cb-Cr 平面上沿偏好肤色椭圆模型的方向进行色度偏移。吴平等9基于主观实验所得数据，在 Cb-Cr 平面建立了人类偏好肤色的分布模型，并与经典椭圆模型建立两者之间的映射关系，以此实现肤色增强。蒋崛等10基于认知心理学，建立了人类肤色与偏好肤色在 HSV 色彩空间的分布模型，通过两者间的映射关系实现肤色增强。该类方法通过建立更具体的模型来描述人类肤色与偏好肤色的分布特征，对肤色区域边界处色彩过渡的处理更自然。但该类方法往往基于现有的静态肤色模型进行肤色检测，在复杂环境中自适应性较差。此外，近年来随着深度学习技术的发展，采用人工神经网络模型对图像中的皮肤区域进行分割，再通过肤色增强技术对皮肤区域进行色彩增强，也成为了一种有效的肤色增强手段11。高性能的深度语义分割网络可显著提高皮肤检测精度，从而实现更高质量的肤色增强，如 DeepLabV3+模型12-13，在包括肤色检测在内的图像语义分割任务中，表现出显著优于自适应检测方法的性能；U-Net模型，作为一种高性能经典语义分割网络模型，在医学图像处理领域中具有广泛应用14-15。但值得注意的是，这一类基于深度学习的人工神经网络模型往往具有极高的模型复杂度，硬件友好性较低，虽然在图像处理领域中表现出色，但却难以满足视频处理的实时性要求。为了同时兼顾肤色增强的自适应性与算法实时性，提出一种基于视频镜头引导模型更新的自适应肤色增强方法。该方法可随着视频场景的变化对皮肤检测模型进行更新，并对检测到的皮肤区域进行肤色分类与针对性肤色增强。由于视频片段中同一镜头内每一帧的肤色分布高度相似16，因此在同一镜头内，大量的模型更新操作可以省略。应用镜头边界检测技术引导皮肤检测模型仅在镜头边界处更新，以此取代现有方法中逐帧更新模型的操作，显著提高了算法的实时性能。在肤色检测与增强方面，构建了一种动态皮肤检测模型，该模型可根据视频镜头边界的变化进行实时更新；同时，基于主观实验建立了不同种族的偏好肤色模型，实现更有针对性的肤色增强，有效避免边界处剧烈的色彩突变。2研究方法所提方法包括三个功能模块，整体系统流程如图 1所示。镜头边界检测模块将视频中每个镜头的起始帧标记为一个节点；当检测到镜头边界时，皮肤分割模块在该节点处更新皮肤检测模型，该模型将用于提取同一镜头内所有帧的皮肤区域，直至检出下一镜头图 1所提方法的系统结构Fig.1System structure of the proposed method0210014-3研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展边界；肤色增强模块对检测区域内的肤色进行分类，通过自适应模型映射实现肤色增强。2.1镜头边界检测镜头边界检测模块的作用在于检测视频中的视觉不连续性，以镜头为单位将视频序列分割成片段，引导皮肤检测模型仅在每一个镜头片段的起始节点更新参数，可以有效降低模型更新所需的计算工作量，提高算法整体的实时性。常见的镜头边界主要有突变（HT）与渐变（ST），如图 2 所示。突变表现为帧间画面的突然切换，发生在未经编辑直接衔接的两帧画面之间；渐变表现为视觉上缓慢的画面变化，通常是借助编辑手法跨越多帧实现的画面变化过程。镜头边界检测的主要思路是量化图像特征并比较帧间差异，如结构特征与色彩特征。为了能准确检测这两种镜头边界类型，提出一种基于特征融合的镜头边界检测方法。以 F1与 F2表示视频中不同的两帧，引入感知哈希算法17分别计算 F1与 F2的图像指纹，记为 P1与 P2，计算 P1与 P2之间的汉明距离，记为 DH（P1，P2），以此作为量化帧间结构差异的参数；分别计算 F1与 F2在 HSV色彩空间 Hue分量的直方图，记为 H1与 H2，计算 H1与H2之间的巴氏距离，记为 DB（H1，H2），以此作为量化帧间色彩差异的参数。其中，DH取值范围为 0，64 且与结构差异呈正相关，DB取值范围为 0，1 且与色彩差异呈负相关。将两者均归一化至区间 0，1，且使其均与对应的特征差异呈正相关，计算融合特征差异参数：DH-N(P1，P2)=DH(P1，P2)64DB-N(H1，H2)=1-DB(H1，H2)，（1）Rfusion(F1，F2)=DH-N(P1，P2)+(1-)DB-N(H1，H2)，（2）