基于动态阈值的视频场景切换检测_孙孟寒.pdf

基于动态阈值的视频场景切换检测孙孟寒1,任维政21(北京邮电大学电子工程学院,北京100876)2(北京邮电大学自动化学院,北京100876)通信作者:任维政,E-mail:摘要:视频场景切换检测在视频处理领域十分重要,优秀的视频场景切换检测算法对于视频的后续处理,包括信息标注与特征提取等都具有很大的意义.本文以传统的图像处理方法为基础,结合 ORB(orientedFASTandrotatedBRIEF)快速特征描述子,分别实现图像的相似度估计.通过动态融合因子,将多种基本算法得到的相似度在完整算法中的价值量化,并根据邻帧相似度计算动态阈值,从而提高了算法的稳定性;另外通过流程规划,减少了算法中耗时长的部分的调用次数,最终实现了高效的视频场景切换检测.实验结果表明,视频场景切换检测的准确率有一定程度地提升.关键词:场景切换检测;图像特征;ORB;特征点提取;相似度估计;动态因子引用格式:孙孟寒,任维政.基于动态阈值的视频场景切换检测.计算机系统应用,2023,32(2):234241.http:/www.c-s- Scene Switching Detection Based on Dynamic ThresholdSUNMeng-Han1,RENWei-Zheng21(SchoolofElectronicEngineering,BeijingUniversityofPostsandTelecommunications,Beijing100876,China)2(SchoolofAutomation,BeijingUniversityofPostsandTelecommunications,Beijing100876,China)Abstract:Videosceneswitchingdetectionisimportantinvideoprocessing.Anexcellentalgorithmforvideosceneswitchingdetectionisofgreatsignificanceforsubsequentvideoprocessing,includinginformationannotationandfeatureextraction.Inthisstudy,onthebasisofthetraditionalimageprocessingmethodsandorientedFASTandrotatedBRIEF(ORB),thesimilarityestimationofimagesisrealizedseparately.Throughthedynamicfusionfactor,thevalueofsimilarityobtainedbyvariousbasicalgorithmsinthecompletealgorithmisquantified,andthedynamicthresholdiscalculatedaccordingtothesimilarityofneighboringframestoimprovethestabilityofthealgorithm.Inaddition,byflowplanning,thenumberofcallsofthetime-consumingpartofthealgorithmisreduced,andefficientvideosceneswitchingdetectionisfinallyrealized.Theexperimentalresultsshowthattheaccuracyofvideosceneswitchingdetectionisimprovedtoacertainextent.Key words:sceneswitchingdetection;imagefeatures;orientedFASTandrotatedBRIEF(ORB);featurepointextraction;similarityestimation;dynamicfactor在社会高度发展的今天,视频已经成为人们生活中不可或缺的一部分.大小机构也开始了对视频内容的解构分析与对价值的深度挖掘,例如视频索引建立、视频分类、视频分割、视频信息提取等.而对视频场景的切换进行检测往往是进行各种操作的基础,好的视频场景切换检测算法可以为视频下一步的处理提供更优秀的更具有识别性的基本数据集.所以对视频场景切换检测方法的研究有很大的意义.计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(2):234241doi:10.15888/ki.csa.009004http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041收稿时间:2022-06-13;修改时间:2022-07-12,2022-08-15,2022-09-27;采用时间:2022-09-30;csa 在线出版时间:2022-12-09CNKI 网络首发时间:2022-12-13234软件技术算法SoftwareTechniqueAlgorithm近些年来,随着机器学习算法的发展,基于学习和模型的方法在该领域也取得了突出的成果.有学者通过三重损失学习的方法,将视频场景切换的问题转换为对场景的二分类问题1;还有学者将深度神经网络-隐马尔科夫等模型用于视频场景分割算法2,同样获得了优秀的检测效果;文献 3 结合 CNN 和 RNN 的能力,突破了单一架构的局限性;文献 4 中通过利用图像的正交矩作为特征值,同时采用快速块处理方法和嵌入正交多项式算法进行特征提取从而提高了算法处理速度.既然基于机器学习的方法进步得如此迅猛,对传统算法的学习与研究的意义是什么呢?首先机器学习算法为了服务于特定的场景一般都需要经过大量的数据训练,同时针对不同的使用场景,需要的训练集合也不尽相同,而利用图像的基本特征的传统算法无需训练,可以做到拿来即用;另外机器学习算法也可以参考传统算法中的一些内容,来建立更加完善的模型.所以对传统算法的研究仍然有很大的意义5.传统算法的做法一般是对相邻图像的信息进行定量表示,并对定量信息进行相似度估计,最终根据设定的阈值进行场景切换判断.将信息定量化表示的经典方法有像素比较法、直方图比较法、基于边缘的方法等6.其中像素比较法抗干扰性差,容易受噪声影响;直方图比较法较为稳定,但容易忽略图像的纹理信息;基于边缘的方法运算量大,时效性差.为更好地使用传统算法实现视频场景切换的检测,国内外研究人员采用了各种不同的处理方式.文献 7在使用基于直方图的方法时,通过在图像上建立矩形环的方式,在一定程度上保留了图像的空间特征.而文献 8 中则提出了一种基于 ORB 的场景切换检测方法,证明了基于图像特征点判断场景切换的可行性.根据上述情况,笔者结合视频图像中的颜色信息与特征点信息9,设计了一套动态因子,通过使用这些动态因子,可以缓解各种基本方法的缺陷给算法带来的影响;同时动态规划算法的执行步骤,最终实现一种融合多种方法的规范化处理流程.经过实验验证,该方法的速度稳定,且拥有较好的检测效果.1基本特征相似度估计 1.1 HSV 相似度估计HSV 是图像的一种三维的颜色空间模型,由色调(H)、饱和度(S)、明度(V)这 3 个参数对颜色进行综合描述.HSV 颜色空间可以通过 RGB 线性颜色空间变换得到,人眼对该种模型的感知度较高10.由于邻帧图像的色调与饱和度变化的参考性较强,而明度变化的参考性最弱,为保证方法效率,计算方法保留色调与饱和度两个属性.将两个属性按照数值各自分为 16 个等长区间,并根据式(1)确定像素所属的直方图坐标(直方图宽度为 256).式(1)中 P 为像素点的直方图坐标,H 为将色调按大小均分为 16 份后,像素点的色调值,S 为将饱和度按大小均分为 16 份后,像素点的饱和度值.P=H16+S(1)计算图像中各个像素点的直方图坐标,最终可以生成图像的颜色特征直方图.对于两个不同图像的颜色直方图,采用式(2)计算图像的色彩相似度 Sh.相似度越接近 1,代表图像越相似,相似度越接近 0,代表图像间差异越大.其中 n 为直方图宽度,ai,bi分别为两幅图像的颜色直方图在点 i 上的值.Sh=1nni=11|aibi|max(ai,bi)(2)基于图像颜色信息的直方图相似度估计方法具有抗干扰性强的特点,但使用该方法会忽略图像纹理信息,造成颜色相似的视频切换点的漏判.1.2 哈希相似度估计该方法的基本概念是使用感知哈希的方式生成相邻图像的指纹对,并对生成的指纹对进行基于汉明距离的相似度估计.这里使用的感知哈希算法流程为:(1)首先将图像进行压缩,压缩至 3232,从而消除图片尺寸比例带来的差异,并在一定程度上减小高频和细节上的差异所造成的影响.(2)将图像的三色通道转换成单一灰色通道,并提取颜色信息生成 3232 大小的灰度矩阵.(3)对灰度矩阵使用 DCT(离散余弦变换)进行有损的图像压缩,提取矩阵左上角 88 的矩阵作为最终的参考矩阵.(4)求出该区域内的平均灰度值.(5)根据矩阵中各点的灰度值与平均灰度的大小关系,确定二进制数的该位信息,从而生成 64 位指纹.得到图像的指纹之后,可以根据指纹的汉明距离对图像进行相似度估计,采用式(3)计算图像的纹理相似度 Sp.相似度越接近 1,代表图像越相似,相似度越接近 0,代表图像差异越大,其中 n 为指纹的长度.2023年第32卷第2期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法235Sp=1n0,different1,same(3)该方法可以在一定程度上保留图像的纹理信息,但对旋转放缩等类型的图像剧烈变化,稳定性远不如基于颜色的直方图相似度估计方法,可能会造成误判.1.3 融合因子与动态阈值由于视频的种类繁多,且相同种类的视频也会有不同的背景变动情况,所以对于不同视频应选用不同的相似度阈值进行场景切换的判定.文献 11 中通过建立动态阈值的方法,实现针对不同视频的使用不同的阈值.参考该方法,笔者结合本文算法,重新设计了动态因子.由于相邻帧有很大可能具有相似的特征,所以帧图像的相似度参考值 S 也应该考虑该帧图像的前置区间内各帧的图像相似度,故在完成每幅图像的场景切换判定后,根据式(4),计算新相似度参考值.这里的相似度参考值即为判断该帧图像是否经过场景变换的一个参考值.其中 So为旧的相似度参考值,而 Sn为最新帧的图像相似度,a 为传播因子,a 越小代表过去的帧图像的相似度对相似度参考值的影响越小.经过测试,a 值选取 0.9 效果较好,选取 0.9 时,当前帧向前 20 帧的帧图像的相似度对相似度参考值的影响值小于0.92012%,且旧帧与当前帧越接近,其相似性的对参考值的影响也越强.S=Soa+Sn(1a)(0 a 1)(4)考虑到基于颜色信息与纹理信息对图像进行相似度评估的方法各自的优点,将使用第 1.1 节与第 1.2 节中方法计算得到的相似度做融合处理,根据式(5)对相似度进行融合.其中 M 为融合因子,M 越高代表基于颜色信息的相似度 Sh参考性越强,基于纹理信息的相似度 Sp参考性越弱.Sn=MSh+(1M)Sp(0 M 1)(5)实验发现,M 的优秀值并不固定,与两种方法计算得到的相似度的可靠性有关,即使用颜色直方图方法得到的相似度的可靠性越高,则在融合时该方法应该占有的比重就越大,于是引入动态融合因子的概念.为此,首先将式(4)中的相似度参考值进行概念上的扩展,见式(6).其中 Ca、Cj、Ta、Tj分别代表颜色特征参考值、颜色特征跳变参考值、纹理特征参考值、纹理特征跳变参考值.跳变的判定见后文.Ca=Caa+Sh(1a)Cj=Cja+Sh(1a),可能跳变Cj,不可能跳变Ta=Taa+Sp(1a)Tj=T