基于视区追踪的可见光图像显著性检测方法_米祖强.pdf

第 44 卷第 3 期2023 年 3 月激光杂志LASE JOUNALVol.44，No.3March，2023http /www laserjournal cn收稿日期:20220924基金项目:教育部重点实验室开放基金课题(No K201910)作者简介:米祖强(1968)，男，硕士，高级工程师，研究方向:图像处理。基于视区追踪的可见光图像显著性检测方法米祖强1，王震2，廉哲31中国民航飞行学院模拟机训练中心，四川 广汉618307;2沈阳理工大学信息科学与工程学院，沈阳110159;3沈阳理工大学装备工程学院，沈阳110159摘要:为能准确检测出可见光图像中的目标区域，并提高图像检测的准确性，提出基于视区追踪的可见光图像显著性检测方法。对全局显著性度量，根据度量结果，运用亮度增强算法增强可见光图像后，提取图像亮度、颜色以及方向的特征信息，采用视区追踪的方法分割可见光图像，构建关于图像背景与目标的指示向量，并对背景图排序，实现可见光图像显著性检测。实验结果表明，所研究的方法在主观评价和客观评价上，检测的准确度都较高，满足方法的设计需求。关键词:视区追踪;可见光图像;显著性检测;增强;分割;度量中图分类号:TN727文献标识码:Adoi:10.14016/j cnki jgzz.2023.03.100Visible light image saliency detection method based on viewport trackingMI Zuqiang1，WANG Zhen2，LIAN Zhe31Civil Aviation Flight University of China，Simulator Training Center，Guanghan 618307，China;2Shenyang Ligong University School of Information Science and Engineering，Shenyang 110159，China;3Shenyang Ligong University School of Equipment Engineering，Shenyang 110159，ChinaAbstract:In order to accurately detect the target area in the visible image and improve the accuracy of image de-tection，a visible image saliency detection method based on visual area tracking is proposed For the global significancemeasurement，according to the measurement results，after using the brightness enhancement algorithm to enhance thevisible image，extract the characteristic information of image brightness，color and direction，segment the visible imageby the method of view tracking，construct the indication vector about the image background and target，and sort thebackground image to realize the significance detection of visible image The experimental results show that the detec-tion accuracy of the studied method is high in both subjective evaluation and objective evaluation，which meets the de-sign requirements of the methodKey words:viewport tracking;visible light image;saliency detection;enhancement;segmentation;metric1引言当前，科技发展迅速，在丰富人们日常生活的同时，也给计算机视觉处理领域带来了非常大的挑战。人类视觉系统能够从海量数据中捕获令人感兴趣的区域，如何利用这种机制，提取出重要信息，已成为目前亟须解决的问题。图像显著性检测是计算机视觉中活跃的领域之一，其能够更好地解决视觉处理任务，但是在可见光下，由于背景嘈杂和天气气候恶劣的情况，增加了图像检测的难度。针对该问题，有许多学者都开展了相关问题的研究，其中，汪虹余等人1 研究了基于蚁群优化算法的弱光图像显著性目标检测方法，该方法采用多尺度超像素分割方法转换图像，采用最优特征选择策略处理显著目标的特征信息，并去除图像的噪声信息，引入空间对比度策略探索弱光图像，实现了可见光图像检测;马啸等人2 研究了基于改进 Mask CNN 的可见光图像中舰船目标检测方法，该方法增加判别模块、类别模块，对目标进行定位与类别预测，并获得目标的边缘轮廓，在此基础上分割图像，获得更为精确的信息;单巍等人3 研究了基于深度学习的可见光图像中行人检测方法，该方法提出一种网络规模适中的深度卷积网络模型，http /www laserjournal cn获得最优的网络结构，确定最终网格参数，实现图像的检测。上述研究方法能够对图像显著性检测，但是不能检测出可见光图像中的目标区域，并且边缘较为模糊，导致检测准确率较低。为此，设计一种基于视区追踪的可见光图像显著性检测方法，期望提高图像显著性检测效果。2基于视区追踪的可见光图像显著性检测方法设计2.1可见光图像全局显著性度量可见光图像中各个像元都有区别，每个特征图会对应着相应的位置显著图，将这些特征图结合，结合后形成显著图。并且显著图中像元较多，差异也较大4，所以需要进一步分析图像空间位置之间的竞争关系，在多次迭代后，以拉大显著图与非显著位置之间的显著度差异5，相关公式如下:S0ij(x，y)=Fij(x，y)Sl+1ij(x，y)=ni=1Slij(x，y)v HSy(v)(1)上述公式中，Fij代表第 i 类第 j 幅特征图，Slij代表第 l次迭代得到的显著图，HSy代表 Slij的直方图。在此基础上，规则化处理图像特征图对应的显著图6，再合并这些参数，公式如下:Si(x，y)=1FNumimj=0N(Sij)(x，y)(2)其中，FNumi代表第 i 类特征中的特征图数目。然后利用规则化运算符进一步求出与图像各特征象对应的位置显著图，公式如下:S(x，y)=1CNumi=0CNum1N(Si)(x，y)(3)其中，Si为第 i 类对应的显著图，CNum 代表特征类别的数量。经过上述过程对图像全局显著性度量，获得较为基础的特征信息。2.2可见光图像增强在一幅输入影像中，利用亮度加强算法设定发生器，产生多曝光影像，并按指定的参数将该影像合并为一幅具有适当亮度的影像7，整体增强框架如图 1所示。将曝光图集表示为Pi=f(P，ki)(4)上述公式中，P 代表图像增强之前的原有像素点，ki代表曝光率，f 代表图像增强参数。在计算时，对曝光图集中的每一张曝光图像进行加权，当曝光程度高时，将得到更大的权重，而当曝光量大时，该加权系数就会降低。i 个权重组成一个权重图集8，归一化处理结果如下所示:WI=ni=1Wi(5)其中，代表按照元素划分的参数，Wi代表第 i 个图集的权重矩阵。重建权重图集9，计算公式如下:Qc=Ni=1(WIPci)(6)其中，c 代表色彩三通道中的通道，Pci代表生成器生成的第 i 个曝光图，?WI代表加权重构参数。图 1可见光部分增强框架通过上述过程对图像增强，为后续图像检测提供基础。2.3图像特征提取提取待检测的图像特征，主要包含亮度、颜色以及方向的信息，其中亮度特征是图像最基本的特征，能够反映出图像中物体的明暗程度10。对于一个GB 空间图像来说，其亮度表示为I=+G+B3(7)基于上述过程提取图像的亮度信息，形成亮度灰度图，接下来对图像高斯滤波处理，获得不同尺度间图像亮度特征的差异情况11，由下述公式求解:I=(CS)=|I(C)I(S)|(8)其中，(CS)代表特征的不同尺度参数。在此基础上，采用高斯金字塔转换图像颜色特征，公式表示为G(CS)=|(C)G(S)(G(C)(S)|(9)方向特征是图像重要特征之一，能够反映出图像边缘信息，对于边缘检测以及目标分割有着非常重要101米祖强，等:基于视区追踪的可见光图像显著性检测方法http /www laserjournal cn的意义。因此，采用 4 个 Gabor 滤波器提取方向特征信息12，Gabor 函数主要是由正弦函数调制下的高斯函数组成，将表达式表示为g(x，y，)=12xyexp 12x2x+y2y()()?x=xcos+ysin?y=xsin+ycos(10)基于 Gabor 函数的特性，能够提取的是图像与当前滤波器方向垂直的方向信息，在此基础上，对图像进行不同尺度变换13，变换中需要求解图像在不同尺度之间的特征差异信息14，公式如下所示:O(CS)=|O(CS)O(S)|(11)经过上述过程，提取到图像的相关特征。2.4可见光图像分割在实际的检测中会出现多个目标的情况，为此需要进一步分割目标，采用视区追踪的方法分割可见光图像，在特征图上产生大小不同的候选矩形框15，确定框中的是背景还是物体，显著图检测流程如下所示:图 2图像显著性检测流程具体过程如下所示:Step1:通过对以上预处理后的图像进行超像素分割，得到了一幅闭环图16，记作 I(V，E)，将分割后的图的节点 V 定义为 X=x1，x2，xm，xm+1，xn，其中 n 代表节点的个数;Step2:计算背景点上标记点之间的相似度，将图的度量矩阵表示为 D=diag d11，d22，dmn;Step3:构建关于图像背景与目标的指示向量17，将被标记的点记作 0，没有被标记的点记作 1。依据下述公式对标记点与背景点排序评分，公式如下:T(k+1)=asT(k)+(1)y(12)其中，k 代表排序值的贡献参数，T 代表邻近节点的排序参数，y 代表节点的邻域传播参数。按照上面所描述的程序可以对相邻节点进行分类，最后排序的分数值对应于背景分类图的显著性。Step4:依据上述过程对背景图排序，并合并排序结果，获取一次排序后的前景显著图。Step5:通过上述过程能够抑制背景的干扰，方便后续目标检测，最终显著图的公式表示为=11+exp a(0b)(13)其中，a、b 均为经验值，0代表图像融合参数。经过上述过程，抑制背景环境以及其他因素的影响，得到目标的检测结果。3仿真实验分析为验证提出的基于视区追踪的可见光图像显著性检测方法的有效性，进行一次仿真实验分析，并将文献 1 提出的基于蚁群优化算法的检测方法、文献 2 提出的基于改进 Mask CNN 的检测方法和文献 3 提出的基于深度学习的检测方法作为对比方法，与本方法进行对比分析。实验平台环境为 Intel i7 9750H，16GB AM，Mat-lab 2018a，实验中采用主观评价与客观评价结合的方法。其中，主观评价主要根据人眼视觉的主观感知评价视觉效果，评价三种方法是否能够准确提取出目标，以及可见光图像中细节保留的情况。主观评价上，收集可见光谱图像，收集过程如下所示:(1)选用型号为 SONY TD2073 的可见光谱相机，通过三脚架与云台控制相机的摆放位置，方便后期图像校正;(2)每一幅图像不能达到完全一致的成像水准，为弥补硬件偏差，采用配准软件配准，获得实验图像。在可见光检测效果主观评价上，