基于鲁棒视觉变换和多注意力的全景图像显著性检测陈晓雷*张鹏程卢禹冰曹宝宁(兰州理工大学电气工程与信息工程学院兰州730050)(兰州理工大学甘肃省工业过程先进控制重点实验室兰州730050)(兰州理工大学电气与控制工程国家级实验教学示范中心兰州730050)摘要：针对当前全景图像显著性检测方法存在检测精度偏低、模型收敛速度慢和计算量大等问题，该文提出一种基于鲁棒视觉变换和多注意力的U型网络(URMNet)模型。该模型使用球形卷积提取全景图像的多尺度特征，减轻了全景图像经等矩形投影后的失真。使用鲁棒视觉变换模块提取4种尺度特征图所包含的显著信息，采用卷积嵌入的方式降低特征图的分辨率，增强模型的鲁棒性。使用多注意力模块，根据空间注意力与通道注意力间的关系，有选择地融合多维度注意力。最后逐步融合多层特征，形成全景图像显著图。纬度加权损失函数使该文模型具有更快的收敛速度。在两个公开数据集上的实验表明，该文所提模型因使用了鲁棒视觉变换模块和多注意力模块，其性能优于其他6种先进方法，能进一步提高全景图像显著性检测精度。关键词：全景图像；显著性检测；卷积神经网络；视觉变换；注意力机制中图分类号：TP391文献标识码：A文章编号：1009-5896(2023)06-2246-10DOI:10.11999/JEIT220684SaliencyDetectionofPanoramicImagesBasedonRobustVisionTransformerandMultipleAttentionCHENXiaoleiZHANGPengchengLUYubingCAOBaoning(SchoolofElectricalEngineeringandInformationEngineering,LanzhouUniversityofTechnology,Lanzhou730050,China)(GansuProvincialKeyLaboratoryofAdvancedControlforIndustrialProcesses,LanzhouUniversityofTechnology,Lanzhou730050,China)(NationalExperimentalTeachingdemonstrationCenterofElectricalandControlEngineering,LanzhouUniversityofTechnology,Lanzhou730050,China)Abstract:Consideringtheproblemsoflowdetectionaccuracy,slowmodelconvergencespeedandlargeamountofcomputationincurrentpanoramaimagesaliencydetectionmethods,aU-NetwithRobustvisiontransformerandMultipleattentionmodules(URNet)isproposed.Sphereconvolutionisusedtoextractmulti-scalefeaturesofpanoramicimagesofthemodel,whilereducingthedistortionofpanoramicimagesafterequirectangularprojection.Therobustvisualtransformermoduleisusedtoextractthesalientinformationcontainedinthefeaturemaps...
