基于非局部先验的深度压缩感知图像重构网络_仲元红.pdf

基于非局部先验的深度压缩感知图像重构网络仲元红*周宇杰张静张晨旭(重庆大学微电子与通信工程学院重庆400044)摘要：传统的基于迭代的压缩感知(CS)图像重构算法易于集成图像先验信息，但存在性能不足、计算复杂度高等缺点。基于深度学习的图像重构算法重构性能通常优于传统的重构算法，并且具有更低的重构计算成本。因此，为了设计出一种更有效利用先验信息的深度学习图像重构算法，该文提出基于非局部先验的深度压缩感知图像重构网络。首先，将稀疏性和非局部先验相结合建立压缩感知图像重构模型，然后通过半二次方分裂法将模型分解为3个子问题，每一个子问题的求解都在深度学习的框架下展开，最后联合建立端到端的可训练的图像重构模型。仿真实验表明，在测试的采样率与数据集下该文所提算法的峰值信噪比与当前主流的重构算法SCSNet相比平均提升了0.18dB，与CSNet算法相比平均提升了约1.59dB，与ISTA-Net+算法相比平均提升了约2.09dB。关键词：图像重构；压缩感知；深度学习；非局部先验；半二次方分裂中图分类号：TN911.73;TP391.41文献标识码：A文章编号：1009-5896(2023)02-0654-10DOI:10.11999/JEIT211506Deep Compressive Sensing Image Reconstruction NetworkBased on Non-Local PriorZHONGYuanhongZHOUYujieZHANGJingZHANGChenxu(School of Microelectronics and Communication Engineering,Chongqing University,Chongqing 400044,China)Abstract:Thetraditionaliterative-basedCompressiveSensing(CS)imagereconstructionalgorithmiseasytointegrateimagepriorinformation,butithasshortcomingssuchasinsufficientperformanceandhighcomputationalcomplexity.Theperformanceoftheimagereconstructionalgorithmbasedondeeplearningisbetterthanthetraditionalreconstructionalgorithmsignificantly,andithaslowertimecost.Therefore,inordertodesignadeeplearningimagereconstructionalgorithmthatusespriorinformationmoreeffectively,adeepcompressivesensingimagereconstructionnetworkbasedonnon-localpriorsisproposed.Firstly,thesparsenessandnon-localpriorarecombinedtoestablishacompressedsensingimagereconstructionmodel.Secondly,themodelisdecomposedintothreesub-problemsbythehalfquadraticsplittingmethod.Thesolutionofeachsub-problemiscarriedoutundertheframeworkofdeeplearning.Finally,anend-to-endtrainableimagereconstructionmodelisjointlyestablished.Simulationexperimentsshowthatthepeaksignal-to-noiseratiooftheproposedalgorithmunderthetestedsamplingrateanddatasetisimprovedby0.18dB,1.59dB,2.09dBonaveragecomparedwiththecurrentmainstreamreconstructionalgorithmSCSNet,CSNet,ISTA-Net+respectively.Key words:Imagereconstruction;CompressiveSensing(CS);Deeplearning;Non-localprior;Halfquadraticsplitting1 引言压缩感知(CompressiveSensing,CS)理论13打破了传统奈奎斯特采样定理的约束，不再对采样频率提出2倍最高频率的要求，该理论指出，在信号具有稀疏性的前提下，利用将高维信号映射到低维信号的方式直接实现信号的压缩和采样，最后通过非线性优化问题的求解就可以实现原始信号的精确重构。压缩感知理论将压缩和采样相结合，自提出后迅速在图像视频处理4、雷达5、医学核磁共振6等领域成为研究热点。重构问题是压缩感知理论研究的一个重点，主要是通过求解一个NP-Hard问题来实现信号的精确收稿日期：2021-12-14；改回日期：2022-05-24；网络出版：2022-06-07*通信作者：仲元红基金项目：国家自然科学基金(61501069)，重庆市技术创新与应用发展面上项目(cstc2019jscx-msxmX0167)FoundationItems:TheNationalNaturalScienceFoundationofChina(61501069),TheTechnologicalInnovationandApplica-tionDevelopmentofChongqing(cstc2019jscx-msxmX0167)第45卷第2期电子与信息学报Vol.45No.22023年2月JournalofElectronics&InformationTechnologyFeb.2023重构，但该问题不存在唯一解，因此，学者针对重构问题的求解展开了大量的研究。多年来，关于压缩感知重构算法的研究主要分为两类：传统的重构算法以及基于深度学习的重构算法。传统的重构算法除了较早的非凸优化算法7,8、贪婪匹配追踪算法911、凸优化算法12,13，基于模型的重构算法是最为普遍的一种重构方法。前3种重构算法都是在信号稀疏性的基础上展开的，但是恢复效果通常不尽如人意。基于模型的重构算法则是围绕信号的先验信息进行研究，即利用不同的先验信息来建立不同的重构模型，其重构效果优于其他3类算法。针对低秩先验，Dong等人14提出了非局部低秩正则化压缩感知(CompressiveSensingviaNonlocalLow-rankRegularization,NLR-CS)方法来利用结构化稀疏性，Friedland等人15提出了一种用于高阶张量CS的统一框架广义张量压缩感知(GeneralizedTensorCS,GTCS)，该框架在保留了张量数据的固有结构的同时，还降低了重构过程的计算复杂度。Zhang等人16利用组的概念作为稀疏表示的基本单位，每个组是由具有相似结构的非局部块组成，在此基础上建立了一种新颖的基于组的稀疏表示(Group-basedSparseRepresenta-tion,GSR)。但是，上述算法需要耗时的图像块搜索或矩阵反转操作，明显增加了计算时间，降低了算法效率。深度学习在各种高级图像处理任务中表现出的良好性能，广泛地受到了各个领域的研究学者的推崇和研究。近年来，有学者提出将深度学习框架应用到压缩感知领域中来，该想法一经提出就得到了许多学者的认同，也研究出了很多优秀的深度压缩感知重构算法1722，在一定程度上有效地克服了传统压缩感知算法的弊端。最开始将压缩感知理论和深度学习相结合的是由Mousavi等人17提出的堆叠去噪声自动编码器(StackedDenoisingAutoencoder,SDA)，它采用无监督的方式实现了测量值和真实值之间的端到端映射。非迭代重构网络(Non-IterativeReconstruc-tionNetwork,ReconNet)18首次将卷积神经网络使用到压缩感知中，通过全连接层和卷积层实现图像的有效重构，但ReconNet仍是采用随机高斯矩阵作为测量矩阵。在ReconNet的基础上提出的深度残差网络(DeepResidualReconstructionNetwork,DR2-Net)19结合了ReconNet的结构和残差的思想，进一步提高了重构图像的质量。与此同时，许多学者也对测量矩阵进行了相关的设计，CSNet(CompressiveSensingNetwork)20不再采用传统的矩阵采样的方式，而是利用一层卷积层直接实现信号的采样。上述提出的网络虽然都能有效地提高重构图像的质量，但都需要针对不同采样率的单独训练，这极大地增加了训练成本。因此，Shi等人21提出了一种可伸缩的卷积神经网络SCSNet(ScalableCompressiveSensingNetwork)，该网络仅使用一个模型来实现任意采样率下的采样和重构。将传统的基于图像先验重构算法和深度学习相结合也是深度压缩感知重构算法的一个研究方向，受迭代收缩阈值算法(IterativeShrinkage-ThresholdingAlgorithm,ISTA)的启发，Zhang等人22提出了一个深度重建框架ISTA-Net，该模型将基于先验信息的图像重构模型在深度学习的框架下展开，建立了基于深度学习的图像重构网络，取得了非常好的效果。在ISTA-Net的基础上，Zhang等人23提出了一个受优化思想启发的端到端的深度网络OPINE-Net(OPtimization-INspiredExplic-abledeepnetwork)，通过采样子网，初始化子网和重构子网建立完整的重构模型，实现了图像的有效重构。这类重构算法不仅为压缩感知理论的发展提供了理论基础，而且其重构性能也不亚于基于纯深度学习的重构网络。ISTA-Net虽然实现了图像的重构，但其仍存在块效应等问题，且并未很好地利用图像的先验信息。与此同时，考虑到图像非局部先验在传统重构算法中有效提升了图像的重构质量。因此，本文结合稀疏性先验与非局部先验，提出了一种新的基于深度学习的图像重构算法，主要创新点有：(1)提出一个结合稀疏性与非局部自相似性先验的图像重构模型；(2)在半二次方分裂框架下展开求解，将重构问题转化为3个简单的子优化问题；(3)每个子问题的求解都在深度学习的框架下展开，最后联合采样重构建立端到端的可训练的重构网络。2 压缩感知理论x RNy RM压缩感知中，对于信号，其经采样后的测量值可以表示为y=Ax(1)A RMNM Nxxyx其中，表示测量矩阵，且，通常为随机高斯矩阵。根据压缩感知理论，如果信号满足稀疏性要求，则可以根据测量值对原始信号进行精确重构，即可以从等式(1)直接恢复。但由于测量值 远远小于，因此这是一个不适定的问题。为了求解上述问题，通常通过添加信号固有的先验信息作为约束，于是建立了优化问题x=argminxy Ax22+R(x)(2)第2期仲元红等：基于非局部先验的深度压缩感知图像重构网络655y Ax22R(x)其中，为数据保真项，是正则化因子，为正则化约束项，通常为稀疏约束项。对于不同的稀疏约束项，可以采用不同的固有先验设计不同的稀疏约束模型，如基于非局部相似性的多假设预测方法(Multi-hypothesis,MH)24，结合残差和时空相关性的重加权残差稀疏算法25等，也可以采用多正则化混合约束26的方法。上述重构算法都是基于图像先验来建立重构模型，而基于深度学习的重构算法更是使得重构算法的性能得到了进一步的提升，其中，较为突出的基于卷积神经网络的重构算法(CS