基于梯度指导的双通道深度压缩感知图像重建方法_欧阳宁.pdf

第4 3卷 第1期桂 林 电 子 科 技 大 学 学 报V o l.4 3,N o.1 2 0 2 3年2月J o u r n a l o f G u i l i n U n i v e r s i t y o f E l e c t r o n i c T e c h n o l o g yF e b.2 0 2 3收稿日期:2 0 2 2-0 5-0 6基金项目:国家自然科学基金(6 2 0 0 1 1 3 3,6 1 6 6 1 0 1 7,6 1 3 6 2 0 2 1);广西自然科学基金(2 0 1 7 G X N S F B A 1 9 8 2 1 2);广西科技重大专项(桂科A A 2 0 3 0 2 0 0 1);广西科技基地和人才专项(桂科A D 1 9 1 1 0 0 6 0);广西无线宽带通信与信号处理重点实验室基金(G X K L 0 6 2 0 0 1 1 4)通信作者:欧阳宁(1 9 7 2-),男,教授,研究方向为智能信号处理。E-m a i l:2 9 3 0 5 3 0 q q.c o m引文格式:欧阳宁,任天宇,林乐平.基于梯度指导的双通道深度压缩感知图像重建方法J.桂林电子科技大学学报,2 0 2 3,4 3(1):1-6.基于梯度指导的双通道深度压缩感知图像重建方法欧阳宁,任天宇,林乐平(桂林电子科技大学 信息与通信学院,广西 桂林 5 4 1 0 0 4)摘 要:针对压缩感知重建图像边界部分模糊和畸变的问题,将图像的先验特性与深度学习网络相结合,提出了一种基于梯度指导的双通道深度压缩感知图像重建方法。该方法利用梯度图像和原始图像从边缘和纹理2个方面构建了双通道的深度网络模型。一方面,通过梯度分支来恢复高质量梯度图,为最后的重建图像提供额外的结构先验;另一方面,提出了梯度损失,图像的梯度约束有助于重建网络更专注于几何结构。在原图通道中采用混合卷积残差密集连接模块,扩大感受野的同时提取丰富的细节信息。实验结果表明,本方法与其他方法相比,取得了更高的重建质量,特别是在图像边界部分的恢复上有显著提升。关键词:图像重建;压缩感知;图像梯度;双通道深度网络中图分类号:T P 3 9 1.4 1 文献标志码:A 文章编号:1 6 7 3-8 0 8 X(2 0 2 3)0 1-0 0 0 1-0 6D e p t h c o m p r e s s i o n s e n s i n g i m a g e r e c o n s t r u c t i o n m e t h o d b a s e d o n g r a d i e n t g u i d a n c e f o r t w o-c h a n n e l O U Y A N G N i n g,R E N T i a n y u,L I N L e p i n g(S c h o o l o f I n f o r m a t i o n a n d C o mm u n i c a t i o n,G u i l i n U n i v e r s i t y o f E l e c t r o n i c T e c h n o l o g y,G u i l i n 5 4 1 0 0 4,C h i n a)A b s t r a c t:I n o r d e r t o s o l v e t h e p r o b l e m o f b l u r a n d d i s t o r t i o n i n t h e b o u n d a r y o f c o m p r e s s e d p e r c e p t u a l r e c o n s t r u c t i o n i m-a g e,t h e p r i o r i p r o p e r t i e s o f i m a g e a r e c o m b i n e d w i t h t h e d e p t h l e a r n i n g n e t w o r k,a g r a d i e n t-g u i d e d t w o-c h a n n e l d e p t h-c o m-p r e s s e d p e r c e p t u a l i m a g e r e c o n s t r u c t i o n m e t h o d i s p r o p o s e d.T h i s m e t h o d u s e s g r a d i e n t i m a g e a n d o r i g i n a l i m a g e t o c o n-s t r u c t a t w o-c h a n n e l d e p t h n e t w o r k m o d e l f r o m t w o a s p e c t s o f e d g e a n d t e x t u r e.O n t h e o n e h a n d,t h e g r a d i e n t b r a n c h e s a r e u s e d t o r e s t o r e t h e h i g h q u a l i t y g r a d i e n t m a p,w h i c h p r o v i d e s a n a d d i t i o n a l s t r u c t u r a l p r i o r f o r t h e f i n a l r e c o n s t r u c t e d i m a g e,t h e g r a d i e n t c o n s t r a i n t o f t h e i m a g e h e l p s t o r e c o n s t r u c t t h e n e t w o r k f o c u s i n g m o r e o n t h e g e o m e t r i c s t r u c t u r e.I n t h e c h a n-n e l o f t h e o r i g i n a l i m a g e,t h e m i x e d c o n v o l u t i o n r e s i d u a l s a r e c o n n e c t e d t i g h t l y t o e x p a n d t h e r e c e p t i v e f i e l d a n d e x t r a c t r i c h d e t a i l i n f o r m a t i o n.E x p e r i m e n t a l r e s u l t s s h o w t h a t t h e p r o p o s e d m e t h o d a c h i e v e s b e t t e r r e c o n s t r u c t i o n q u a l i t y t h a n o t h e r m e t h o d s,e s p e c i a l l y i n t h e r e s t o r a t i o n o f i m a g e b o u n d a r y.K e y w o r d s:i m a g e r e c o n s t r u c t i o n;c o m p r e s s e d s e n s i n g;g r a d i e n t o f i m a g e;d u a l-c h a n n e l d e e p n e t w o r k S h a n n o n-N y q u i s t采样理论表明1,对采样信号的最高频率至少2倍采样才能准确地恢复原始信号,但同时会产生大量冗余信息。压缩感知(c o m p r e s s s e n s e,简称C S)理论的提出,是为了在有限时间内实现采样和压缩。利用图像的先验稀疏性可以以较低的采样率对信号进行恢复,这在信号采集领域是一个新的突破2。传统的图像压缩感知重建方法通常将图像重建过程描述为一个凸稀疏学习问题3,如正交匹配追踪方法4和基方法5,将一个变换域中的图像稀疏性作为先验信息,通过迭代优化的方法来重建原始图像。尽管基于迭代优化的图像压缩感知重建方法可保证其收敛性,但迭代优化过程的计算成本很高,重建时间较长,重建图像的质量不高。DOI:10.16725/45-1351/tn.2023.01.008桂林电子科技大学学报2 0 2 3年2月随着深度学习的快速发展,深度神经网络6在计算机视觉任务方面取得了一系列突破,如图像分类7、图像超分8、图像分割9等。研究人员开始重点研究基于深度学习的图像压缩感知重建方法,提出了几种用于压缩感知图像重建的深度神经网络1 0-1 2,这些方法可实现快速重建高质量的图像1 3。与基于迭代优化的方法相比,基于深度学习的图像压缩感知重建算法拥有强大的学习能力,避免了传统方法昂贵的计算成本,具有很好的重构性能,但图像结构的可解释性差,重建图像中存在边界模糊的问题,特别是在低采样率下,局部结构和纹理重建效果不理想。如何将图像先验和深度网络相结合是图像处理领域的重要内容,已经被广泛应用在图像复原、人脸识别等领域1 4-1 7。图像的梯度成分包含了其每个局部区域清晰的边缘和结构信息,具有图像的先验特性,在重建过程中可利用图像的梯度图来指导整个重建过程,帮助网络获取更多的边缘信息。受到图像梯度对重建图像进行结构指导的启发1 8,将图像的先验梯度信息与深度网络相结合,提出了一种融合图像梯度的双通道深度网络(i m a g e g r a d i e n t f u s i o n d u a l-c h a n n e l d e e p n e t w o r k,简 称G F D-N e t),可用于图像的压缩感知重建。通过对原始图像进行S o b e l梯度提取,设计了一种双通道的网络框架。在网络框架中设计了包含梯度残差密集连接组的梯度通道重建梯度图像,将重建的梯度图像与重建的原始图像通过融合模块进行特征融合,生成最终的重建图像。同时,网络增加了一个梯度损失,可约束梯度图像的重建质量,当重建出高质量的梯度图像后,原始图像的重建问题就变成了一个色彩填充问题。与已有基于深度网络的C S重建方法相比,本方法利用梯度通道重建后的梯度图来辅助原图通道高质量图像的生成,使网络可更多地关注图像的轮廓和边缘。实验结果表明,G F D-N e t可有效恢复图像边缘和轮廓,可获得边界更加清晰且视觉效果更好的重建图像。1 图像梯度先验分析图像梯度计算的是图像强度或边缘变化的速度,图像的边缘成分中灰度值变化较大,故图像梯度值较大。图像梯度先验可通过将图像看作一个二维离散函数并对其求导得到。图像梯度图中包含丰富的边缘信息,可为网络提供结构先验。为了提取图像边缘信息,将初始重建值zQi n i ti利用S o b e l边缘算子S()=I(x)2,(1)zSi=S(zQi n i ti)(2)获得包含x、y两个方向梯度信息的特征图zSi。两个方向的灰度值之和为I(x)=Ix(x)+Iy(y)。(3)其中:Ix(x)、Iy(y)分别为图像每个像素的横向和纵向灰度值,I(x)为两者之和,同时包含x、y两个方向的灰度值;S()代表2个方向梯度信息提取操作符。图像梯度的提取可通过一个固定的卷积层来进行。因为S()是可微的,所以模型可以进行端到端训练。图1为原始图像梯度提取示意图,可以看到梯度图像中包含丰富的边缘信息,利用梯度图可很好地恢复图像的边界特征。图1 梯度提取示意图此外,因梯度图某点像素的大小可很好地表示图像在局部区域中锐利的边缘信息,所以在对图像进行梯度提