基于双域信息的深度残差网络图像去噪_李凯.pdf

2 0 2 3年河北大学学报(自然科学版)2 0 2 3第4 3卷 第2期J o u r n a l o f H e b e i U n i v e r s i t y(N a t u r a l S c i e n c e E d i t i o n)V o l.4 3 N o.2D O I:1 0.3 9 6 9/j.i s s n.1 0 0 0 1 5 6 5.2 0 2 3.0 2.0 1 4基于双域信息的深度残差网络图像去噪李凯1,张辉1,崔丽娟2,彭锦佳1,陈泰熙3(1.河北大学 网络空间安全与计算机学院,河北省机器视觉工程研究中心,河北 保定 0 7 1 0 0 2;2.河北大学 图书馆,河北 保定 0 7 1 0 0 2;3.香港浸会大学 计算机科学系,香港 9 9 9 0 7 7)摘 要:基于深度学习的去噪技术,通过考虑视觉伪影和整体平滑噪声,提高了图像的质量.然而,它们很少涉及边缘细节的恢复.为此,本文提出了一种基于双域信息的深度残差网络去噪模型,利用小波域信息与空间域信息的融合来扩展网络学习信息,通过在激活单元内引入多尺度学习和空洞卷积,以此提取图像特征,并减少了网络参数.为了进一步改善去噪结果,结合小波域损失和空间域损失构造联合损失函数,使得网络获取更多的边缘与细节.实验结果表明,本文提出的方法不仅可以有效去除图像噪声,而且可以更好地恢复图像纹理细节,在主观和客观评价中均获得了更好的结果.关键词:图像去噪;双域映射;残差学习;激活单元;损失函数中图分类号:T P 3 9 1 文献标志码:A 文章编号:1 0 0 0 1 5 6 5(2 0 2 3)0 2 0 2 1 6 0 9I m a g e d e n o i s i n g b a s e d o n d e e p r e s i d u a l n e t w o r k w i t h d u a l-d o m a i n i n f o r m a t i o nL I K a i1,Z H A N G H u i1,C U I L i j u a n2,P E N G J i n j i a1,C H E N T a i x i3(1.H e b e i M a c h i n e V i s i o n E n g i n e e r i n g R e s e a r c h C e n t e r,S c h o o l o f C y b e r S e c u r i t y a n d C o m p u t e r,H e b e i U n i v e r s i t y,B a o d i n g 0 7 1 0 0 2,C h i n a;2.L i b r a r y,H e b e i U n i v e r s i t y,B a o d i n g 0 7 1 0 0 2,C h i n a;3.D e p a r t m e n t o f C o m p u t e r S c i e n c e,H o n g K o n g B a p t i s t U n i v e r s i t y,H o n g K o n g 9 9 9 0 7 7,C h i n a)A b s t r a c t:T h e d e n o i s i n g t e c h n o l o g y b a s e d o n d e e p l e a r n i n g i m p r o v e s t h e i m a g e q u a l i t y b y c o n s i d e r i n g v i s u a l a r t i f a c t s a n d o v e r a l l s m o o t h i n g n o i s e.H o w e v e r,t h e y r a r e l y i n v o l v e t h e r e s t o r a t i o n o f e d g e d e t a i l s.I n t h i s p a p e r,a d e e p d e n o i s i n g n e t w o r k m o d e l b a s e d o n d u a l-d o m a i n m a p p i n g a n d r e s i d u a l l e a r n i n g i s p r o p o s e d.T h e n e t w o r k l e a r n i n g i n f o r m a t i o n i s e x t e n d e d b y t h e f u s i o n o f w a v e l e t d o m a i n i n f o r m a t i o n a n d s p a t i a l d o m a i n i n f o r m a t i o n.B y i n t r o d u c i n g m u l t i-s c a l e l e a r n i n g a n d d i l a t e d c o n v o l u t i o n i n t o t h e a c t i v a t i o n u n i t,t h e i m a g e f e a t u r e s a r e e x t r a c t e d a n d t h e n e t w o r k p a r a m e t e r s a r e r e d u c e d.I n o r d e r t o f u r t h e r i m p r o v e t h e d e n o i s i n g r e s u l t s,t h e j o i n t l o s s f u n c t i o n o f w a v e l e t d o m a i n l o s s a n d s p a t i a l d o m a i n l o s s a r e c o m b i n e d t o g u i d e t h e n e t w o r k t o o b t a i n m o r e e d g e s a n d d e t a i l s.E x p e r i m e n t a l r e s u l t s s h o w t h a t t h e p r o p o s e d m e t h o d c a n n o t o n l y e f f e c t i v e l y r e m o v e i m a g e n o i s e,b u t a l s o b e t t e r r e s t o r e i m a g e t e x t u r e d e t a i l s,a n d o b t a i n b e t t e r r e s u l t s i n b o t h s u b j e c t i v e a n d o b j e c t i v e e v a l u a t i o n.K e y w o r d s:i m a g e d e n o i s i n g;d u a l-d o m a i n m a p p i n g;r e s i d u a l l e a r n i n g;a c t i v a t i o n u n i t;l o s s f u n c t i o n图像在生成和传输过程中常常受到各种噪声的干扰从而降低图像的质量,例如仪器不完善、环境干扰、传输错误和数据采集过程繁杂等.因此,图像去噪1成为图像处理和计算机视觉研究的热点.关于图像去噪,收稿日期:2 0 2 2 0 1 1 0 基金项目:河北省自然科学基金资助项目(F 2 0 2 2 2 0 1 0 0 9)第一作者:李凯(1 9 6 3),男,河北保定人,河北大学教授,博士,主要从事机器学习、数据挖掘等研究.E-m a i l:l i k a i h b u.c n第2期李凯等:基于双域信息的深度残差网络图像去噪早期的研究方法主要分为2类:空间域去噪2-3和变换域去噪4-5.在空间域方法中,主要对原图像直接进行数据运算,并对像素的灰度值进行处理.B u a d e s等6提出了非局部均值(N LM)方法,将每个滤波的局部邻域扩展到整个有效图像域,在去噪的同时能最大程度地保持图像的细节特征,因此,N LM滤波器明显优于以前的空间域去噪器.在变换域方法中,主要通过傅里叶变换7、离散余弦变换8和小波变换9等用一组系数来表示噪声图像,再将变换域中的系数进行处理,最后利用反变换将图像从变换域转换到空间域来达到去除图像噪声的目的,其中,小波变换是较为常见的用于图像去噪的方法.传统方法在图像去噪方面获得一定的效果,但是在处理高分辨率图像时效果并不理想,且容易丢失图像细节.针对这一问题,研究人员提出了利用图像先验建模进行去噪.G u等1 0提出了加权核范数矩阵逼近(WNNM)方法,通过计算欧氏距离得到图像块之间的相似度,但由于噪声会影响图像块之间相似性的计算,则该方法可能出现夸大变化微小变量的作用,导致相似度不稳定的情况,严重影响了图像的去噪效果.D a b o v等1 1提出了块匹配三维滤波(BM 3 D)方法,以块为单位进行操作,对于每个块,在空间域上搜索相似的块,并将其组合成3 D块;对3 D块在变换域中去噪并返回到空间域.由于需要同时考虑多个图像块匹配,所以该方法计算复杂度较高.受BM 3 D的启发,人们提出了各种方法来提高去噪性能.K n a u s等1 2提出了双域滤波图像去噪方法,在空间域使用双边滤波器1 3,在变换域使用短时傅里叶变换1 4用于小波收缩.通过两者互补,从而得到较好的去噪效果,但其计算代价较高.目前,随着深度学习技术的发展,基于卷积神经网络的图像去噪方法获得了人们的关注,它可以通过数据预先学习获取丰富的图像特征.B a o等1 5基于U-n e t1 6网络实现图像去噪,为使输出结果可反馈以调节网络,从而改善去噪性能.D i v a k a r等1 7提出了基于闭环的去噪网络,此去噪模型包括生成及判别模块,通过将判别结果反馈至生成模块以改善去噪效果.Z h o n g等1 8提出的去噪模型中生成及判别模块均采用浅层卷积网络,其损失函数建模为像素及对抗损失,相比上述学习模型,该方法去噪效果较好,然而直观可感知细节即主观信息仍有明显丢失.Z h a n g等将残差学习1 9应用至图像去噪,提出了前馈去噪卷积网络2 0(D n C-NN),在提取深度特征时将低级特征信息作为参考,并引入批量归一化2 1(B N)调节网络以提升网络收敛速度,从而高效获取残差图像,进而提高图像去噪效果.基于上述讨论,本文结合深度学习将空间域信息与小波域信息融合,提出了一种基于残差网络的图像去噪方法,采用2个并行和蝶形多层网络,在增加网络宽度的同时,结合空间域信息和小波域信息,较好地保留图像的原始信息.另外,构造的联合损失采用空间域损失和小波域损失的加权和以提高模型训练的准确率.1 预备知识1.1 残差学习残差学习的基本思想是利用多层卷积拟合一种残差映射,通过跳跃连接使不同层之间的信息相互传递,并将当前网络输出和原始网络输入的差值作为输出.这种跳跃连接可以跨越多层执行映射,因此当网络深度加深时,可以避免产生梯度消失等问题,使网络更好地优化.残差模块结构如图1所示.图1 残差模块结构F i g.1 R e s i d u a l s t r u c t u r e残差模块的输出可表示为R(x)=f(x)+x,(1)其中,x和R(x)分别代表该网络的输入和输出,f(x)表示内部网络的输出结果,表示对原有输入的保留程度.7121.2