融合图像局部和退化表征信息的盲超分辨重建_刘建军.pdf

国外电子测量技术北大中文核心期刊D O I:1 0.1 9 6 5 2/j.c n k i.f e m t.2 2 0 4 3 1 2融合图像局部和退化表征信息的盲超分辨重建*刘建军 郝敏钗 李建朝 胡雪花(河北工业职业技术大学智能制造学院 石家庄 0 5 0 0 9 1)摘 要:针对假设的退化模型与实际模型不一致时图像超分辨性能显著降低的问题,提出了一种融合图像空间局部和退化表征信息的深度卷积神经网络模型。首先对低分辨图像提取初始特征和退化表达量;然后构建级联的空间局部信息和退化信息模块以及特征融合块,这些模块进一步级联组成特征变换子网络;最后,利用反卷积层得到高分辨率图像。在基准测试数据集上的实验表明,当高斯核宽度不为0时,算法在采样因子为2和4的盲超分辨重建中均取得了较当前主流算法更高的峰值信噪比值(P S N R),其中2盲超分辨时最高的P S N R值为3 7.5 6,4盲超分辨时最高的P S N R值为3 1.8 7,并且与主流算法相比也有较高的重建效率和较好重建视觉效果。关键词:盲超分辨;级联结构;卷积神经网络;深度学习中图分类号:TN 3 9 1文献标识码:A国家标准学科分类代码:5 2 0.6 0 4 B l i n d s u p e r-r e s o l u t i o n r e c o n s t r u c t i o n b a s e d o n f u s i o n o f l o c a l i n f o r m a t i o n a n d d e g r a d a t i o n r e p r e s e n t a t i o n o f i m a g eL i u J i a n j u n H a o M i n c h a i L i J i a n c h a o H u X u e h u a(C o l l e g e o f I n t e l l i g e n t M a n u f a c t u r i n g,H e b e i V o c a t i o n a l U n i v e r s i t y o f I n d u s t r y a n d T e c h n o l o g y,S h i j i a z h u a n g 0 5 0 0 9 1,C h i n a)A b s t r a c t:A i m i n g a t t h e p r o b l e m t h a t t h e s u p e r-r e s o l u t i o n p e r f o r m a n c e o f i m a g e i s s i g n i f i c a n t l y r e d u c e d w h e n t h e a s s u m e d d e g r a d a t i o n m o d e l i s i n c o n s i s t e n t w i t h t h e a c t u a l m o d e l,a d e e p c o n v o l u t i o n n e u r a l n e t w o r k m o d e l i n t e g r a t i n g t h e l o c a l a n d d e g r a d a t i o n r e p r e s e n t a t i o n i n f o r m a t i o n o f i m a g e s p a c e i s p r o p o s e d.F i r s t,t h e i n i t i a l f e a t u r e s a n d d e g r a d e d e x p r e s s i o n s a r e e x t r a c t e d f r o m t h e l o w-r e s o l u t i o n i m a g e,a n d t h e n t h e c a s c a d e d s p a t i a l l o c a l i n f o r m a t i o n a n d d e g r a d e d i n f o r m a t i o n m o d u l e s a n d f e a t u r e f u s i o n b l o c k s a r e c o n s t r u c t e d.T h e s e m o d u l e s a r e f u r t h e r c a s c a d e d t o f o r m t h e f e a t u r e t r a n s f o r m a t i o n s u b n e t w o r k.F i n a l l y,t h e h i g h-r e s o l u t i o n i m a g e i s o b t a i n e d b y u s i n g t h e d e c o n v o l u t i o n l a y e r.T h e e x p e r i m e n t s o n t h e b e n c h m a r k t e s t d a t a s e t s h o w t h a t t h e a l g o r i t h m a c h i e v e s h i g h e r p e a k s i g n a l-t o-n o i s e r a t i o(P S N R)t h a n t h e c u r r e n t m a i n s t r e a m b l i n d s u p e r-r e s o l u t i o n a l g o r i t h m s f o r b o t h 2 a n d 4 s a m p l i n g f a c t o r s w h e n t h e G a u s s i a n k e r n e l w i d t h i s n o t 0,w i t h t h e h i g h e s t P S N R v a l u e i s 3 7.5 6 f o r 2 b l i n d s u p e r-r e s o l u t i o n a n d 3 1.8 7 f o r 4 b l i n d s u p e r-r e s o l u t i o n,a n d a l s o h a s h i g h e r r e c o n s t r u c t i o n e f f i c i e n c y a n d b e t t e r r e c o n s t r u c t i o n v i s u a l e f f e c t c o m p a r e d w i t h t h e m a i n s t r e a m a l g o r i t h m s.K e y w o r d s:b l i n d s u p e r-r e s o l u t i o n;c a s c a d e s t r u c t u r e;c o n v o l u t i o n a l n e u r a l n e t w o r k;d e e p l e a r n i n g 收稿日期:2 0 2 2-0 9-0 6*基金项目:中 央 引 导 地 方 科 技 发 展 资 金(2 1 6 Z 1 0 0 4 G)、河 北 省 冶 金 工 业 过 程 数 字 化 控 制 技 术 创 新 中 心 研 究 项 目(S G 2 0 2 1 1 8 5)、河北工业职业技术大学博士基金(Z K 2 0 2 1 0 2)、河北省高等学校科学技术研究项目(Z C 2 0 2 2 0 1 6)资助0 引 言图像 超 分 辨(s u p e r-r e s o l u t i o n,S R)是 指 从 低 分 辨(l o w r e s o l u t i o n,L R)图像重建出对应的高分辨(h i g h r e-s o l u t i o n,HR)图像的技术1。该技术因其在航空航天、医疗成像、图像通信等领域具有重要的应用价值2,受到了广泛的关注。图像超分辨重建技术经历了基于插值的方法、基于重构的方法、基于浅层神经网络的方法、基于深度卷积神经网络(c o n v o l u t i o n a l n e u r a l n e t w o r k,C NN)方法的发展过程3-5,其中基于深度卷积神经网络的方法具有更好 的 图 像 表 征 和 重 建 能 力,是 目 前 最 活 跃 的 研 究方向6-7。211北大中文核心期刊国外电子测量技术 基于深度C NN的图像超分辨方法通常假设图像的退化模 型 是 已 知 的,当 图 像 的 实 际 退 化 模 型 与 深 度C NN假定的退化模型不一致时,会导致图像超分辨重建的性能显著下 降。为 了 解决 这 个 问题,学 者 们提 出了图像盲超分辨重建技术8-1 0。图像盲超分辨重建是指在图像的退化模型未知的条件下完成低分辨图像的超分辨重建。针对 图 像 盲 超 分 辨 重 建,Z h a n g等1 1在 训 练 深 度C NN模型时,将若干个退化模型(包括多个高斯核、多种噪声)联合训练数据作为整个训练数据来训练深度C NN模型,这种模型相对于单一假定的退化模型来说具有更强的适应性,但是当实际的退化模型未包含在训练数据的退化模型中时,图像的超分辨重建性能仍然不佳。为了提高图像盲超分辨的性能,学者们提出了估计退化模型的思路。G u等1 2提出了一种迭代估计退化模型的方法,该方法能够较准确的估计出图像的退化模型,具有较高的盲超分辨性能。但是,该方法采用多次迭代的方式估计图像的退化模型,使得算法运行时间较长,不能满足实际应用的需要。为了提高图像盲超分辨重建的效率,W a n g等1 3提出了一种基于退化表达学习的图像盲超分辨方法,具有较高的图像盲超分辨重建性能和效率。但是该方法在图像盲超分辨重建时,未利用图像的空间局部信息,限制了超分辨重建性能的进一步提高。为了提高假设的退化模型与实际模型不一致时的图像超分辨性能,本文在退化感知超分辨模型(D A S R)1 3 的基础上,提出一种基于图像空间局部信息和退化构建的深度卷积神经网络模型(s p a c i a l l o c a l a n d d e g r a d a t i o n c o n-s t r u c t i o n n e t w o r k,S L D C N)用 于 图 像 盲 超 分 辨 重 建。S L D C N使用退化表达信息的同时,进一步引入空间局部构建信息,同时在单元模块中采用特征融合机制,以增强高价值特征在网络中的传播。相对于D A S R模型,在利用退化表达信息的同时,引入空间局部信息,增强了图像盲超分辨过程中的高价值信息,从而提高模型的盲超分辨重建性能。在重建单元模块中引入特征融合机制,提高不同层级特征信息的融合能力。建立了S L D C N,该盲超分辨重建是一种从L R图像到HR图像的端到端映射模型,具有良好的图像盲超分辨能力。1 网络模型本文提 出 的S L D C N模 型 的 结 构 如 图1(a)所 示,图1(b)为级联空间局部和退化构建模块(s p a c i a l l o c a l a n d d e g r a d a t i o n c o n s t r u c t i o n,S L D C)和特征融合模块对应的结构。该模型由退化表达与初始特征提取子网络(d e g r a-d a t i o n r e p r e s e n t a t i o n