多尺度残差特征融合的轻量级真实图像超分辨率重建_吕佳.pdf

D O I:1 0.1 6 1 3 6/j.j o e l.2 0 2 3.0 2.0 2 0 4多尺度残差特征融合的轻量级真实图像超分辨率重建吕 佳1,2*,许鹏程1,2(1.重庆师范大学 计算机与信息科学学院,重庆4 0 1 3 3 1;2.重庆师范大学 重庆市数字农业服务工程技术研究中心,重庆4 0 1 3 3 1)摘要:基于深度学习的真实 图 像 超 分 辨 率(s u p e r-r e s o l u t i o n,S R)重 建 算 法 目 前 存 在 参 数 量 过 大 的问题,为解决该问题,提出了一种多 尺 度 残 差 特 征 融 合 的 轻 量 级 真 实 图 像S R重 建 算 法。首 先 利用深度可分离卷积和复用卷积针 对 多 尺 度 特 征 提 取 块 进 行 改 进,在 提 取 特 多 尺 度 特 征 的 同 时 实现了模块的轻量化,参数量仅为改 进 前 的7.5%。其次使用残差特征融合操作将4个多尺度深度可分离特征提取块(m u l t i-s c a l ed e p t h w i s es e p a r a b l eb l o c k,MS D S B)聚合成一个残差特征融合块,以减少残差路径长度。然后使用 增 强 型 注 意 力 模 块 从 通 道 和 空 间 维 度 进 行 自 适 应 调 整 以 提 升 算 法 性能。最后使用自适应上采样模块获得S R重建图像。在消融实验中,本文算法重建性能超过原始算法,且参数量仅为3.5 31 06,是原始算法的3 4.5%。在对比实验中,其重建性能超过了当前主流算法,与组件分而治之(c o m p o n e n td i v i d e-a n d-c o n q u e r,C D C)算法相比,P S NR和S S I M指标分别提升了0.0 1d B与0.0 0 1 0,且参数量仅为组件C D C算法的8.8 4%,在保证重建性能的同时实现了算法的轻量化。关键词:真实图像;图像超分辨率(S R)重建;卷积神经网络;深度可分离卷积;残差特征融合中图分类号:T P 3 9 1.4 1 文献标识码:A 文章编号:1 0 0 5-0 0 8 6(2 0 2 3)0 2-0 1 2 0-1 2L i g h t w e i g h t r e a l-w o r l d i m a g e s u p e r-r e s o l u t i o n r e c o n s t r u c t i o nb a s e do nm u l t i-s c a l e r e s i d u a l f e a t u r e a g g r e g a t i o nL VJ i a1,2*,X UP e n g c h e n g1,2(1.C o l l e g e o fC o m p u t e r a n d I n f o r m a t i o nS c i e n c e s,C h o n g q i n gN o r m a lU n i v e r s i t y,C h o n g q i n g 4 0 1 3 3 1,C h i n a;2.C h o n g q i n gC e n t e r o fE n g i n e e r i n gT e c h n o l o g yR e s e a r c ho nD i g i t a lA g r i c u l t u r eS e r v i c e,C h o n g q i n gN o r m a lU n i-v e r s i t y,C h o n g q i n g4 0 1 3 3 1,C h i n a)A b s t r a c t:A t p r e s e n t,t h e r e e x i s t s t o om a n yp a r a m e t e r sa m o u n t i n t h e r e a l-w o r l d i m a g es u p e r-r e s o l u t i o n(S R)r e c o n s t r u c t i o na l g o r i t h mb a s e do nd e e p l e a r n i n g.T os o l v et h i sp r o b l e m,a l i g h t w e i g h t r e a l-w o r l di m a g eS Rr e c o n s t r u c t i o na l g o r i t h mb a s e do nm u l t i-s c a l e r e s i d u a l f e a t u r ea g g r e g a t i o n i sp r o p o s e d.F i r s t,t h ed e p t h w i s e s e p a r a b l e c o n v o l u t i o n a n dm u l t i p l e x i n g c o n v o l u t i o n a r e u s e d t o i m p r o v e t h e e x i s t i n gm u l t i-s c a l e f e a t u r e e x t r a c t i o nb l o c k,w h i c ha c h i e v e s t h e l i g h t w e i g h to f t h em o d u l ew h i l ee x t r a c t i n gt h ee x t r a-m u l t i-s c a l e f e a t u r e,w i t ho n l y 7.5%o f t h e p a r a m e t e r s a m o u n t b e f o r e t h e i m p r o v e m e n t.N e x t,t h e r e s i d u-a l f e a t u r ea g g r e g a t i o ni se x p l o i t e dt oa g g r e g a t et h e4m u l t i-s c a l ed e p t h w i s es e p a r a b l eb l o c k sa m o u n t(M S D S B)i n t oa r e s i d u a l f e a t u r ea g g r e g a t i o nb l o c kt or e d u c e t h e l e n g t ho f t h e r e s i d u a l p a t h.T h e n,t h ee n h a n c e da t t e n t i o nm o d u l e i su t i l i z e d t oa d a p t i v e l ya d j u s t t h e c h a n n e l a n ds p a t i a l d i m e n s i o n s t o i m p r o v et h ep e r f o r m a n c eo f t h ea l g o r i t h m.F i n a l l y,t h ea d a p t i v eu p s a m p l i n gm o d u l e i su s e dt oo b t a i nS Rr e c o n-s t r u c t e d i m a g e s.I na b l a t i o ne x p e r i m e n t s,t h e r e c o n s t r u c t i o np e r f o r m a n c eo f t h ea l g o r i t h mi sb e t t e r t h a nt h a t o f t h e o r i g i n a l a l g o r i t h m,a n d t h e p a r a m e t e r s a m o u n t i s o n l y 3.5 3 1 06,w h i c h i s 3 4.5%o f t h e o r i g-光 电 子 激 光第3 4卷 第2期 2 0 2 3年2月 J o u r n a l o fO p t o e l e c t r o n i c sL a s e r V o l.3 4N o.2 F e b r u a r y2 0 2 3*E-m a i l:l v j i a c q n u.e d u.c n收稿日期:2 0 2 2-0 3-2 9 修订日期:2 0 2 2-0 4-2 9基金项目:国家自然科学基金重大项目(1 1 9 7 1 0 8 4)、重庆市高校创新研究群体资助(C X Q T 2 0 0 1 5)、重庆市教委科研项目重点项目(K J Z D-K 2 0 2 2 0 0 5 1 1)和重庆市科技局技术预见与制度创新项目(2 0 2 2 T F I I-O F X 0 2 6 5)资助项目i n a l a l g o r i t h m.I n t h e c o m p a r a t i v e e x p e r i m e n t s,t h e r e c o n s t r u c t i o np e r f o r m a n c e o f t h e p r o p o s e d a l g o r i t h mi sb e t t e rt h a nt h ec u r r e n tm a i n s t r e a ma l g o r i t h m.C o m p a r e dw i t ht h ec o m p o n e n td i v i d e-a n d-c o n q u e r(C D C)a l g o r i t h m,t h eP S N Ra n dS S I Mi n d e x e s o f t h ep r e s e n t e da l g o r i t h ma r e i n c r e a s e db y 0.0 1 d Ba n d0.0 0 1 0,r e s p e c t i v e l y,a n dt h ep a r a m e t e r sa m o u n t i so n l y8.8 4%o f t h a to f t h eC D Ca l g o r i t h m.T h el i g h t w e i g h t o f t h e a l g o r i t h mi s r e a l i z e dw h i l e e n s u r i n g t h e r e c o n s t r u c t i o np e r f o r m a n c e.K e yw o r d s:r e a l-w o r l di m a g e;i m a g es u p e r-r e s o l u t i o n(S R)r e c o n s t r u c t i o n;c o n v o l u t i o n a ln e u r a ln e t-w o r k;d e p t h w i s e s e p a r a b l e c o n v o l u t i o n;r e s i d u a l f e a t u r e a g g r e g a t i o n0 引 言 图像超分辨率(s u p e r-r e s o l u t i o n,S R)重建是计算机视觉