基于l_1诱导轻量级深度网络的图像超分辨率重建_张大宝.pdf

基于 诱导轻量级深度网络的图像超分辨率重建张大宝 赵建伟，周正华摘 要 现有的基于深度学习的超分辨率重建方法主要通过加深网络以提高网络的重建性能，但是加深网络会导致网络权值数量急剧增加，给网络训练和存储带来巨大负担 考虑到噪声的稀疏性、网络训练的成本及重建图像边缘的清晰度，文中融合模型驱动与数据驱动的思想，提出基于 诱导轻量级深度网络的图像超分辨率重建方法 先利用分裂 算法和软阈值算子，构建边缘正则的 重建模型，并推演有效的迭代算法 再在迭代算法的指导下，设计相应的递归深度网络进行图像重建 因此，文中网络是在优化模型指导下设计的，推导出的递归结构由于其权值共享的特性，可减少网络权值的数量 实验表明，文中方法在网络权值数量较少时，仍能取得较优的图像重建性能关键词 超分辨率重建，深度学习，轻量级网络，模型驱动，数据驱动引用格式 张大宝，赵建伟，周正华 基于 诱导轻量级深度网络的图像超分辨率重建 模式识别与人工智能，（）：中图法分类号 o，oo oo o o oo o o o o o，o oo o，o o o oo o o o，o o o oo，oo oo oo o o o o ，o o o oo o o o oo oo o o o，oo o o oo o oo，oo o o oo ooo，o o o o o o oo o oo ooo o o 收稿日期：；录用日期：o，；，浙江省自然科学基金项目（o，）资助o oo o o（o，）本文责任编委 兰旭光o o o 中国计量大学 理学院 杭州 中国计量大学 信息工程学院 浙江省电磁波信息技术与计量检测重点实验室 杭州 o o，o oo o o oo oo oo o o，o o oo，o 第 卷 第 期模式识别与人工智能o o 年 月 oo oo oo，o，o，oo oo o o oo ，（）：图像超分辨率（oo，）在航空影像和医疗成像等领域被广泛应用，主要原理是从观测到的一幅或多幅低分辨率（o oo，）图像重建高分辨率（oo，）图像一般地，图像的退化模型可表示为 ，（）其中，表示观测到的低分辨率图像，表示退化操作，表示未知的高分辨率图像，表示加性噪声 显然，从退化后的低分辨率图像 中恢复高分辨率图像 是个不适定问题关于上述不适定问题，学者们提出许多高效的超分辨率重建方法，主要分为基于插值的方法、基于重建的方法和基于学习的方法 特别地，随着深度学习的快速发展和应用，基于深度学习的超分辨率重建方法得到学者的关注 该类方法主要利用深度网络拟合低分辨率图像到高分辨率图像之间的映射关系 o 等将深度卷积网络引入图像超分辨率重建中，先后提出（oo ooo o）和（oo ooo o）在此基础上，学者们提出许多基于深度网络的图像超分辨率重建方法 等引入有效的亚像素卷积，提出（ooo o）为了提高深度网络的重建性能，等利用残差连接将网络深度加深到层，提出 等利用逐级放大的思想，提出（ooo）等利用残差连接和关注机制，提出（oo）等提出 （o），利用残差连接和密集连接的思想，提取丰富的局部特征和全局特征 等结合多尺度特征融合 和 局 部 残 差 学 习，提 出（o）等将物理学中的流体力学、热传导理论和曲率一致应用到芯片和自然图像的超分辨率重建中上述超分辨率重建方法主要通过不断构造更深、更复杂的深度网络以提高网络重建性能，但是网络的加深会导致网络权值数量的急剧增加，给网络训练和存储带来巨大负担 因此，学者们开始探讨轻量级深度网络模型的设计 为了减少网络的权值数量并尽量保持网络的重建性能，等基于递归权值共享的思想，提出（ooo o），大幅减少网络的权值数量在此基础上，等结合残差连接，提出（o）尽管基于递归的权值共享可减少深度网络的权值数量，但该类网络的递归模块是人为设计的，没有在专家先验知识的指导下进行网络设计 等指出融合模型驱动与数据驱动是未来研究系统科学问题的主流方向之一 因此，学者们开始探讨将模型驱动和数据驱动相结合进行基于轻量级深度网络的超分辨率图像重建的研究 等提出，从 图像退化模型出发推导优化迭代算法，并根据迭代算法设计轮廓增强先验网络及去噪统计先验网络，实现图像重建 同时，o 等提出（o o o），也从 图像退化模型出发推导其优化迭代算法，并根据迭代算法设计多尺度残差卷积网络去噪器上述 和 是从 图像退化优化模型出发推导迭代算法，在算法的指导下设计深度网络进行图像重建 由于 数据保真项对高斯类噪声具有较好的平滑作用，但对于具有稀疏性的椒盐噪声处理效果并不明显，因此 和 对带有稀疏噪声图像的重建效果不明显 考虑到实际应用中图像噪声具有一定的稀疏性，而 保真项能较好地刻画噪声的稀疏性 同时，评价图像的重建效果除峰值信噪比（o o o，）和结构相似性（，）以外，图像的视觉效果即图像具有清晰的轮廓也很重要因此，本文基于模型驱动与数据驱动结合的思想，提出基于 诱导轻量级深度网络（o，）的图像超分辨率重建方法 先利用分裂 算法和软阈值算子，从带有边缘正则项的 重建优化模型推演有模式识别与人工智能（）第 卷效的迭代算法 再在上述迭代算法的指导下设计相应的递归深度网络用于图像重建 不同于现有的深度网络依赖人为模块设计，本文的深度网络是在重建优化模型的指导下设计的，推导的递归结构由于其权值共享的特性，可减少网络权值的数量 同时，由带有边缘正则项的保真项诱导的轻量级深度网络能更好地增强重建图像的锐度基于 诱导轻量级深度网络的图像超分辨率重建本文利用保真项比保真项能更好地刻画图像噪声的稀疏性的特点，在深度学习的基础上融合专家先验知识，提出基于 诱导轻量级深度网络（）的图像超分辨率重建方法 网络设计原理由于 是在重建优化模型的指导下设计的，避免传统深度网络盲目加深网络带来的网络权值急剧增加的问题，因此，本节先推导诱导轻量级深度网络的设计原理对于图像退化问题（），超分辨率重建的主要目的是从低分辨率图像中重建高分辨图像 根据贝叶斯条件，图像退化问题（）的解可由最大后验概率（）表示，即 （）（）（），其中，（）表示似然项，（）表示先验项在 和 中，似然项选取 保真项 ，先验项选取关于 的正则项（），即 （），（）其中 表示正则化系数不同于 和，本文方法考虑到实际应用中图像噪声具有一定的稀疏性，而相比 保真项，保真项能更好地刻画图像噪声的稀疏性，因此本文选取 作为数据保真项 另外，不同于 和 中采取抽象的正则项，为了提高重建图像的视觉效果，增强重建图像的锐度，本文选取图像边缘的方差作为先验正则项，即 （），（）其中，表示 范数，表示图像边缘提取算子，（）表示方差 显然，上述带有边缘正则项的重建优化模型能较好地体现图像噪声的稀疏性和重建图像的局部结构由于上述 重建优化模型（）中的 范数是不可微的，因此求解该优化问题比求解 重建优化模型（）更复杂首先，利用变量分离策略将 重建优化模型（）转化为如下形式：（，），（），（）接着，利用分裂 算法将约束问题（）转化为如下无约束问题：（，），（）（），（）其中 表示惩罚系数 利用文献 中的 分离策略，式（）可转化为（k，k），（）（k），k k（k）k），其中 表示辅助变量 此时，上述迭代方法可分解为如下迭代公式：k k（k）（），k （k k），k k（k）k）（）对于式（）中的子问题，由于范数和是可微的，因此采用经典的梯度下降法求解，得k，k，（k k，k）(k，)，其中，k，表示式（）中 k子问题的第 步迭代解，表示迭代步长，中每个元素的值为 k，的均值对于式（）中的 子问题，由于 是不可微的，因此求解变得困难 本文采用软阈值算子求解 子问题，得k（k k），其中（）表示软阈值算子综上所述，式（）的解可表述为如下迭代形式：第 期 张大宝等：基于 诱导轻量级深度网络的图像超分辨率重建k k，k，（k k，k）(k，)，k（k k），k k（k）k），（）其中，k表示内部进行 步迭代后得到的解，再参与 k和 k的外部迭代运算 网络结构经典的基于深度学习的超分辨率重建方法在设计网络时主要通过人为设计网络模块，提高重建性能，而本文方法在 节中推导的算法指导下，设计相应的深度网络，避免盲目增加网络权值参数量，网络结构如图 所示递归次K-1x0 xKAT卷积层yILRXd b-像素重组卷积层ISR卷积层模块X模块x0y00-()初始bdb11-()更新x1.xK-1dbKK-1-1-()更新xKX模块.d图 诱导轻量级深度网络结构 o o具体网络的设计过程如下 对于给定的低分辨率图像 ，为了便于后续模块中的卷积操作获得充足的通道数，本文方法首先使用 组 的卷积核对 进行卷积操作，得到的特征图作为观测的低分辨率图像 由于本文的深度网络是在 节中的算法指导下设计的，而从式（）可知，重建的高分辨率图像 具有双重递归结构 因此，本文令 作为递归的初始值 为了提高重建性能，本文选取多尺度残差块作为退化矩阵 对于式（）中的、k和 k，令 模块表示高分辨率图像 的 次内部递归过程，结构如图 所示对于第 次内部迭代输入 k，利用多尺度残差块作用于 k，得到 k，再与、k和 k进行相应的运算，得到k k，k，再经过 和参数 的作用后得到（k k，k）同理，k，在特征提取矩阵的作用下得到k，再根据方差的定义进行取平均和相减操作，得到k，然后经过 的作用后，得到(k，)，最后与 k，相减，完成 k，的更新取平均BBT递归 次L-1xk+1,0bkydkAATxkl+1,+-+-图 模块结构 o o进行完 模块的 次内部递归后，需要更新辅助变量k、k，保证式（）中高分辨率图像的外部递归过程 模块更新过程如图 所示AT+xk+1-ybk软阈值-bk+1dk+1图 更新过程 o o 给定输入变量 k、k和，首先对 k实行对应于退化 的卷积运算，然后将其与 k和 进行相应的和差运算，得k k k 最后，将 k输入软阈值函数（）中，得k（k）同理，k与 k相互作用，可得k k k通过上述 模块和 模块双重递归过程，经过 次迭代后，得到特征图 最后，使用像素重组将 放大 倍，得到重建的高分辨率图像 损失函数对于设计好的网络，损失函数的设计很影响网模式识别与人工智能（）第 卷络的性能 对于训练样本集（，），经典的损失函数有两种，即 损失和均方误差损失（o，），相应公式如下：（）（；），（）（；），其中，表示网络中需要训练的权值和参数，表示输入的低分辨率图像块，表示原始的高分辨率图像块，（；）表示经网络重建后的高分辨率图像块 由于本文网络是根据 数据保真项推导的算法而设计的，因此在损失函数的选择上采用收敛更快且鲁棒性更强的 损失函数 另外，本文采取经典的（o o）优化器优化损失函数实验及结果分析 实验环境本文选择 数据集中前 幅图像构造网络训练集，通过对图像进行旋转操作以增强数据集 同时，本文选择、和 数据集进行重建测试 选择 和 作为重建性能的评价指标 一般地，和 值越高，方法的重建性能越优在训练阶段，各方法将 数据集上的高分辨率图像进行双三次下采样后得到的图像作为低分辨率图像，然后将图像减去数据集的平均值进行预处理 低分辨率图像大小为 ，网络训练的批次大小为 在训练网络时，优化器的相关参数设置为 ，初始学习率为，每 代后学习率减半本文实验均是在 o 框架下实施的，在（）o（）、核处理器、内存、显卡和 o 操作系统下实现 参数分析本文的深度网络包含 个网络结构重要参数：模块内部结构中递归次数、网络中 模块递归次数 和软阈值算子中的超参数 本节通过实验讨论这 个参数对网络重建性能的影响考虑到网络训练的时间，在较合适的网络规模，即 的情况下讨论不同的递归次数 和 对重建性能的影响，在 数据集上，、取值不同时的 值和 值如表 所示 由表可知，在 ，时，网络取得最优的重建性能 随着 的增加和 的减少，网络性能有所下降 这主要是网络的外递归的影响比 模块的内递归的影响要大表 、取不同值时对网络性能的影响 o o o o 下面讨论软阈值算子中的参数 对网络重建性能的影响 在 数据集上 不同时的 值和 值如表 所示 由表可知