基于分组卷积的轻量级图像超分辨率重建_李雪浩.pdf

第 44 卷第 3 期2023 年 3 月激光杂志LASE JOUNALVol.44，No.3March，2023http /www laserjournal cn收稿日期:20221011基金项目:国家自然科学基金(No 62071366)作者简介:李雪浩(1996)，男，硕士研究生，主要从事图像超分辨率重建的研究。Email:214137882 qq com;肖秦琨(1973)，男，博士后，教授，硕士生导师，从事图像处理、多视觉人体运动跟踪与理解的研究。Email:65369952 qq com基于分组卷积的轻量级图像超分辨率重建李雪浩，肖秦琨，杨梦薇西安工业大学电子信息工程学院，西安710021摘要:目前，多数基于卷积神经网络的图像超分辨率算法主要面临着网络结构复杂、参量过大以及推理速率缓慢的问题。因此，提出了利用分组卷积实现轻量化的图像超分辨率重建算法。设计了分组卷积块提取图像的基础特征，使网络参量和推理时间有效地减少，同时引入了一种改进轻量型通道注意力机制，在保证通道依赖性的同时，准确定位到目标的位置，提升重建的性能。利用亚像素卷积的过渡采样可以对特征起到集成作用，可以有效地提高重建精度减少噪声和伪影。实验结果表明，该网络在重建性能具有竞争力的前提下，参数量相比于轻量级多尺度超分辨率与超尺度网络低 30%以上，并且重建速度也得到提升。关键词:注意力机制;过尺度上采样;轻量级;分组卷积中图分类号:TN911文献标识码:Adoi:10.14016/j cnki jgzz.2023.03.126Lightweight image superresolution algorithm based on grouping convolutionLI Xuehao，XIAO Qinkun，YANG MengweiSchool of Electronic Information Engineering，Xi an Technological University，Xi an 710021，ChinaAbstract:At present，most image superresolution algorithms based on convolutional neural network mainly facethe problems of complex network structure，too large parameters and slow reasoning speed Therefore，a lightweightimage superresolution reconstruction algorithm using block convolution is proposed The basic features of the imageare extracted by block convolution，so that the network parameters and reasoning time can be effectively reduced Atthe same time，an improved lightweight channel attention mechanism is introduced，which can accurately locate thetarget location and improve the reconstruction performance while ensuring the channel dependence Overscale samplingusing subpixel convolution can integrate features，effectively improve the reconstruction accuracy and reduce noiseand artifacts The experimental results show that the parameters of this network are more than 30%lower than those oflightweight multiscale superresolution and superscale networks，and the reconstruction speed is also improved onthe premise of competitive reconstruction performanceKey words:attention mechanism;overscale sampling;lightweight;grouping convolution1引言最近，深度学习模型已经极大地改进了 SIS1 任务。文献 2 首次使用卷积神经网络来改善图像的分辨率，只用了 3 个卷积层就可以实现从 L 图像到H 图像的映射。文献 3 提出了快速卷积神经网络进行图像重建，是对 SCNN 的改进，提出反卷积层，加速了训练，但是采用浅层网络，重建精度并不高。至此，学者们开始逐步加深网络的层数4 来提升网络的重建性，VDS10 通过增加网络深度，使用具有剩余连接的堆叠卷积来提高网络重建性能。文献 5 提出运用深度递归卷积网络(DCN)以及文献 11 提出的基于深度递归残差网络深度递归残差网络(DN)，都利用共享参数来降低网络参数量，但是都会先对图像进行上采样然后输入到网络，这样会增加网络的计算量。LapSN13 提出了拉普拉斯金字塔超分辨率块来重建 H 图像的子带残差。CAN14 提出了一种有效的级联残差网络来重建低http /www laserjournal cn分辨率图像，重建速度快，性能也不错。MemNet12 提出了一种非常深层的持久性记忆网络，该网络引入了一个由递归单元和门单元组成的记忆块，通过自适应学习过程显示掘持久性记忆，重建性能相比之前的网络有了提升。之后，提出了轻量级的多尺度超分辨率与超尺度网络(OverNet)6，这一方法能够更高效快捷的提取特征信息，是因为它引入了轻量型递归的特征提取器和精度更高更准确的重组模块，与此同时提高了重建性能。但是上述网络依然存在参数量大、推理速度慢，在小内存设备中不能很好地进行超分的问题。结合以上的所有问题和当前的实际情况，设计了一种合适的图像重建方法 基于分组卷积的轻量级图像超分辨率重建网络。通过实验表明，基于分组卷积的轻量级图像超分辨率重建网络，在网络重建性能有竞争力的前提下，参数量低于其他的网络，而且重建速度也成倍减少。2基于分组卷积的轻量级图像超分辨率重建网络如图 1 所示，该网络整体分为三个阶段:浅层特征提取模块，深层特征提取模块和图像重建模块(OSM)。图 1网络结构2.1特征提取阶段根据图 1 中的信息可以看出，在浅层特征的提取中，选取 4 个 33 的卷积，并利用 eLU 函数激活提取后的特征，激活后的特征再进行 Concate 融合，再经过一个 11 的卷积降低特征维度减小计算量。从而实现对浅层特征的提取。在整个特征提取阶段，基于分组卷积的深层提取模块至关重要。整体结构如图 2所示，主要通过采用分组卷积操作和轻量级注意力机制 coordinate attention，它能捕获通道之间的依赖性也能很好地定位位置信息。该模块能在保持网络重建性能具有竞争力的前提下，减少网络参数量。图 2基于分组卷积的深层特征提取模块721李雪浩，等:基于分组卷积的轻量级图像超分辨率重建http /www laserjournal cn如图 2 所示，每个分组卷积块是由 Gblocks 和 co-ordinate attention 组成，其中 Gblocks 是由 Gblock 采用密集连接和跳过连接组成。Gblock 主要操作流程如下:深层特征的提取和融合。第一步，采用分组卷积提取特征，当分组卷积的 group 为 4，输入特征的通道数会被分成 4 组，利用 33 的卷积对分组后的特征分别进行卷积，提取分组后的特征，再经过 eLU 函数进行激活，第二步，把各组的特征根据不同维度进行Cat，用 11 卷积进行特征融合，减少了特征的通道数，从而降低计算量。以及使用密集连接和跳过连接的方法，将每个 Gblock 连接，可以增强特征信息的传递，促进特征重用，进而逐步收集局部信息。最后，进行注意力的分配，利用 coordinate attention 对特征的不同通道进行权重再分配，捕获通道之间的依赖，也能很好地定位位置信息和长程依赖，最终得到输出特征。2.1.1分组卷积文献 7 中，学者们为了解决网络参数大的问题，提出了一种新的操作办法，把收集的图像信息进行分组处理。分组卷积可以在保证模型性能的情况下，大大地降低网络参数量。由此可见，这种方法的提出，为研究轻量型图像超分辨率打下坚实的基础，有着不可替代的地位。图 3 是标准卷积的详细操作步骤:卷积核数目与输入特征通道数相同，对应的通道位置卷积加和的结果为输出特征。以此，获取图像更深层特征。图 3标准卷积图 4分组卷积如图 4 所示为分组卷积，这里 group=2，即图中的g=2，输入的 C1个通道，被分为 2 组，每一组都是 HWC12，滤波器被分成了 2 组，每组C22个 HWC12的滤波器，因此，共有 C2个 HWC12的滤波器，前一层的一半特征图会与每组中的滤波器进行卷积，再将输出的特征进行通道堆叠即得到了输出特征。为了比较标准卷积和分组卷积的参数数量，将 C1HW 作为输入特征，通过 KK 的卷积核，得到 C2HW 输出特征。即可得到标准卷积参数数量 p1，如公式(1)所示:p1=C1KKC2(1)公式(2)为分组卷积参数量 p2:p2=KKC1gC2gg(2)如式(3)所示:分组卷积与标准卷积的占比。=p2p1=KKC1gC2C1KKC2=1g(3)由此可见，运用分组卷积处理，能够有效降低图像超分辨率重建网络的参数量，使网络更加轻量化。2.1.2coordinate attention 通道注意力机制文献 8 中说到的通道注意力机制，早期主要对图像特征不同通道进行整合再分配，能更直观明了地看到有用的部分，但是主要应用在分类网络中。近些年来，SE 模块成为轻量级网络的注意力机制主流，但是它只考虑特征之间的通道关系，忽略了其他的细节信息。因此，引入通道注意力机制 coordinate atten-tion9，并去掉 coordinate attention 的 BN 层，去掉 BN层已经被证明可以改善性能并降低计算复杂性。它同时还考虑到了通道之间的依赖性和特征空间的位置关系。如图 5 所示。通道关系和长期依赖性编码是 coordinate atten-tion 通过位置关系实现的。具体步骤如下。(1)coordinate 信息嵌入全局池化通常用作于通道描述符对全局空间信息进行编码，但是，因为这种方法将整个全局空间的信息压缩成单一的信道描述符，因此，很难保存精确的信道位置信息，所以将全局池化分解为一组一维特征编码，使得注意力模块能获取精确的位置信息:Zc=1H WHi=1Wj=1xc(i，j)(4)X 作为输入，利用(H，1)或(1，W)的池化核分别821李雪浩，等:基于分组卷积的轻量级图像超分辨率重建http /www laserjournal cn沿着横向和纵向上对各通道进行编码。则 h 的 c 通道的输出为Zhc(h)=1W0iWxc(h，i)(5)同样，宽度为 w 的第 c 通道的输出可以写成:Zwc(w)=1H0jHxc(j，w)(6)公式(5)与公式(6)的变换主要是在横向与纵向上特征聚集，从而获得了这两种方位感的两种意力图像。这二种变换不但使得注意力单元可以在某个空间方位上跟踪远程的依赖关系，同时还保存了在另一种空间方位的准确位置信息。这种特性可以使网络对所关注的对象进行精确定位。图 5 中的 XAvgPool 和YAvgPoo