基于变换域注意力机制的压缩伪影去除的方法_陈志乾.pdf

第 卷第 期重庆邮电大学学报（自然科学版）年 月 （）：基于变换域注意力机制的压缩伪影去除的方法收稿日期：修订日期：通讯作者：陈志乾 基金项目：国家自然科学基金（，）；重庆市自然科学基金（，）；重庆市教委科学技术研究项目（，）：（，）；（，）；（，）陈志乾，朱 俊，高陈强，（重庆邮电大学 通信与信息工程学院，重庆；信号与信息处理重庆市重点实验室，重庆）摘 要：图像有损压缩过程往往会导致图像质量退化，使图像出现压缩伪影。针对现有基于深度学习的方法缺乏对联合图像专家组（，）压缩算法先验信息的利用，提出一种基于变换域注意力机制的去伪影方法。该方法利用卷积神经网络在像素域和离散余弦变换（，）域分别提取特征，再将双域学习的特征信息进行融合。利用量化表设计了 注意力机制，该模块根据 系数的损失程度给予各频率系数不同的权值，使网络自适应补偿量化引起的误差。于此基础上，在像素域引入通道注意力机制，从而更好地利用量化表的先验信息。在主要数据集上，提出的去伪影方法以固定的模型参数对多种质量因子的压缩图像进行伪影去除实验。实验结果表明，所提出的方法在各评价指标和主观视觉上取得较好的效果。关键词：压缩；压缩伪影去除；量化表；通道注意力中图分类号：文献标志码：文章编号：（），（，；，）：（），（）（），：；引 言近年来，互联网中图像信息量呈爆炸式增长，大量的数据给图像存储和传输带来了挑战，于是在存储与传输图像时，通常会对其进行压缩以节省存储空间和带宽资源。其中，联合图像专家组（，）是用于连续色调静态图像压缩的一种标准，由于其压缩率高、快速有效、能灵活调整压缩比等优点，已成为目前应用最广泛的图像压缩方法之一。随着压缩比增大，图像在压缩后易出现压缩伪影，严重影响图像的视觉效果，因此，对压缩图像伪影去除方法开展研究具有重要意义。鉴于 压缩算法的广泛使用，本文将主要研究 压缩伪影的去除。由于不可逆的量化操作，压缩往往会导致图像丢失一部分细节信息，导致压缩图像出现块效应、振铃效应、颜色溢出等压缩伪影。图像的失真不仅影响了人眼的视觉感知，而且会影响到其他以 压缩图像为基础的图像处理任务的性能。因此，去除压缩图像伪影具有广泛的用途和实际意义。压缩图像伪影去除方法作为一种独立于编解码器的后处理方法，具有计算开销低、实用性高的特点，可在不改变现有编解码器结构的同时高效地消除压缩图像中的伪影，提升压缩图像的视觉质量。传统的图像去压缩伪影方法主要分为滤波器的方法和概率先验的方法，此类方法在去除伪影的同时难以恢复图像的细节边缘信息。随着深度神经网络（，）的出现和快速发展，目前已经提出了许多基于深度学习的 压缩图像伪影去除方法。这些方法可以分为两大类：直接在像素域进行伪影去除，其利用深度学习工具在像素域中拟合一个映射函数，将压缩图像直接映射回原始图像；先将图像从像素域通过离散余弦变换映射到频域中，学习量化损失 系数到原始未压缩 系数的映射关系，从而恢复压缩过程中量化操作丢失的信息。此类方法从 压缩产生图像失真的本质原因考虑（量化操作），设计网络在 域中学习量化丢失的数值，因此，基于 变换域的方法往往能取得较好的去伪影效果。大多数基于深度学习的方法只能对特定质量因子下的压缩图像建立学习模型，此类模型只能去除固定质量因子下压缩产生的图像伪影。其需要针对不同质量因子的压缩图像训练出多个不同的模型参数，显然网络模型对不同程度伪影适应性较低，不同程度伪影的示意图如图 所示，从图 看出，出现这种低适应性的情形可以得到一定程度的解释。在压缩时，选择不同质量因子，产生压缩伪影的情况以及伪影的特点会有较大区别。二者在天空区域出现了不同程度的分层效应，在岩石、海水区域也都出现了块效应，且压缩程度越大，块效应越严重（见图，图）。不同质量因子下的压缩会导致不同程度的压缩伪影，以往的方法大多需要对不同质量因子的压缩图像训练不同的网络参数，不仅消耗时间、占用计算资源，同时多个模型还会产生大量的冗余参数，不利于技术落地。为解决上述问题，我们合理利用 压缩的先验信息，提出通过单一模型对一定范围质量因子下压缩产生的伪影进行去除，后文将该类方法称为一对多网络。综上所述，本文提出了一种基于变换域注意力机制的伪影去除方法。受文献启发，网络整体由一个 域分支和一个像素域分支组成。与文献不同点在于，本文针对 域和像素域的特点来设计网络，分别提取二者特征信息，后将 条分支的输出进行特征融合得到最终输出。综合利用压缩图像像素间的空间信息，以及频域中 系数的量化损失信息。基于 系数各分量量化损失程度不同，设计了 注意力机制，对 系数进行恢复以隐式补偿量化过程损失的系数分量。增强网络对高频系数的恢复能力。由于量化表是 压缩中重要的先验信息，能够直接反映 压缩图像的量化损失程度。本文在网络中多处引入量化表，从而获取丰富的先验知识。这有利于网络提取到更有代表性的特征信息，从而增强网络对不同质量因子压缩图像的适应性，实现一对多网络。实验结果表明，与现有先进的方法相比，本文方法在使用较少网络参数的情况下具有更高的性能指标，以及更好的主观视觉感受。本文主要贡献为提出 注意力机制，增强网络对图像高频信息的恢复能力；第 期 陈志乾，等：基于变换域注意力机制的压缩伪影去除的方法将通道注意力机制与像素域结合，更好地学习量化表与图像间的相关性；通过对 先验信息的利用，进一步降低网络的参数量，同时实现一对多网络的构想，使该方法易于落地。图 不同程度伪影的示意图 相关工作 传统的图像伪影去除方法传统的 压缩图像伪影去除方法通常使用专门设计的滤波器来抑制压缩伪影。例如 与通过对每个图像块的边界使用高斯滤波器来减少块效应。等提出一种在 变换域内设计的方法，对相邻编码块的 系数采用低通滤波器进行去块效应。在传统去压缩伪影方法中较有代表性的方法是。然而，与大多数传统方法一样，无法恢复出压缩图像的细节轮廓，且会将图像的纹理细节处理得过于平滑，导致重构图像缺少边缘和结构信息。基于学习的方法中稀疏编码也是可以用来去除图像压缩伪影的技术之一。这种方法首先从训练图像中学习一个小尺寸的通用字典来表示未压缩图像，然后利用生成的通用字典对压缩后的图像进行重构，从而抑制压缩伪影。等提出了一种 变换域和像素域联合学习的稀疏编码方法，还使用了稀疏性和图像信号平滑性 个先验信息来提高压缩图像的恢复质量。然而，基于稀疏编码的方法优化过程十分复杂，会占用大量的计算资源，并且很难进行端到端的训练。与传统方法相比，本文的方法不但可以实现端到端的训练，而且在去除伪影的同时还能够较好地恢复图像细节轮廓。基于深度学习的方法随着深度学习的出现和快速发展，深度学习已经成功地应用于许多图像恢复任务，包括压缩图像伪影去除任务。首先提出用深度学习的方法去除压缩伪影，其网络由 个卷积层组成，展示了端到端训练的 在去除各种压缩伪影方面的巨大潜力。等采用了生成对抗网络（，）。相比于其他方法，该方法用生成对抗网络去除伪影后的压缩图像，能在视觉感官上产生更好的恢复效果。然而，该类方法会使得处理后的图像出现伪细节，使得其难以应用于某些对图像真实性需求较高的场景。与之相比，本文方法采用基于变换域注意力机制的深度卷积神经网络，能在去伪影的同时较大程度还原图像本身细节纹理信息。现有的基于深度学习的伪影去除方法也对变换域加以利用，如小波域和 域。等提出了一种基于离散小波变换（，）的方法。等开发了一种在 域和像素域联合去伪影的。等提出了一种基于双域学习的 图像快速后处理方法，首先在 域对压缩后的图像进行特征提取，然后利用 将恢复的 系数映射回像素域，将 域输出作为像素域网络输入的一部分，最后通过像素域网络实现压缩伪影去除。压缩产生失真是由于每个 的像素块在离散余弦变换后被量化，因此，基于 域设计的去压缩伪影方法能更好地利用压缩的先验信息，此类网络往往能取得更好的去伪影性能。此外，大多数基于深度学习的方法需要针对不同质量因子的压缩图像训练多个网络，以应对不同 重 庆 邮 电 大 学 学 报（自然科学版）第 卷程度的压缩伪影。然而，这类方法的多个模型之间势必存在较大的参数冗余，不仅需消耗大量时间训练模型，而且还占用较大的存储空间。为解决此问题，和 通过选择不同的损失函数，使用偏移平均的策略来抑制块效应，提出了一对多网络。等创造性地利用了 压缩中的量化表，训练了一个一对多网络。然而 对量化表的使用较为粗糙，没有充分利用量化表的先验信息。本文在此基础上进一步利用量化表先验知识，利用注意力机制、整流单元等模块，在 域与像素域联合学习压缩图像到原始图像的函数映射，实现了在保证去伪影性能的情况下，通过单一网络对一定范围质量因子的压缩图像进行去伪影处理。本文方法 问题建模 压缩算法中编码分为 个阶段。首先将图像分割为 的不重叠块；其次将所有像素点同时减去，然后进行 变换得到 系数矩阵块；令每个 系数块除以相应的量化表，而后将 系数四舍五入为整数；最后通过熵编码生成比特流。压缩的信息丢失发生在 系数的量化阶段。由于量化是一个不可逆的过程，会在 系数块中引入量化误差，从而导致压缩伪影的产生。假设有一个未压缩的图像，令其尺寸为，其中，为图像宽度；为图像通道数。当图像为灰度图时，其通道数 。经过 压缩后的图像 可表示为（；）（）（）式中：表示 压缩算法；为调整压缩程度的质量因子。对 去除伪影后的恢复图像 可表示为 （）（）（）式中，映射函数 表示对 进行伪影去除操作，其目的是重建出一个接近于原始图像 的高质量恢复图像。为得到映射函数，使用卷积神经网络拟合压缩图像到原始高清图像的函数映射关系，最终去除 压缩图像的伪影，恢复图像视觉质量。网络框架本文网络框架如图 所示，该网络主要由像素域分支和 变换域分支组成。像素域分支中，将压缩图像与其对应量化表进行通道叠加，而后在通道注意力机制的引导下通过 个残差块提取特征信息，学得整个像素域的特征表示。在 分支中，首先通过 变换将压缩图像从像素域映射到频域，接着通过 个 残差块提取频域特征信息，将特征矩阵送入 整流单元（，）得到重建 系数，然后，通过 把重建的 系数映射至像素域，最后对像素域和 域的输出进行特征融合，得到去压缩伪影后的恢复图像。图 本文方法的框图 第 期 陈志乾，等：基于变换域注意力机制的压缩伪影去除的方法 注意力机制在 域中，由于 各系数频率不同，其中高频系数对应着图像的细节轮廓信息，我们希望从 域中恢复图像细节信息，因此提出 注意力机制，以此增强 分支网络对图像高频信息的恢复能力。为引出 注意力机制，图 介绍了 系数量化具体过程及其数值特点。从一张灰度图中任取一个 的像素块，对此像素块进行 变换后，得到一个 的 系数矩阵，该系数矩阵由一个直流（，）分量与 个交流（，）分量组成。直流分量的系数幅度值最大，位于系数矩阵的左上角，离直流分量越远，则频率越高，其系数幅度值越小。图像的大部分信息集中于直流分量以及其附近的低频分量上，其他的一些高频分量则保存着图像的细节信息。为更清楚地说明问题，对该 系数矩阵块以及量化表进行曲折扫描（），系数块由 的系数矩阵变为了 维向量。此时 系数从左至右大致呈现从低频到高频的趋势，从图 可以看到，量化的损失程度也是呈现由低到高的趋势。图 系数值与量化表的关系 在对 系数进行量化前，每个 的 系数块都会先除以对应的量化表（此处），由于量化表中数值不同，会导致不同频率的 系数产生不同程度的量化损失，损失程度最大的是表示图像细节的高频分量。在设计去伪影网络时，希望网络能更加专注于高频系数的恢复，以获得更好的图像细节恢复性能。为解决上述问题，本文提出了 注意力机制。具体而言，我们对压缩图像取其对应的量化表，对该量化表进行扩展，使其与输入矩阵保持同维度，接着对量化表进行归一化处理，将其作为权值与输入特征矩阵进行哈达玛积，从而赋予不同损失程度 系数不同的权重。由量化表指导的 注意力机制如图 所示。图 中颜色越深的区域在网络训练中权重占比越大，而深色区域正是高频信息所在，也是我们着重关注的区域。量化表能够直接反映 的压缩率，网络借助量化表信息，根据 系数损失程度的差异