基于U-net边缘生成和超图卷积的两阶段修复算法_李海燕.pdf

收稿日期:2022 01 07基金项目:国家自然科学基金资助项目(62266049，61861045);云南省万人计划“教学名师”;云南省高校重点实验室建设计划项目(202101AS070031)作者简介:李海燕(1976 )，女，云南红河人，云南大学教授，博士生导师第44卷第3期2023 年 3 月东北 大 学 学 报(自 然 科 学 版)Journal of Northeastern University(Natural Science)Vo l 44，No 3Mar2 0 2 3doi:1012068/j issn 1005 3026 2023 03 004基于 U net 边缘生成和超图卷积的两阶段修复算法李海燕1，熊立昌1，郭磊1，李海江2(1.云南大学 信息学院，云南 昆明650000;2.云南交通投资建设集团有限公司，云南 昆明650001)摘要:为了有效修复背景复杂、大面积不规则缺失区域，得到合理的结构和精细的纹理，提出了基于U net 边缘生成和超图卷积的两阶段修复算法 首先，将缺失图像输入基于 U net 门控卷积的粗修复网络，通过跳跃连接将图像的上下文信息向深层传播，获取丰富的图像细节信息，下采样提取缺失区域边缘特征，上采样还原缺失区域边缘细节，同时使用混合空洞卷积增大信息感受野，获取细节纹理信息 然后，将粗修复结果输入含超图卷积的细修复网络，捕获和学习输入图像中的超图结构，使用空间特征的互相关矩阵捕获空间特征结构，改善结构完整性并提升细节细粒度 最后，将细修复结果输入鉴别器进行判别优化，进一步优化修复结果 在国际公认数据集上进行实验仿真，结果显示:本文提出的算法在修复大面积不规则缺失时，可以生成合理的结构和丰富的纹理细节，修复的视觉效果，PSN，SSIM 和 L1 损失优于对比算法关键词:图像修复;U net 边缘生成;超图卷积;混合空洞卷积;两阶段网络中图分类号:TP 391文献标志码:A文章编号:1005 3026(2023)03 0331 09Two-StageInpaintingAlgorithmBasedonU-netEdgeGeneration and Hypergraphs ConvolutionLI Hai-yan1，XIONG Li-chang1，GUO Lei1，LI Hai-jiang2(1.School of Information Science and Engneering，Yunnan University，Kunming 650000，China;2.YunnanCommunications Investment and Construction Group Co，Ltd，Kunming 650001，China Corresspanding author:LI Hai-yan，E-mail:leehy ynu edu cn)Abstract:In order to implement reasonable structure inpainting and fine texture reconstruction forlarge irregular missing areas with complex background，a two-stage network inpainting algorithmbased on U-net edge generation and hypergraphs convolution is proposed Firstly，the image to berepaired is fed into a coarse inpainting network based on U-net gated convolution where thecontext information of the image is propagated to a deeper layer through jump connection to obtainrich image detail information Down-sampling is applied to extract the edge features of the missingarea，and up-sampling is performed to restore the edge details of the missing area while hybriddilated convolution is adopted to increase the information receptive field and further obtain imagedetailed texture information Subsequently，the coarse inpainting results are inputted into the refineinpainting network with hypergraphs convolution to capture and learn the hypergraphs structure inthe input image，and the cross-correlation matrix of spatial features is implemented to capture thespatial feature structure as well as to further improve the structural integrity and fine-graineddetails Finally，the refined inpainting results are input into the discriminator for discriminationoptimization to further improve the inpainting results The experimental simulation is carried outon the internationally published dataset The experimental results demonstrate that the proposedalgorithm can generate a reasonable structure with good color consistency and abundant detailtexture under the condition of large-area loss，and the visual effect，PSN，SSIM and L1 loss aresuperior over those of the compared algorithmsKey words:image inpainting;U-net edge generation;hypergraphs convolution;hybrid dilatedconvolution;two-stage network图像修复旨在填充图像的缺失区域，生成完整的图像 现有的图像修复算法主要可以分为两类:传统修复算法和基于深度学习的算法 传统修复算法1 3 主要从非孔像素复制内容或纹理填充缺失区域，在背景复杂时很难得到合理的结构，也无法修复较大损坏区域 TV 算法4 利用图像的平滑特性填充缺失区域，可修复破损较小的区域，但破损面积大时，易出现结构扭曲和纹理不连续Patch match 算法5 从图像中搜索相似区域，迭代填充缺失像素，可生成较合理的细节纹理，但无法识别图像的全局语义结构，导致修复的结构语义一致性差为解决传统修复算法的不足，基于深度学习的修复算法应运而生 Pathak 等6 提出上下文编码器修复算法，采用编码器 解码器架构对抗训练网络，编码器将缺失区域映射到低维特征空间，解码器利用低维特征空间构建输出图像，可修复小面积规则缺失区域，但由于全连接层的信息瓶颈，在修复大面积缺失时会出现伪影和边缘模糊为解决此问题，Iizuka 等7 提出全局与局部一致性的图像修复算法，用空洞卷积代替全连接层并减少下采样层数以期解决信息瓶颈，用全局鉴别器评估整体结构一致性，用局部鉴别器确保生成细节的完整性，该算法修复小面积缺失效果不错，但缺失区域面积大时，无法兼顾整体与局部的语义一致性 Yang 等8 提出多尺度神经补丁合成修复算法，引入已训练好的 VGG 网络9，从周围环境中传播结构纹理信息，迭代多尺度优化算法填充缺失区域，能修复较大面积的规则缺失，获得精细的结构及纹理，但将其应用于实际的随机不规则缺失修复时，性能急剧下降 为了有效修复随机不规则缺失区域，Liu 等10 提出用部分卷积代替普通卷积的修复算法，利用有效像素通过自动掩码更新机制推断并修复缺失区域，能处理背景简单、随机不规则的小面积缺失区域，但背景复杂、缺失区域过大时，修复结果缺乏整体与局部信息的语义一致性 Nazeri 等11 提出基于边缘生成器与图像生成器的修复算法，边缘生成器估计不规则缺失区域的边缘，在背景简单时，可得到逼真的细节纹理，但无法重建复杂背景的大面积不规则缺失图像 为有效修复随机不规则缺失，Zheng等12 提出由重建路径和生成路径组成的多元补全算法(PIC)，重建路径获取缺失区域的先验分布，生成路径预测缺失区域的潜在先验分布，然后采样生成修复结果，但该算法修复背景复杂的随机缺失区域时，存在结构扭曲且颜色一致性差等不足 Peng 等13 提出基于分层变分自编码器的修复算法(VQ VAE)，使用结构注意力模块，捕获结构特征的远距离相关性，能生成高度多样化的合理结构，但在修复大面积不规则缺失时，生成的图像细节模糊、纹理错乱 Wadhwa 等14 提出粗修复 精修复两阶段修复算法(HII)，首次将图卷积用于不规则缺失区域修复，能生成合理的结构信息与纹理细节，保持图像整体颜色的一致性，但在背景复杂且缺失面积增大到 30%及以上时，性能急剧下降综上所述，现有算法在修复背景复杂、大面积不规则缺失区域时，难以兼顾结构全局性与纹理细节的精细度 为解决此不足，本文提出基于 U net 边缘生成和超图卷积的两阶段修复算法，主要创新点:粗修复网络是门控卷积的 U net 边缘生成架构，跳跃连接编码器与解码器，使解码器更好地捕获图像的细节纹理，下采样提取缺失图像的边缘特征，再结合上采样的信息和下采样的各层纹理特征生成精细的图像边缘;首次在细修复网络中使用超图卷积，捕获学习图像中的超图结构，提出使用空间特征的互相关矩阵学习长期的内部空间依赖性，更好地捕获空间结构特征，提升结构一致性;用混合空洞卷积代替空洞卷积，扩大信息感受野，捕获更多的图像细节1基于 U net 边缘生成和超图卷积的两阶段图像修复算法基于 U net 边缘生成和超图卷积的两阶段修复算法如图 1 所示 首先，将待修复图像输入门控卷积定义的 U net 边缘生成网络，捕获细节特征，下采样将图像信息向网络的深层传递，上采样结合输入信息和下采样各层信息还原图像细节信息，生成精细的轮廓边缘 然后，将粗修复结果输入到含有超图卷积的细修复网络，学习图像中的超图结构信息，使用空间特征的互相关计算每个节点在每条超边中的贡献，捕获图像的空间结构特征，完善修复图像的结构及纹理细节 最后，将细修复结果输入鉴别器判别优化，并在鉴别器中引入门控卷积，加强预测图像的局部一致性1.1粗修复网络为了尽可能捕获图像纹理细节，生成大面积不规则缺失的边缘，本文提出的粗修复网络基于U net 架构15 包含上采样与下采样:下采样逐步捕获图像信息;上采样结合下采样各层的图像信息和上采样的输入还原缺失区域的结构和纹理233东北大学学报(自然科学版)第 44 卷图 1提出的算法模型Fig.1The proposed algorithm model细节，提高修复精度