文物图像的超分辨率重建算法研究_刘杰.pdf

第 1 期2023 年1 月电子学报ACTA ELECTRONICA SINICAVol.51 No.1Jan.2023文物图像的超分辨率重建算法研究刘杰1，葛一凡1，田明2（1.哈尔滨理工大学测控技术与通信工程学院，黑龙江哈尔滨 150080；2.中国电信黑龙江省分公司，黑龙江哈尔滨 150000）摘要：文物的数字化保护与分类识别是当前图像处理研究的热点之一.针对常规超分辨率算法不能充分描述现实世界中文物图像复杂纹理结构的问题，本文提出一种基于回归环金字塔型生成对抗网络的文物图像超分辨率算法（Closed-loop Pyramid Information Generative Adversarial Network，CPIGAN）.考虑文物图像的噪声等不定因素，本文采用不同的降采样方式构建了两种文物数据集且探索了一种改进信息块提取策略，提高了原始高分辨率文物图像中高频信息的利用率.本文进一步设计了一种金字塔型生成对抗网络并融入回归环结构，增强了网络从低分辨率图像到高分辨率图像映射的能力.基于自建文物图像数据集，本文算法与多种算法进行了实验对比分析，多个客观指标均有所提升且重建图像主观上更符合人类视觉标准.关键词：文物图像；超分辨率；生成对抗网络；金字塔型；回归环基金项目：黑龙江省自然科学基金（No.LH2020F009）中图分类号：TP391.41；TP18 文献标识码：A 文章编号：0372-2112(2023)01-0139-07电子学报URL:http:/ DOI:10.12263/DZXB.20211647Research on Super-Resolution Reconstruction Algorithm of Cultural Relic ImagesLIU Jie1,GE Yi-fan1,TIAN Ming2(1.College of Measurement and Control Technology and Communication Engineering,Harbin University of Science and Technology,Harbin,Heilongjiang 150080,China;2.Heilongjiang Branch of China Telecom,Harbin,Heilongjiang 150000,China)Abstract:The digital conservation and classification of cultural relics is one of the hotspots of current image processing research.In view of the problem that conventional super-resolution algorithms cannot fully describe the complex texture structure of cultural relics images in the real world,this paper proposes a super-resolution algorithm for cultural relics images based on a closed-loop pyramid information generative adversarial network(CPIGAN).Considering the noise of real cultural relics and other uncertain factors,this paper uses different down-sampling methods to construct two cultural relics datasets and explores an improved information block extraction.This strategy improves the utilization of high-frequency information in the original high-resolution cultural relic images.This paper further designs a pyramid-shaped generative confrontation network and incorporates the regression loop structure to enhance the networks ability to map from low-resolution images to high-resolution images.Based on the self-built cultural relic image data set,the algorithm in this paper has been compared and analyzed experimentally with a variety of algorithms.Several objective indicators have been improved,and the reconstructed images are subjectively more in line with human visual standards.Key words:cultural relics images;super-resolution;generative adversarial network;pyramid-shaped;closed-loopFoundation Item(s):Natural Science Foundation of Heilongjiang Province of China(No.LH2020F009)1引言文物是经时间沉淀留存下来的具有科学文化价值的物品.文物的保护复原及分类识别，对人们认知历史发展和促进社会进步有着重要意义1，然而传统技术易对文物造成二次损坏.目前，采用数字化图像技术辅助完成操作已成为一种重要手段2，3，其中分辨率是文物图像的重要特征.由于客观条件或硬件设备的限制，现实得到的文物图像分辨率往往会受到影响4.此时，学收稿日期：2021-12-12；修回日期：2022-06-08；责任编辑：朱梅玉电子学报2023 年者可采用图像超分辨率（Super Resolution，SR）技术，将低分辨率（Low Resolution，LR）文物图像处理为高分辨率（High Resolution，HR）文物图像5.其中，基于深度学习的图像超分辨率算法应用广泛，重建图像质量较优6，7，算法大致分为两类8：基于卷积神经网络（Convolutional Neural Network，CNN），如Dong等人的SRCNN（Super Resolution CNN）9和 FSRCNN（Fast Super Resolution CNN）10，Kim 等 人 的 VDSR（Very Deep Super Resolution）11，Lai等人的LapSRN（deep Laplacian pyramid Networks for fast and accurate SR）12；基于生成对抗网络（Generative Adversarial Network，GAN）13，如Ledig等人的SRGAN（Super Resolution GAN）14，Wang等人的ESRGAN（Enhanced Super Resolution GAN）15，Ma等人的 SPSR（Structure Preserving Super Resolution）16和Kong等人的ClassSR（Class Super Resolution）17.图像超分辨率常规领域中，基于CNN的算法有着较大进展，但仍存在缺陷，如重建图像缺乏纹理细节、边缘模糊，大尺度因子下缺陷更为明显；基于GAN的算法可重建更为精细的纹理结构，获得更接近人类真实视觉感知的重建图像，但重建图像会出现伪影等问题.因此，本文为了获取纹理细节更精细且更真实的文物图像，将文物图像与常规超分辨率算法相结合，提出一种基于回环金字塔型生成对抗网络的文物图像超分辨算法（Closed-loop Pyramid Information Generative Adversarial Network，CPIGAN），具体研究主要有：（1）采用不同降采样方式构建两种文物图像数据集，探索一种改进信息块提取策略，合理利用原始文物图像的高频信息，生成更真实的LR图像；（2）设计一种基于金字塔结构的生成网络，充分提取图像特征信息，更好地学习LR到HR图像的映射；（3）进一步构建融合回归环结构的生成对抗网络，网络可学习HR到LR图像的映射，提供额外的监督，使得重建文物图像质量更优.2算法模型研究2.1算法框架设计本文以SPSR算法为基线模型，设计了一种基于生成对抗网络的文物图像超分辨率方法CPIGAN，整体设计框架如图1所示，分为训练和测试两部分.网络训练部分：首先进行数据增强，利用信息块提取策略（具体研究见2.2节）从原始HR文物图像中提取合适的高频信息块组成信息池N，将信息池N中高频信息块裁剪并在线随机加载到LR图像（由HR图像四倍降采样所得）中得到L1图像；L1图像输入生成网络G（G为回归环金字塔型结构，具体研究见2.3节和2.4节），生成SR图像；HR图像和SR图像同时输入鉴别网络D（D以VGG（Visual Geometry Group）网络18为基础），判断HR图像相对于SR图像是否更真实；经过多次循环训练，得到最优CPIGAN模型.网络测试部分：LR文物图像输入训练完的生成网络G中，生成SR图像，通过指标评价算法模型性能.2.2信息块提取策略现实世界中，文物图像存在噪声等不确定性因素，降采样过程中图像的高频信息会有所丢失，且退化后的噪声分布会发生变化19，20.有学者为了更充分地利用原图像的高频信息，使降采样图像与原图像具有相似的噪声分布，直接从原数据集采集高频信息块，随后注入降采样图像以生成与原图像在同一域的真实降采样图像，图像中高频信息块的选取受均值和方差的影响 21.在此基础上，如图1中训练部分的数据增强阶段所示，本文探索了一种改进信息块提取策略，收集一定范围内的高频信息块.一幅图像中，设pi是mm的全局块，qij是nn的局部块（nm）.每一个pi是经步长sm扫描整幅图像所得，qij是在pi的基础上经步长sn扫描所得.若符合式（1）（3）条件，则将pi视为高频信息块并加入信息池N.|M(qij)-M(pi)|M(pi)（1）|V(qij)-V(pi)|V(pi)（2）V(pi)Vmax（3）其 中，M()和V()分 别 为 计 算 均 值 和 方 差，,(0,1)，Vmax表示最大方差.高频信息注入的过程为随机裁剪信息池N中的高频信息块ni并加载至LR文物图像，可表示为I1=ILR+ni,iN（4）在模型训练阶段，采用在线注入的方式将LR文物图像和高频信息块相结合，可使注入的高频信息更多样化，得到与原始HR文物图像处于同一域的低分辨率文物图像.2.3金字塔结构设计从重建图像方式的角度来讲，图像超分辨率模型可分为单次上采样型和金字塔式（级联式）上采样型两图1CPIGAN算法整体框架140第 1 期刘杰:文物图像的超分辨率重建算法研究大类.单次上采样型为通过一次上采样直接得到重建图像，但随着尺度因子增加，网络的训练难度增大，图像特征信息的利用率变低，重建图像的质量变差，纹理细节不够清晰.金字塔式上采样型为逐步学习，将一个问题分为多个子问题，可更充分利用图像特征信息，优化重建图像的质量.此外，与单次上采样型不同的是，金字塔式结构可得到不同尺度的重建结果，进而从不同角度评估分析