基于多维损失函数优化FSR...象观测图像超分辨率重构算法_王瑞祥.pdf

计算机科学与人工智能河南科技Henan Science and Technology总第799期第5期2023年3月基于多维损失函数优化FSRNet的气象观测图像超分辨率重构算法王瑞祥1，2（1.河南省气象探测数据中心，河南郑州450003；2.中国气象局 河南省农业气象保障与应用技术重点实验室，河南郑州450003）摘要：【目的目的】传统FSRNet生成的超分辨率图像存在伪影、模糊等情况，作为志愿气象观测的试点省份，河南省气象局招募了大批志愿观测站，以期解决部分气象观测图像存在较低的分辨率的问题。【方法方法】首先引入热图损失、目标注意力损失和对抗性损失构成多维损失函数，对FSRNet进行模块优化，使用转置卷积放大低分辨率的图像。其次对模型进行分步训练，先对低分辨率观测图像进行粗略SR网络训练，再使剩余网络融入训练。【结果结果】多维损失训练的引入，降低了算法复杂度，提升了粗略SR网络的性能，解决了SR网络训练时调参困难等相关问题，提高了超分辨率气象观测图像的质量。【结论结论】试验结果证明，本方法在气象领域观测图像的优化相比于其他算法效果更佳，可以生成质量更高、细节更加清晰的目标观测图像。关键词：志愿气象观测；超分辨率；多维损失；先验信息；生成对抗网络中图分类号：TP391.4文献标志码：A文章编号：1003-5168（2023）05-0037-05DOI：10.19968/ki.hnkj.1003-5168.2023.05.007Optimization of FSRNet Super-Resolution Reconstruction Algorithm ofMeteorological Observation Image Based on Multi-Dimensional LossFunctionWANG Ruixiang1，2（1.Meteorological Observation Data Center of Henan Province,Zhengzhou 450003,China;2.CMAHenanKey Laboratory of Agrometeorological Support and Applied Technique,Zhengzhou 450003,China）Abstract:PurposesThe super-resolution images generated by the traditional FSRNet have artifacts,blurring,etc.As a pilot province for voluntary meteorological observation,Henan Meteorological Bureauhas recruited a large number of voluntary observation stations in order to solve the problem of low resolution of some meteorological observation images.model of meteorological observation images is constructed.MethodsFirstly,heat map loss,target attention loss and adversarial loss were introduced toform a multidimensional loss function.The module of FSRNet was optimized,and transposed convolutionwas used to enlarge the low-resolution image.Secondly,the model is trained step by step.First,the lowresolution observation images are trained by rough SR network,and then the remaining network is integrated into the training.FindingsThe introduction of multi-dimensional loss training reduces the algorithm complexity,improves the performance of rough SR network,solves related problems such as the dif收稿日期：2022-11-10基金项目：中国气象局/河南省农业气象保障与应用技术重点实验室应用技术研究基金项目（KQ202211）。作者简介：王瑞祥（1996），男，硕士，助理工程师，研究方向：气象信息技术、深度学习、软件自动生成与智能服务、大数据算法分析。38第5期ficulty of parameter adjustment during SR network training,and improves the quality of super resolutionmeteorological observation image.ConclusionsExperimental results show that this method is more effective than other algorithms in optimizing observation images in meteorological field,and can generateobservation images with higher quality and clearer details.Keywords:voluntary meteorological observation;super resolution;multidimensional loss;prior information;generate adversarial network0引言目前，我国已建立地面、高空和空间观测相结合的综合气象观测网，在支撑公共气象、资源气象及生态气象服务中发挥了显著作用，但在部分气象灾害重点监测区域、特殊地理位置和一些重点服务区域仍然存在观测途径难、站点稀少等问题，难以捕捉到局地灾害性天气现象和观测资料。据此，河南作为志愿气象观测的试点省份，已招募社会志愿气象观测设备并入观测站网序列。但是由于志愿观测设备存在多样性，测量环境各异，仪器缺乏稳定性，数据采集和传输受到通信条件和观测环境多种因素的限制，一系列观测图像质量较低，给研究带来了困难，因此需要对气象观测图像进行超分辨率重构。超分辨率（Super-Resolution，SR）是图像分析与识别中的一项基本技术，可以极大地促进农作物图像的目标识别任务，在传统的图像识别领域应用广泛1-2。在农业气象观测以及一些志愿观测图像中，例如农作物的生长图像、重要天气现象图像、天气过程的图像等，不同观测设备的图像质量存在较大的差异，传统图像空间中的像素级均方误差损失函数通常运用在极个别图像的超分辨率重构上3，其像素级的输出更接近真实的HR图像，会使得输出的图像产生平滑和模糊的效果，对细节和纹理的要求不高。相对于普通图像的超分辨率，气象观测图像中不同的观测要素存在特定的先验知识，例如雾霾、冰雹、降水、大风以及农作物不同的周期生长，具有不同的知识特点，这些先验知识是气象图像的超分辨率的关键，例如，不同天气图像所对应的天气现象字段以及不同的农作物图片对应的生长周期等可以帮助重建更加精细的目标形状4，其字段的构造成分可以重塑目标细节。通过对FSRNet超分辨率网络各个模块进行分析研究发现，传统的超分辨率网络模块之间构造相对粗略，损失函数的设计相对欠缺不够完善，从而导致经过网络训练输出的超分辨率图像的纹理不够精细、各项硬指标和视觉质量不高。针对以上问题，本研究提出了一种基于多维损失函数优化FSRNet的气象观测图像超分辨率重构算法，降低了计算复杂度，节省了大量的计算量，对网络训练采用递进式的方法，对模型进行分步训练，解决了网络训练时较难的参数调整，避免了粗略超分辨率网络造成先验估计准确性较低等相关问题，使粗略超分辨率网络输出质量较高的图像。1传统超分辨率网络传统的超分辨率网络结构可大致分为粗糙SR网络（coarse SR network）、精细 SR 编码器（fine SRencoder）、先验估计网络（prior estimation network）和精细 SR 解码器（fine SR decoder）四个模块。网络的输入经过立方卷积插值模糊处理过的图像，最后输出的是高分辨率的 SR 图像。通过立方卷积插值（bicubic）对气象观测图像进行接近高分辨率的图像放大效果处理，为了使先验估计网络直接从分辨率相对较低的气象观测图像中提取到关键的先验信息，首先不改变输出图像大小，使图像由粗糙 SR 网络输入，先快速生成一个粗略的 SR图像，使得先验估计网络能够提取到相对准确的图像中目标关键点和解析图。气象观测图像途径粗略的 SR 网络后可以产生粗略 SR 图像，将粗略SR图像输入到先验估计网络中，通过先验估计网络来预测气象观测图像中的目标解析图和关键点热图，对图像进行降采样，使得输出的先验信息包括多个预测的目标解析图。接着将粗略 SR 图像输入到精细 SR 编码器中，精细 SR 编码器利用残差块进行特征提取，将特征进行下采样，将先验特征融合图像特征作为串联结构形式，并把其作为精细 SR 解码器的输入，运用精细 SR 解码器将特征进行上采样到一个较高的分辨率，恢复最终的HR图像，此时相对分辨率较模糊的气象观测图像就完成了传统的超分辨率重建，可以提高气象图像精细化程度，但图像的纹理不够精细、各项硬指标和视觉质量仍不高。王瑞祥.基于多维损失函数优化FSRNet的气象观测图像超分辨率重构算法第5期392超分辨率网络的改进2.1粗糙SR网络的优化原始的FSRNet超分辨率网络对于图像的输入尺寸相对较大，往往是插值过后的低分辨率图像，然而输入图像的尺寸与经过神经网络训练计算的时间复杂度成正比，尺寸越大则时间复杂度越高。因此，为了提高网络的效率和重构质量，把原始图像进行降分辨度输入，保证输入尺寸为较低的1616低分辨率图像，并以此输入至粗糙SR网络中进行图像恢复，并在粗糙SR网络末端融入转置反卷积函数再把图像恢复至 1281283。FSRNet在粗糙SR网络中使用了3个残差块来提取特征，在最后增加一个转置卷积层来放大图像。2.2多维损失函数构建通过使用FAN网络，来提取目标热图进行监督训练，引入的蒸馏FAN网络表示为FANd。通过引入图像目标注意力损失，恢复目标图像周围区域的属性特征，由于图像的关键点热图可以更好地体现目标所在的位置特征，所以运用目标关键点热图表现位置信息，记为M，将放大后的图像与目标图像构成逐要素信息矩阵向量，并对其进行向量积计算，以目标周围的图像特征作为图像目标注意力的重点关注区域，由此目标注意力损失可以表示为lat，其损失函数表示为式（1）。lat=12WHx=1Wy=1H(Mx,y|IHSRx,y-G ILSRx,y)（1）式中：G代表图像目标SR网络的生成器，G在训练的第一阶段表示为粗略SR网络，后一阶段表示剩余网络。HSR和LSR分别为输入的目标图像和Plow。目标热图在各通道上的最大值为关键点注意力热图M。使热图标准化至 0，1 范围内，使得界标之间的差异性特征更为鲜明，图像的长和宽W、H均为128像素。先验损失的引入，通过先验估计网络PNet预测目标先验信息，减少生成的图像先验信息和目标先验信息之间的差异性，先验损失函数记为lprior，其定义如式（2）。lprior=12WHx=1Wy=1H(IHSRx,y-PNet ILSRx,y)2（