基于卷积神经网络融合编码与解码特征的降水强度识别_林梦翔.pdf

第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展0211003-1研究论文基于卷积神经网络融合编码与解码特征的降水强度识别林梦翔1，黄秀萍1，林志玮1，2，3，4*，洪思弟5，刘金福1，21福建农林大学计算机与信息学院，福建 福州 350002；2福建农林大学海峡自然保护区研究中心福建省高校生态与资源统计重点实验室，福建 福州 350002；3福建农林大学林学院，福建 福州 350002；4福建农林大学林学博士后流动站，福建 福州 350002；5莆田学院新工科产业学院，福建 莆田 351100摘要 为高效地利用红外降雨图进行雨量强度分类，提出了一个融合编码与解码卷积特征的雨量强度识别模型。引入编码与解码卷积于深度卷积神经网络分类模型中，在减少局部信息丢失的同时提取深层次的雨纹信息特征。于编码、解码卷积模块中考虑多尺度感受野卷积，融合不同范围的局部特征，同时在解码时融合相同尺度的编码与解码卷积特征图，提高特征利用率，从而构建一种融合编码与解码卷积特征的雨量强度识别模型。所提模型的分类精度优于主流卷积神经网络框架，分类正确率最高达到了 91.7%，且消融实验结果验证了编码与解码模块的有效性。关键词 成像系统；降雨强度识别；卷积神经网络；编码特征；解码特征；特征融合中图分类号 TP183；P409 文献标志码 A DOI：10.3788/LOP212668Precipitation Intensity Recognition Based on Convolution Neural Network with Fused Encoded and Decoded FeaturesLin Mengxiang1,Huang Xiuping1,Lin Zhiwei1,2,3,4*,Hong Sidi5,Liu Jinfu1,21College of Computer and Information Science,Fujian Agriculture and Forestry University,Fuzhou 350002,Fujian,China;2Key Laboratory for Ecology and Resource Statistics of Fujian Province,Cross-Strait Nature Reserve Research Center,Fujian Agriculture and Forestry University,Fuzhou 350002,Fujian,China;3College of Forestry,Fujian Agriculture and Forestry University,Fuzhou 350002,Fujian,China;4Forestry Post-Doctoral Station,Fujian Agriculture and Forestry University,Fuzhou 350002,Fujian,China;5New Engineering Industry College,Putian University,Putian 351100,Fujian,ChinaAbstract In order to efficiently use infrared precipitation images to determine the precipitation intensity,a precipitation intensity recognition model with fused encoded and decoded features has been proposed.The coding and decoding convolution is introduced into the deep convolution neural network classification model,which can extract the deep-seated features of rain information while reducing the loss of local information.In the coding and decoding convolution module,multi-scale receptive field convolution is considered,and local features in different ranges are fused.At the same time,coding and decoding convolution feature maps of the same scale are fused during decoding,so as to improve feature utilization.Thus,a precipitation intensity recognition model integrating coding and decoding convolution features is constructed.The proposed model has the highest classification accuracy of 91.7%compared to state-of-the-art methods.Moreover,an ablation experiment demonstrates the effectiveness of the proposed encoded and decoded model.Key words imaging systems;precipitation intensity recognition;convolutional neural network;encoded feature;decoded feature;feature fusion收稿日期：2021-10-08；修回日期：2021-11-06；录用日期：2021-12-13；网络首发日期：2021-12-24基金项目：教 育 部 人 文 社 会 科 学 研 究 项 目（18YJCZH093）、海 峡 博 士 后 交 流 资 助 计 划、中 国 博 士 后 科 学 基 金 面 上 项 目（2018M632565）、福建省自然科学基金（2021J01128）通信作者：*0211003-2研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展1引言随着全球经济的快速发展，工业发展带来的大气问题日益突出，不精确的预报系统将会给地区带来较大的经济损失，而实时的雨量强度播报能够帮助活动开展，因此精确和实时的天气监测系统是社会有序、稳定发展的保障。雨量强度识别作为天气预报中重要的组成部分，深入了解降雨特性有助于居民出行、防洪救灾、农业灌溉等多种重要活动的开展1。降雨是全球水循环的重要组成部分2，为了更好检测雨情，人们设计了雨量计3-4、多普勒天气雷达5-6、卫星遥感7等降雨测量设备及结合雨量站网、天气雷达、卫星遥感的多源降雨估计，但这些设备的建设和维护成本过高，且在多源降雨数据进行融合的过程中，由于降雨本身在不同尺度上存在差异性，对数据的整合是一大难题8。随着人工智能的发展，许多机器学习分类算法被用于卫星图像分析，包括人工神经网络9、支持向量机10、随机森林11、朴素贝叶斯12等。在对卫星降水的估计中，使用以上算法作为分类器对卫星云图的像素进行识别和分类，然后将分类好的像素给定一个降水率。不同算法分类性能的主要差异在于对云图像素点的识别及分类，为了提高像素点的识别精度，研究人员通过组合分类器的方法来优化识别和分类13。近年来，深度神经网络被广泛用于多个领域14-15，它能够进行复杂的特征提取，在很多应用中取得了重大突破。目前不少学者也将深度神经网络引入降雨量的估计中16-18，将雨量计测得的数据作为真实标签，对天气雷达、卫星获取的数据建立深度神经网络模型并进行特征提取，从而实现降雨量的估计与预测。但存在一定困难，一方面是数据获取的成本高，另一方面是多源降雨数据融合困难，且雷达和卫星影像数据是针对大范围的降雨强度识别，对于范围内更加细致的地区，降雨量估计精度低。本团队先前研究19已经证明深度神经网络结合降雨光学图像进行降雨强度识别分析的可行性，但没有对模型进行改进使其具有更好的识别能力。因此，本文基于基础模型提出了多感受野编码解码模块并构造了一个融合编码与解码卷积特征的雨量强度识别模型。视频监控系统已经广泛应用于生活中的各个领域，通过广泛设置监控设备不仅能够获得各地区的降雨图像信息，还能更容易地获得短时间间隔内的降雨数据。但是传统可见光的视频监控图像会受到雾天、粉尘等影响20，使得监控图像质量下降，从而不利于对图像中的雨滴、雨纹特征进行提取。此外，还存在夜间光照弱的环境下难以对目标物体进行识别的问题，而红外图像能够克服大雾、夜间光强弱、粉尘的影响，具有抗干扰能力强及夜间侦察的特性21，能够捕获降雨雨纹等细节信息。为了高效地利用红外降雨图进行雨量强度分类，本文提出了一个融合编码与解码卷积特征的雨量强度识别模型。所提模型在深度卷积神经网络的基础上引入编码解码模块于深度卷积神经网络分类模型中，在减少局部信息丢失的同时提取深层次的雨纹信息特征。该模块以编码的方式提取特征信息并缩小特征图，为了增加后续局部信息的提取并减少局部信息丢失，再以解码的方式反卷积回原大小。编码解码模块中采用多尺度感受野卷积，提取不同范围的局部特征并融合，同时在解码时再融合相同尺度的编码与解码特征图，提高特征利用率。希望能够与监控系统结合，实现实时且小范围的降雨强度监测，为气象部门解决利用雨量计或小型自动气象站无法实现密集监测的技术问题。该方法只需常见且必要的摄像头，能够为无法安装雨量计及小型自动气象站的区域提供新的监测方式，为气象部门提供新的降雨监测方法。2所提方法2.1雨量强度识别模型红外降雨图像数据表明，环境的差异（比如风向、光照、背景等）会影响雨纹的呈现状态，所以为了尽可能获取所有状态下的雨纹特征，本研究提出了一种融合编码与解码特征的雨量强度识别模型，如图 1所示，对应的伪代码如图 2所示。首先将输入的红外降雨图像经过 1层 77卷积层和 1层 33最大池化层得到的特征图作为编码解码模块的输入，在进行 77卷积之后，对得到的特征进行一次正则化 Batch Normalization和一次 ReLU激活，红外降雨图像经过上述的操作后可得到一个拥有较大感受野的特征，在缩小特征尺寸的同时提取了大范围的图像信息，以便后续更加注重细节特征的提取。经过第 1次卷积得到全局特征后，将其输入编码模块中，编码模块包含 2层多感受野卷积，多感受野卷积拥有 4个分支，在每层的编码模块中遍历该 4个分支的操作，并将其结果在通道维度进行串联后再经过池化降低尺寸，得到该层结果后输入下一层。而在解码模块中，首先上采样其输入以扩大尺寸，然后与编码模块一致，进行多感受野卷积的遍历及通道串联，但不再进行池化而是将编码与解码模块中同尺寸的特征进行正反两次串联，得到的结果同样输入下一层。最后 再 经 过 卷 积 神 经 网 络（CNN）、全 连 接（FC）和Softmax函数得到降雨强度结果，并将该结果通过交叉熵计算损失，并通过反向传播更新网络。所采用的 CNN 是 ResNet22或 DenseNet23除去第1 层卷积后剩余的网络，全连接层将网络输出的特征进行全局平均池化后利用输出通道为类别数的 11卷积得到每类识别结果。编码解码模块中“MRF-Conv”表示多感受野卷积（MRF-Conv）。Softmax 函数能够求得每一类雨量对应的概率值，概率最大的为最终的分类结果。具体的模型网络层参数如表 1 所示，其中多感受野卷积操作一致，因此只在第 1次出现0211003-3研究论文第