基于多尺度混合注意力LSTM雷达回波外推方法_刘瑞华.pdf

（）年 第 卷 第 期 收稿日期：基金项目：重庆市教委科学技术项目（）；重庆市自然科学基金项目（）作者简介：刘瑞华，男，博士，副教授，硕士生导师，主要从事智能信息处理研究，：；通信作者 邹洋杨，女，博士，讲师，主要从事数据处理研究，：。本文引用格式：刘瑞华，高翔，邹洋杨 基于多尺度混合注意力 雷达回波外推方法 重庆理工大学学报（自然科学），（）：，（），（）：（）基于多尺度混合注意力 雷达回波外推方法刘瑞华，高 翔，邹洋杨（重庆理工大学 两江人工智能学院，重庆）摘 要：针对基于雷达回波图的短临天气预测准确度不高的问题，提出了多尺度混合注意力长短时记忆网络模型。模型以长短时记忆网络为基础，设计引入辅助分支，提取增强图像的全局信息。设计了混合注意力特征提取模块，提取数据的细粒度和粗粒度的信息。实验结果表明：模型在 和 种指标上优于、等 种模型。在、情况下，比 模型的 指标分别提升了 、，比 指标分别提升了 、，改进明显。关 键 词：长短时记忆网络；雷达回波；注意力；多尺度中图分类号：；文献标识码：文章编号：（）引言短临预报，即短时效（）内的天气变化预报，在交通、农业、军事、畜牧业和旅游业等都起到至关重要的作用，对于城市防汛预警更是无可替代。雷达回波序列图像因其自身具有较高的时间和空间相关性的特点，常作为临近预报的有效工具，而如何利用历史雷达回波图像进行临近预报特 别 是 对 强 对 流 天 气 的 预 测 是 一 个 热 点问题。近年来，短临预报采用的单体质心法主要有雷暴识别跟踪分析的临近预报方法以及风暴单体识别与跟踪算法。随着研究的深入，虽然单体质心法经过不断完善，也取得了一些进展，但是计算量庞大，以及泛化能力差的缺点使其无法在临近预报上取得更好的效果。交叉相关外推算法最早由 等提出，曹伟华等先对连续雷达图像进行相关分析，找到相邻时次图像的位移矢量，然后预测用于外推雷达回波移动的位置和强度。陈明轩等指出，基于回波移动矢量需要获得平滑和真实的回波移动矢量才能进行比较准确的外推，该算法存在外推时效较短的缺陷。符式红等构造了集合的线性交叉相关方法对多普勒雷达回波进行外推，能够反映降水系统所对应回波的移动方向和速度，考虑到多时刻对流单体的演变过程，随着外推时间步长的增加，回波强度与实况相比慢慢偏弱，无法进行较为精准的预测。光流法最早应用于计算机视觉领域，通过利用图像序列中在时间域上的变化以及相邻帧间的相关性来找到上一帧和当前帧之间的对应关系。曹春燕等提到对准静止型局地加强型降水，光流法预报效果较低，该算法存在一定的局限性，且光流法进行外推预报的可用性随着时间的延长而降低。随着深度学习的愈发流行，并结合雷达回波资料时空相关的数据特点，学者们将循环神经网络（，）算法应用到临近预报，并取得了一些研究进展。等通过把卷积神经网络（，）中的卷积层引入长短时记忆网络（，），提出了卷积长短时记 忆 网 络（，），主要是在 运算单元中加入卷积，让模型既能对时序信息建模，同时又兼备卷积的局部感知和减少参数量的优点。等考虑到雷达回波具有时空易变的特性，提出了对连续多帧的质点运动矢量进行追踪，捕捉其在时间序列上的空间变化的轨迹 （，）模型。该模型对自然运动条件下的观测物体仍能保持较高的预测精度，并提出了加权损失函数作为指标判断模型对不同阈值下的雷达回波预测能力。等采用改进的时空长短时记忆网络，在网络中增加了一个并行的专用于保留图片空间特征的通道，进而提出了预测 （，）模型。该模型不会在经过多层的 运算后丢失大量空间信息，同时也解决时空长短时记忆网络层级式结构中存在的梯度消失问题。等提出了重记忆模型，将 中的遗忘门变成 个级联的 结构，使网络具有捕捉时间序列中非平稳特征的能力。等提出了运动 的通用视频预测模型，该模型通过在时空上把运动变化分解为整体变化与瞬时变化，并利用运动（，）单元统一建模，另外该模型可平衡序列预测中的移动与非移动部分信息。当然，卷积神经网络应用于视频预测，降水预报也愈发流行。等利用 进行连续降水预报，使用更少的参数能够得到和 相差无几的效果。等提出在 上增加注意力模块的小型注意力 模型也取得了不俗的预测效果。等针对中高强度的雷达回波预测问题，把视觉 和 结合，提出了局部注意力预测模型，并很好地解决了此问题。然而，上述模型也存在几个小缺陷：由于 递归的特点，使其无法像 一样搭建不同图像尺寸的层级式网络，仅仅依靠 中的几个门，即便结合了卷积神经网络，在空间特征提取上仍存在着不足。中图片划分块的大小也影响着 本身的准确度，如细粒度的块能够使 性能更好，而粗粒度的块则会使 在自注意力计算时能得到更多的全局信息，另一方面 无法做到同时提取细粒度和粗粒度的块信息。为了解决上述问题，受 模型与注意力机制的影响，本文提出了多尺度混合注意力网络模型（，）。该模型主要由多个层级的多尺度混合注意力 构成，与 不同之处在于该单元中具有不同尺度的回波图像输入，并通过一种全新的混合注意力特征提取方法（，）着重加强了 对空间特征的提取，实现了在 中对细粒度和粗粒度块的有效结合。雷达回波外推是关于时间和空间序列的预测问题，基于一系列历史雷达回波图片去预测未来降水。假设在由 行 列组成的一张 的空间区域内观测降水，其中每一个单位网格内存在 个随时间变化的观测值，对应在 时刻下的一张雷达回波图像可用张量，进行表示，此问题可以被描述为：，（，）（）式中：代表观测的特征域，以所观测的 时刻为当前时刻，向前取连续的 帧图像作为输入图像序列，预测未来长度为 的雷达回波图像。刘瑞华，等：基于多尺度混合注意力 雷达回波外推方法 等提出了，如图（）所示，该模型把卷积和长短时记忆网络结合到一起，而图（）所示的 模型是其改进型模型，主要贡献首先在其数据沿之字形流动的结构设计，该设计巧妙地将历史时刻提取的回波信息充分应用于未来预测，使模型能有效进行长时的序列建模，其次 在原本 的基础上增加了单独的空间记忆模块，空间变化对于时空预测同样重要，借助空间记忆模块，模型能有效地学习图像中的空间特征。与其他骨干网络相比，该模型在回波预测的时空特征提取方面具备较显著的优势。图 的 幅图片中，分别表示 时刻的输入和预测的回波图像；，分别表示在 时刻第 层对应隐藏状态和细胞状态的输出。在图（）中 表示在 时刻第 层空间记忆模块的输出。图 卷积循环神经网络 模块 年，等首次提出了 模型，目前已广泛应用于计算机视觉任务，如图像识别、图像分类和分割等，在架构上可以与 结合起来混合使用，从而达到更好的效果。但 与其他模型结合时，其分块大小也一定程度上影响着本身的准确度，如细粒度的块能够使 性能更好，而粗粒度的块则会使自注意力计算时能得到更多的全局信息。由于现实因素，通常情况下，中高回波强度在整张回波图像中比例极小，如图 所示，分块的大小会影响模型对不同回波强度的预测精确度，对于中低等回波强度，小的分块（如图（）往往能够提供连续信息，而大的分块（如图（）则会使模型对中高回波强度更敏感。基于此，本文设计了 模块。该模块首先对同一时刻不同尺寸的输入图像块进行特征提取，然后对粗粒度和细粒度的图像子块进行融合，力争解决 模型无法对不同粒度图片信息进行提取的缺陷，以提高模型对强对流天气的预测准确度，如图 所示。图 不同的分块大小图 模块 为了解决 在空间特征提取方面的不足，本模型在输入端上就当前时刻输入与隐藏层输入分别添加了辅助分支，则是针对 个不同尺度输入的图像特征提取模块，该模块由 次特征融合构成。在图（）中分为分支（，）以及混合注意力（，）个部分，在 部分，较小尺寸的辅助分支给模型带来细粒度信息，双路分支结合主要是提高模型对中高回波强度信息的捕捉能力，同时通过上采样使辅助分支与主分支共同提取特征，使模型关注中低回波强度的信息。在 部分，粗粒度信息和细粒度信息的注意力混合更着重于全局信息提取。考虑到不同块大小仅单次采样 中的权重矩阵会造成不平衡的影响，把图（）的输出作为第二次特征融合的辅助分支，并与主分支进行再次融合构建不同的权重矩阵，如图（）所示，完成了对不同尺度特征的提取。多尺度特征提取的方法广泛应用于目标检测和模式识别任务中。等提出了一种多尺度特征表达的卷积神经网络结构，该网络结构中的多尺度特征提取法是设计了具有不同尺寸的多分支的网络结构，然后通过多次对不同尺寸特征进行融合来获得多尺度特征，本文中 模块的设计是受该模型结构的启发，如图 所示，其中，分别表示隐藏状态的辅助分支和当前输入的辅助分支；，：分别表示当前单元的输入和前 时刻的输入；，分别表示前一时刻的空间记忆状态、时间记忆单元、隐藏单元；，分别表示前时刻、前一时刻、第 层。图 的数据流主要由 个级联组成，具体计算过程为：（，）（）（，）（）（）（）（，）（），（，），）（）式中：计算流程见图，计算中所使用的激活函数皆为双曲正切函数，同时，与 模型不同的是本模型中在 时刻输入以及隐藏层输入上分别增加了一个辅助分支，通过上述 模块提高模型的空间特征提取能力，并多出一个用于增加历史回波信息提取的通道自注意力（，）。模块即视觉 中的自注意力模块，通过 可以计算出历史回波图像的一个权重矩阵，从而得出过去的哪张回波图像能对下一时刻的预测提供更大帮助，进而提升模型对回波外推的长时间建模的能力。本文采用基于 改进的 模块组成的神经网络模型作为网络架构，具体结构如图 所示。图 模型延续了 的之字形结构设计，该设计能够保留前一帧的信息同时应用于后一帧的预测。由于回波图像外推的重点是对时间和空间的序列预测，所以与其他模型不同的是本模型在横向与纵向的数据流上面增加了部分的历史回波刘瑞华，等：基于多尺度混合注意力 雷达回波外推方法输入，通过历史回波输入，能够更好地抓住序列之间的时间关系进行建模。而在每一个 模块中，通过添加辅助分支并利用 融合方法，有效地把 中的大尺度块和小尺度块的优势进行结合，同时本模块通过辅助分支与原输入的多尺度输入，采用全新的特征融合方法构建了一种类似 的层级式特征提取。仿真实验数据来源于深圳气象局与阿里巴巴联合承办的 比赛，是深圳及周边地区的多普勒雷达观测数据，作为公开数据集，该数据集中每一个样本包含 张雷达回波序列图片，间隔为 ，共包括 的观测数据。该数据集共包括 个雷达回波序列作为训练集，个雷达回波序列作为测试集，本实验在训练集中随机选取 个序列作为验证集。每一张图片空间分辨率为 ，每一个像素值范围 ，通过 关系可以把像素值转为对应的雷达回波强度。关系如下：（）本实验利用 张雷达回波图像预测未来连续 张图像，即预测未来 的降水情况。本文实验设备处理器型号为 ，内存，使用 实现本文模型。网络模型训练时，每一个块大小为，学习率为 ，尺寸大小设置为，采用 优化器进行优化。实验中，损失函数为 和 的加权组合，即，（）评价指标本次实验对测试集检验采用分阈值的评估方法，使用、作为判别阈值，评估指标主要包括 和，具体计算公式如下。（）（）（）（）（）（）（）式中：、分别表示真阳性、假阳性、真阴性、假阴性。预测评估实验为了评估 模型性能效果，测试了 和 评估指标在 个不同阈值（、）情形下，与其他先进模型进行比较，如表 所示。通过比较发现，除了 下的 指标，所提出的 模型在 和 各阈值情形下都取得了最高的指标值，表明模型取得了较好的效果。表 测试集评估指标 （）雷达回波预测问题是时空预测问题，在本实验中，为更好地体现随时间关系不同模型的预测效果，绘制了不同阈值下的 和 曲线，如图 所示。通过图 中的 和 曲线可以看出，本模型在 和 下对未来 帧即 的回波预测效果超过其他模型，而在 的前 帧，即 前本模型要优于其他模型，而在第 帧即 后 要优于本模型，分析是雷达回波图像的预测比较依赖于历史信息，因为 模型能够保留所有的历史输入，同时其对每张图像提取特征不够充分，则导致 在中低回波强度以及高回波强度平均成绩上略低。图 不同回波强度下的 和 曲线 图、图 为测试样本的可视化图像，其中第一行图片表示真实回波图像，最下面颜色表格代表不同的雷达回波强度，回波强度越高则表示该