Transformer网络在大地电磁反演成像中的应用.pdf

第 卷第期 年月物探化探计算技术 收稿日期：基金项目：国家自然科学基金重点项目（）第一作者：刘高村（），男，硕士，主要从事大地电磁法基础研究，：。文章编号：（）网络在大地电磁反演成像中的应用刘高村，王绪本，袁崇鑫，李德伟，谢卓良（成都理工大学地球勘探与信息技术教育部重点实验室，成都 ）摘要：传统大地电磁反演通常是基于确定性梯度的迭代求解，不仅需要大量时间计算雅可比矩阵，还依赖于初始模型的输入和正则化因子等参数的设置。近年来学者们不断引入机器学习方法以试图改善大地电磁反演，该方法不需要计算雅可比矩阵，不用输入初始模型，训练好的网络仅需几毫秒就可实现反演成像。这里利用 团队提出的 神经网络经典框架搭建大地电磁数据和模型之间的映射网络，以 组正演数据为样本，对 网络参数进行训练。采用南非开源大地电磁数据，实现了由视电阻率图像到电阻率模型的反演成像。研究表明：经训练后的 网络可以较准确的反映出异常体位置和大小；网络实现了简单的矩阵并行化运算，大幅度提高训练的效率，且成像效率高于传统的反演。关键词：大地电磁测深；有限元正演；多头注意力机制；反演成像中图分类号：文献标志码：犇 犗 犐：引言大地电磁测深法是一种利用天然电磁场测量，研究地球深部电性结构特征的一种地球物理勘探方法，普遍运用于矿产普查、区域构造研究、深部地球动力学等方面。该方法在近 年的发展历程中，大地 电 磁 反 演 一 直 是 学 者 比 较 关 注 的 研 究 方 向。等提出了 反演，随后由 等完善了 反演法，在 反演法的基础上，等提出了快速松弛反演，这类方法需要添加正则化因子或者计算雅可比矩阵，且对初始模型依赖性强，较好的初始模型会使迭代过程平稳，容易收敛，取得很好的反演效果。根据目标函数梯度信息，学者提出了 反演、最小二乘法和高斯牛顿法等梯度方法。这类方法避免了计算雅可比矩阵，且计算效率高，收敛性强；该方法最大的局限依赖于初值，不能保证收敛到全局极值，以上传统反演方法理论已经十分完善，但均需要设置初始模型，对初始模型十分依赖。于是学者提出了一些新的非线性反演方法，如：蒙特卡洛法、遗传算法、模拟退火、粒子群算法、人工神经网络 等算法，这些反演方法对初始模型依赖性小，不用计算灵敏度矩阵，整体思路为寻找全局最优解 。其中人工神经网络反演不需要多次的迭代，消耗反演时间，训练好的网络可以快速成像，受到学者的喜爱。起初人工神经网络主要使用 神经网络，其仿生物学独有的学习记忆功能，对数据进行自组织和自适应能力的自主学习，实现非线性反演，如李创社等 将 曲线转化为 神经网络反演应用于瞬变电磁勘探；徐江 把 人工神经网络运用至半航空瞬变电磁法，验证了 神经网络反演的准确性和有效性；胡祖志等 总结了 神经网络在三维中的应用情况；徐海浪等 采用 网络实现了高密度电法的二维电阻率反演。为了完善 神经网络反演，学者提出用粒子群优化算法等优化 神经网络 ，提高反演的精确度；敬荣中 将模糊系统和神经网络结合，在 、和均取得了较好的效果，以上 神经网络属于浅层神经网络，对于复杂的实际大地电磁数据，需要建立更加复杂的映射关系，于是学者提出深度神经网络。卷积神经网络是深度学习在图像中运用较为广泛的一种，众多学者把卷积神经网络（）运用在电磁法二维及三维数据处理 取得了较好的效果。除此之外，还有学者提出神经网络和长短记忆循环神经网络等深度神经网络，均取得了较为明显的效果 。对比传统反演方法，机器学习方法在海量数据处理、大地电磁噪声模式识别和 特 征 提 取、数 据 预 测 等 方 面 具 有 巨 大 的 优势 ，然而获取训练网络的样本需要正演产生，大量的样本会消耗大量时间，目前仅仅适合 或者小规模 数中，。笔者将在前人的研究上继续探讨神经网络方法在大地电磁法中的应用，将自然语言翻译中最为受到关注的 网络运用至大地电磁反演成像中。该网络框架实现了并行输入，但有别于 和 读取信息，节省了大量的时间。网络由 团队 提出，放弃了传统卷积神经网络和循环神经网络的模型架构，成为了自然语言处理任务中的实际标准。等 将 架构迁移到计算机视觉领域。后基于该网络的出色表现，周哲韬等 利用振动信息进行预测，提高了预测的准确度；何林远等 提出稀疏 ，能很好地适应遥感图像中各类旋转目标的形状与分布特性。以上研究表明，该网络框架在自然语言翻译和图像处理、数据分析处理上均有着较好的效果，在训练速度上远远地超过了循环神经网络和卷积神经网络。于是笔者将探索其在数据处理中应用的可能性，并提出针对数据处理时的注意事项及改进方向。结果表明，该方法具有较快的训练速度，网络具有一定的泛化能力，该方法是切实可行的。方法原理 网络框架基础是利用并行的多个图 框架 图序列掩码 注意力机制获得不同的网络参数，提取不同的信息，再通过实现编码和解码的方式预测出所需要的结果。一个完整的 如图所示，包括输入编码、位置编码（，图中用 表示）、编码器、解码器、全连接层。灵活运用多头注意力机制是该网络的亮点，实现了并行化处理，加快了网络的处理速度以及处理效果。输入编码和掩码 网络输入信息时需要编码，使语言文字变为机器可识别的维度矩阵，同时添加掩码。其中，包括两种掩码方式，填充掩码和序列掩码。填充掩码主要是针对语言长短不一的问题提出的，如图所示方式补全维度信息，输出矩阵还需要增加和（）向量，添加两个向量序列作为额外信息输入；序列掩码是运用在解码器中用于掩饰未来信息中的编码。位置编码 有别于卷积神经网络和循环神经网络的并行网络结构，输入信息里无时间顺序位置期刘高村，等：网络在大地电磁反演成像中的应用图位置编码 图多头注意力机制示意图 信息，为解决位置关系，引入位置编码，构成公式（）所示的位置关系。犘 犈（犾，犻）犘 犈（犾，犻）（）式中：犘 犈为编码矩阵；犾 犻犱；犾代表测点所对应的位置；犻为矩阵的奇偶位置，取值范围在，犱；犱为频点数。为更好展示位置编码，绘制如图所示，左半部分的值由正弦函数生成，右半部分由余弦函数生成。对任意向量犡进行位置编码，由式（）生成一个全新向量犪犾：犪犾犡犾犘 犈犾（）式 中：犘 犈犾 （犾犳），（犾犳），（犾犳），（犾犳），（犾犳（犱），（犾犳（犱），犘 犈犾是犡犾所对应的位置编码，犳犻 犻犱。犡犾经过位置编码处理后能使 神经网络在向前传播和梯度训练中将位置信息保存下来，进一步将输入向量之间的相对位置和绝对位置保存下来。多头注意力机制多头注意力机制（）是 中的核心关键，如图所示，将单头注意力机制复制为多个，提取了不同信息后把再多个头拼接通过一个全连接层控制输入和输出的维度保持不变，得到最终的输出。注意力机制将输入矩阵犡矩阵通过个待训练的全连接层，经过三个犠矩阵，线性变换后生成犙（）、犓（）、犞（）矩阵：犙犠犙犡（）犓犠犓犡（）犞犠犞犡（）计算犙和犓的相似性或者相关性，获得犓对应犞的权重矩阵，为避免在网络训练中致使训练参数过大，还需除以槡犱 犽，通过 归一化后获得最终的权重因子，对权重和犞进行加权求和，即得到了最终的 数值。即：犃 狋 狋 犲 狀 狋 犻 狅 狀 （犙 犓犜犱槡犽）犞（）考虑大地电磁与自然语言的差异，在进行线性变换生成犙、犓、犞矩阵时，将原本的低维信息扩展到一个较高维度后，我们不仅要关注高阻信息，也需要注意低阻异常，而原来的注意力机制会被高阻吸引，于是引入了投影概念作为注意力机制的一部分，犓犜为向量犓犜的范数：犃 狋 狋 犲 狀 狋 犻 狅 狀 （犙 犓犜犓犜犱槡犽）犞（）编码器编码器（）是由个 层组成，每个 包括一个多头注意力机制（）和一个前馈神经网络（），它们依靠 进行残差拼接而成，如图所示。残差连接 表示为：犾 犪 狔 狉 犲狅 狌 狋 狆 狌 狋狓犔 犪 狔 犲 狉（狓）（）那么任意犖层与狀层之间（犖狀）的关系可以表示为：狓犖狓狀犖 犻狀犉（狓犻）（）于是在网络的传播过程中，不仅可以保存原始信息，又可提取特征信息。在梯度训练中损失函数犳与狓犾梯度表达为：犳狓狀犳狓犖狓犖狓狀犳狓犖（狓狀犖 犻犉（狓犻）（）最终化简为：物探化探计算技术 卷图编码器流程图 犳狓狀犳狓犖犳狓犖狓狀犖 犻犉（狓犻）（）于是在 训 练 过 程 中 比 传 统 多 出 一 个 常 式 项犳狓犖，而狓狀犖犻犉（狓犻）不会恒等于，那么便避免了梯度消失的问题，同时加入残差打破了原本的线性表示解决了网络模型的退化问题。前馈神经网络由两个全连接层通过维度变换提取信息，并引入 层和激活函数 。犔 犪 狔 犲 狉 （狓，犚 犲 犔 狌）（）犔 犪 狔 犲 狉 （犔 犪 狔 犲 狉），犚 犲 犔 狌）（）两次空间维度的变化使得原有的信息更为丰富，加入 层和 函数增加网络的非线性，有效的预防梯度爆炸与梯度消失等问题。解码器解码器（）结构形式与编码器结构组成相 似，不 同 的 是 多 了 遮 掩 多 头 注 意 力 机 制（）层，相对于普通的多头注意力机制，该层多加了序列掩码层，添加在犙和犓矩 阵内 积 除 以 放 缩 因 子 和 之间，用来掩盖 未来数据，使 之 不 提 前 被 泄 露。然后经由线性 变化生成矩阵 作 为多 头 注意 力 机 制的犓矩阵输入，而编码器的最终输出经由线性变化生成犙与犞矩阵输入（图）。需要注意的是，解码器层数需要和编码器层数一样。图解码器流程图 大地电磁反演成像 程序编码与网络训练笔者借助了由 提出的自适应三角网格剖分方法，完成了 组网格剖分与模型建立，正演频点设为大地电磁常用范围 ，共 个频点，利用 库搭建了 神经网络的自定义层。将均方损失函数（犕犛 犈）用于评价深度学习网络训练标准的损失函数，其值作为整个网络的预测误差，记为：犕 犛 犈犖犖狀（犘狌）（）式中：犘为预测输出；狌为期望输出，即大地电磁测深反演成像中的理论模型电阻率参数。这里使用的激活函数：（狓）（狓，）（）（狓）（犲狓犲狓）（犲狓犲狓）（）更新网络权重和阈值采用 优化器，该方法是结合了 优化算法和 优化算法，计算速度快，且对内存的需求小，能自动的调整学习速度，训练效果好。大地电磁正演模型本次正演选用自适应三角网格剖分有限元方法，共创建了 组正演模型，如图所示，建立地下高阻异常体和地下低阻异常体各 组，在期刘高村，等：网络在大地电磁反演成像中的应用图模型示意图 有限元正演中将区域划分为地质模型区域和向外延区域。地质模型区域狓设为 ，埋深犺范围设为，考虑响应影响区域将测点采集区域设置在 ，测点间距为 。整体区域向左延展至，向右延展至，底部延伸至。异常体在浅部容易探测，深部异常体不容易被探测。为了选取具有代表性的模型，采用控制变量法，将模型分为浅层异常体和深部异常体。异常体设为正方形，表和表中顶点为矩形左上角控制顶点，宽为矩形的边长，其控制右上角顶点，埋深为异常体顶界面的深度。由于设置地质模型狓范围在 ，故而筛选后，浅部异常体模型 个，深部异常体模型 个，共创建样本 个。表浅部异常体参数表 顶点 ，按 间隔取样宽 ，按 等间隔取样埋深 ，异常体电阻，背景电阻 ，表深部异常体参数表 顶点 ，按 等间距取样宽 ，埋深 ，按 等间距取样异常体电阻，背景电阻 ，图地质模型三角网格剖分 图视电阻率断面预处理图 正演生成大量样本需要时间，在空气层以及深部扩展层选用较大的网格，而在异常体附近和中间层选用较为小的网格。地质模型网格剖分情况如图（）所示，以上蓝色部分为空气层，电导率设为（），中部为地层区 域，电导 率为（），最底部红色为网络扩展部分，电导率为（）。为加密地表浅部的节点数量，新增一层 厚度的地层。加密网格剖分后效果如图（）所示。图中白色为网格剖分线，而异常体和 厚度层处因为网格剖分过密，图中呈白色部分。有限元正演计算时频点范围设为大地电磁测深中常用的 ，共 个频点，取对数等间距分布，采样点设置为 个，间距为 。大地电磁反演成像在进行大地电磁反演成像时把 模式和物探化探计算技术 卷图 训练误差收敛曲线 模式的视电阻率视作自然图像，如图所示，进行预处理切割，以此避免个别频点缺失的情况。将图像分割为 等份，通过图像信息中的 像素信息维为一维电阻率的向量，取对数归一化后作为输入信号