CNN算法的损失函数优化及在低信噪比资料中的应用_李辉.pdf

第30卷第1期0引言断层识别和解释是地震资料解释的一项主要工作和结果12。断层是地壳内部运动所形成的一种常见地质现象，要对断层进行解释，首要的问题就是在地震剖面上把它识别出来。目前的断层识别和解释方法已完全实现了人机交互的解释过程3，常见断层识别方法主要有利用地震剖面识别断层、井断点引导断层识别技术、基于地震属性的断层识别方法45，发展较为成熟的技术主要有相干体技术67、曲率属性8、方差体技术9等。随着人工智能技术的快速发展，越来越多的机器学习方法被地球物理学者应用到断层解释中1014。常见的机器学习算法主要有回归算法、遗传算法、卷积神经网络、支持向量机等1518。回归算法是一种适用于预测线性数值的监督学习方法。遗传算法主要用于有监督方式的特征提取及最优化算法。支持向量机在解决CNN 算法的损失函数优化及在低信噪比资料中的应用李辉1，阎建国1，陈榆桂1，孟辉2（1.成都理工大学地球物理学院，四川 成都610059；2.中国石油集团东方地球物理勘探有限责任公司，河北 涿州072750）摘要深度学习CNN算法的核心之一是其利用损失函数完成反传机制达到各层网络之间的优化，因此，不同的损失函数及反传机制带来训练阶段人工神经网络模型不同的网络优化效果，其影响了机器学习算法的泛化能力及预测效果。基于此，文中提出了一种改进的带惩罚系数的损失函数，解决了在断层识别问题中因正负样本的数量高度不均衡导致的网络朝着错误方向收敛的问题。将其用于网络中指导训练，通过不同损失函数下的网络模型对理论数据和实际数据的识别结果，证明了这种方法的有效性和适用性。在低信噪比资料中的断层识别中，这种改进的优化网络，能够得到更稳定和更可靠的断层识别结果，为研究区潜山内幕小断层及断缝系统识别提供一种高效可靠的方法技术。关键词Unet；反传机制；惩罚系数；断层识别；损失函数；低信噪比资料中图分类号：TE132.1+4；P618.13文献标志码：A收稿日期：20220708；改回日期：20221106。第一作者：李辉，男，1995年生，在读硕士研究生，研究方向为深度学习、油气地球物理勘探。E-mail：。通信作者：阎建国，男，1960年生，副教授，博士，研究方向为地震勘探。E-mail：。引用格式：李辉，阎建国，陈榆桂，等.CNN算法的损失函数优化及在低信噪比资料中的应用J.断块油气田，2023，30（1）：107113.LI Hui，YAN Jianguo，CHEN Yugui，et al.Optimization of loss function in CNN algorithm and its application in low signal-to-noise ratio dataJ.Fault-Block Oil&Gas Field，2023，30（1）：107113.Optimization of loss function in CNN algorithm and its application in low signal-to-noiseratio dataLI Hui1,YAN Jianguo1,CHEN Yugui1,MENG Hui2(1.College of Geophysics,Chengdu University of Technology,Chengdu 610059,China;2.Bureau of Geophysical Prospecting Inc.,China National Petroleum Corporation,Zhuozhou 072750,China)Abstract:OneofthecoreofCNNalgorithmbasedondeeplearningistousethelossfunctiontocompletethebackpropagationtoachievetheoptimizationofeachlayerofnetwork,sodifferentlossfunctionandbackpropagationmechanismbringdifferentnetworkoptimizationeffect of artificial neural network model in the training stage,which affects the generalization ability and prediction effect of machinelearning algorithm.Based on this,an improved loss function with penalty coefficient is proposed,which solves the problem that thenetworkconvergesinthewrongdirectionduetothehighlyunbalancednumberofpositiveandnegativesamplesinfaultidentification.Itisapplied in network to guide the training,and its effectiveness and applicability are proved by theoretical data and practical data bynetworkmodelsunderdifferentlossfunctions.Inthefaultrecognitionoflowsignal-to-noiseratiodata,thisimprovedoptimizationnetworkcan obtain more stable and reliable fault recognition results,which provides an efficient and reliable method and technology for therecognitionofsmallfaultsandfaultfracturesystemsinsidetheburiedhillinthestudyarea.Key words:Unet;back propagation mechanism;penalty coefficient;fault identification;loss function;low signal-to-noise ratio data断块油气田FAULT-BLOCK OIL GAS FIELDdoi:10.6056/dkyqt2023010152023年1月断块油气田2023年1月过拟合问题中有着极强的鲁棒性，在高维空间中表现更好；同时能对非线性决策边界进行建模，有许多可选的核函数卷积神经网络（CNN）算法，具有很好的特征提取能力，被广泛应用于图像分类的问题之中。Tingdahl等19提出了一种基于人工神经网络的半自动算法进行断层识别。该算法是通过提取地震数据的多种属性，然后输入人工神经网络中进行断层自动识别。Wu等20提出利用人工合成的3D理论地震数据进行CNN模型的训练，把实际的地震资料输入到训练好的模型中进行断层预测。本文针对渤海某地深埋太古界潜山内幕的低信噪比资料断层识别问题2122，实现了Unet卷积神经网络机器学习算法进行断层自动识别。Unet网络是CNN的一种结构类型，针对小数据集训练也有着较好的效果。对于CNN类算法，损失函数对神经网络的性能好坏起着至关重要的作用，一个好的损失函数可以使得神经网络更好学习到样本的特征。针对本文机器学习断层识别问题，考虑到在一张地震剖面中，正样本（断层点）数远小于负样本（非断层点）数，样本比例严重不均衡，如果使用传统的损失函数来训练网络，容易使网络朝着错误的方向收敛，从而造成模型的误判率增加，影响模型的断层识别能力。Wu等20使用了一种平衡交叉熵损失（Balance binary crossentroy）函数，通过减少数量多的类别（非断层）的权重，增大数量少的类别（断层）的权重来调节这种不平衡。本文在此基础上提出了一种优化的平衡交叉熵损失函数，通过引入一种新的惩罚系数，以增加数量少的样本（断层）的权重来解决正负样本（断层与非断层）之间的不平衡问题，使得网络可以正确收敛。在这种改进的损失函数训练下的Unet网络模型，具有更高的准确性。本文应用此模型进行低信噪比资料的断层识别，取得了较好效果，证明了方法的有效性和适用性，为低信噪比资料下的断层自动识别提供了一种高效可靠的方法技术。1方法原理1.1卷积神经网络卷积神经网络采用原始图像作为输入，可以有效地从大量样本中学习到相应的特征，避免了复杂的特征提取过程。由于CNN可以直接对二维图像进行处理，不需要在训练之前对图像进行前期复杂的预处理，因此，在图像处理方面得到了广泛的应用，并取得了较多的研究成果。该网络通过简单的非线性模型从原始图像中提取出更加抽象的特征，并且在整个过程中只需少量的人工参与，因此，在图像识别方面，卷积神经网络是最热门的神经网络之一。卷积神经网络通常由几个部分构成：输入层、卷积层、激活层、池化层、全连接层及最后的输出层。卷积层最重要的是局部感受野以及权值共享。感受野表示神经元对于图像特征提取范围的大小。神经元感受野的值越大，就表示其对原始图像提取特征的范围越大，也意味着提取的特征包含着更为全局的信息；感受野的值越小，则表示其对原始图片提取特征的范围越小，所提取的特征就趋向于局部和细节。共享权值指的是在根据局部感受野提取特征的时候，同一个卷积核，其权重是相同的。通过权值共享可以大幅度减少权重数量，降低网络模型复杂度。卷积之后输出的数据图像为特征映射图像，一个卷积核对应一个特征映射图，有多少个卷积核，就会有多少个特征映射图，每个卷积核提取的特征是不一样的。卷积公式为xjl=fiMxjl-1kijl+bjl（1）式中：l为层个数；k为卷积核序号；b为输出特征图的偏置；f为激活函数；xjl为上层的某特征图；bjl为卷积核权值。在激活层增加一个激活函数，目的是增加网络非线性处理能力。这是因为线性激活层在深层神经网络中没有效果。好的激活函数应该具有非线性、连续可微、范围最好不饱和、单调性、在原点近似线性等性质。池化层的作用是对卷积之后的特征图像进行压缩，主要目的是使特征图像尺寸变小，简化网络复杂度，以及图像进行特征压缩，从中提取主要特征。常见的池化操作包括平均池化（AvyPooling）和最大池化（MaxPooling）。MaxPooling是目前应用较为广泛的一种池化方法，即寻找每个区域中的最大值，这里的卷积核移动步长（stride）为2，最终经MaxPooling得到特征图。一般卷积核（filter）为22，stride为2时，池化之后得到的特征图大小变为原来的1/4。1.2Unet网络结构及优化Unet是2015年在MICCAI上发表的2324，在医疗影像语义分割任务中被广泛应用，启发了大量的研究者去研究发展U型语义分割网络。Unet网络正如名字一样，是U型结构20。这也是Unet网络最典型的特点，左侧是下采样层，右侧是上采样层，左侧包含多个Convolution layer，右侧包含多个Deconvolution layer。Unet另一个特点是，Unet网络中的每个卷积层得到的特征图都会和反卷积使用连接层（concatenate）连接起108第30卷第1期来，相对应的每个卷积层提取的特征都会应用到后续的计算中，实现对每层特征的有效使用。因训练三维数据的时间长及结构较为复杂，不易于对网络参数进行调整，本文设计了一种二维Unet网络结构，输入训练的地震数据尺寸为112112，地震数据图像会按照表1中的顺序依次输入网络中训练。在下采样过程中，地震数据图像一共经过4次卷积，也就是4次特征提取，卷积核大小为33，stride为1，激活函数是Relu，同时使用了零填充来使得图像的尺寸和原始图片保持一致。最大池化为