基于逻辑语义判别的调峰电源设备漏油图像识别_宋倩.pdf

第4 1卷第5期2023年5月水 电 能 源 科 学W a t e r R e s o u r c e s a n d P o w e rV o l.4 1 N o.5M a y 2 0 2 3D O I:1 0.2 0 0 4 0/j.c n k i.1 0 0 0-7 7 0 9.2 0 2 3.2 0 2 2 1 3 7 7基于逻辑语义判别的调峰电源设备漏油图像识别宋 倩1,祁炜雯2,方 冰2,范 强2,郑慧娟3,胡 飞3(1.国网水新部,北京 1 0 0 0 3 1;2.国网浙江省电力有限公司绍兴供电公司,浙江 绍兴 3 1 0 0 0 0;3.国网电力科学研究院有限公司,江苏 南京 2 1 1 1 0 6)摘要:针对调峰电源设备漏油图像识别中的难点问题,将逻辑规则判别引入图像识别领域,提出一种全新的图像识别方法。基于直方图均衡化技术增强原始图像,利用M a s k R C NN网络初步获取储油装置、地面、疑似油污区域的位置和轮廓信息。根据这些信息判断物体间位置关系,并结合逻辑表达式判断疑似区域是否属于漏油区域。基于现场拍摄的调峰电源设备图像进行实例分析,结果表明该方法能有效克服漏油区域识别中的难点问题,大幅提升了识别准确率。关键词:调峰电源设备;漏油图像识别;物体间关系识别;逻辑语义判别中图分类号:TM 7 1 2 文献标志码:A 文章编号:1 0 0 0-7 7 0 9(2 0 2 3)0 5-0 1 9 9-0 4收稿日期:2 0 2 2-0 7-0 3,修回日期:2 0 2 2-1 0-1 9基金项目:国家电网有限公司总部科技项目(5 7 0 0-2 0 2 1 4 0 3 8 1 A-0-0-0 0)作者简介:宋倩(1 9 7 8-),女,高级工程师,研究方向为抽水蓄能运行管理,E-m a i l:q i a n-s o n g s g c c.c o m.c n通讯作者:祁炜雯(1 9 8 0-),女,高级工程师,研究方向为电力系统,E-m a i l:s h u i n e n g 3 5 1 6 1 8 2y e a h.n e t1 引言随着电力负荷不断增长,为保障系统安全稳定、经济运行,调峰机组的运行维护日益重要。由于机组中不少设备带有储油装置,装置漏油会给系统带来安全隐患。近年来,视频监控技术在水电站调峰电源设备状态监测任务中已得到广泛应用,借助计算机视觉技术发现设备漏油等异常现象能大大减少人力资源消耗,同时提升巡检质量1,2。目前,在计算机视觉领域最具发展潜力的核心技术是深度学习3,其优势在于自动提取关键特征实现图像识别。尽管该技术在人脸识别、安防监控等领域实现了重大突破4,5,调峰电源设备漏油识别仍然属于难点问题。漏油图像检测的基本思路是检测装置周围地面上的油污区域,存在以下难点:区域形状差异大;背景复杂且可能存在干扰物体;环境条件发生变化。现有研究6-8完全依赖图像处理技术提升模型性能,局限性较大,如背景干扰、地面倒影等问题无法通过图像处理手段解决。对此,本文提出了一种基于逻辑语义判别的调峰电源设备漏油图像识别模型,先利用直方图均衡化增强图像;再利用语义分割模型初步获取物体种类、位置、轮廓等一系列信息;在此基础上,判断物体间位置关系,并根据设定的逻辑规则判断识别结果的准确率;相较于传统的图像识别模型,该模型具备逻辑判别功能及更强的可解释性,判别依据更加透明,有利于该方法在工业场景中的使用和推广。实例应用验证了该方法的可行性。2 研究方法针对调峰电源设备漏油图像识别中的难点问题,提出了一种全新的图像识别框架。该框架包含图像识别和逻辑语义判断两个阶段,其中图像识别阶段包含图像增强模块及语义分割模块,逻辑语义判断阶段包含物体间位置关系识别模块及逻辑判别模块。2.1 调峰电源设备漏油图像增强针对漏油图像识别中的环境条件变化难点,利用图像增强方式降低问题复杂度。为提升图像对比度,将原始R G B图像转化到Y C r C b空间中,并将该空间中的Y通道值作为像素特征,对于像素特征的分布直方图,通过调整像素值使其近似均匀分布。该方法流程见图1,其中R B D、R C D、A S D指标分别表示输入图片和直方图均衡后图片之间的相对亮度差异、相对对比度差异、平均结输入图片增强图像直方图均衡化RBD指标RCD指标ASD指标BPS函数计算OCS函数计算DPS函数计算聚合目标正则优化优化结果结束图1 直方图均衡化算法流程图F i g.1 F l o w c h a r t o f h i s t o g r a m e q u a l i z a t i o n a l g o r i t h m构化差异。获取这 些指 标 后,利 用B P S、O C S、A S D函数分别进行评分,将三者的分数作为聚合目标进行正则优化,得到最终的增强后图像。2.2 语义分割模型对于油污区域检测,语义分割能够获得油污区域的像素位置信息,其中轮廓形状能够很好地辅助模型判断识别结果是否为油污区域。且由于基础网络区域候选网络油污特征图区域特征提取位置坐标全连接层1卷积层1卷积层2掩膜全连接层2图2 M a s k R C N N网络结构F i g.2 N e t w o r k a r c h i t e c t u r e o f M a s k R C N N漏油过程缓慢,油污区域形状和大小存在一个发展过程,这一特征能有效帮助现场监控视频中的漏油过程识别。本文选用M a s k R C NN网络3 作为识别框架的基础,图2给出了该网络的结构示意图,整体包含基础网络、区域建议网络、类别判断分支及掩膜生成分支四个部分。其中,原始图像的特征提取部分由基础网络完成,本文采用预训练模型减少数据依赖度。目标物体所在候选区域由区域候选网络(R P N)基于提取后的图像特征生成,之后池化层(R O I A l i g n)根据候选区域位置提取对应特征,作为后续模块的输入。目标物体的分类及位置修正由区域分类模块完成,物体所在像素点位置即掩膜由掩膜生成模块完成。对于同一物体,两个模块独立运行。对于不同目标物体,识别过程并行进行以保证算法运行效率。2.3 物体间位置关系识别物体间位置关系识别模块结构见图3,其中输入部分包含两组分支,分别处理种类位置信息和轮廓信息,输出为物体间关系预测结果。卷积层1卷积层2线性层1线性层2预测结果种类、位置信息轮廓信息图3 物体间位置关系识别模块F i g.3 O b j e c t p o s i t i o n a l r e l a t i o n d e t e c t i o n m o d u l e2.4 逻辑判别模块借助模型的逻辑处理能力,引入相应逻辑规则以进一步提升模型性能。例如:油污区域(A)疑似油污区域(A)地面(B)储油装置(C)在上方(A,B)在附近(A,C)(1)式(1)表示若疑似油污区域A出现在地面B上方,且其附近存在储油装置C,则断定A为油污区域。为判断前提是否成立,首先需判断前提中每个谓语是否成立,式(1)中共包含两种谓语:物体属性部分谓语成立情况由语义分割模块给出;物体间关系谓语成立情况由物体间位置关系识别模块给出。由于模块给出的判别结果为概率值,这里设计了模糊逻辑推理模块,包含逻辑与、逻辑或和逻辑非三个子模块,计算方式为:yx1x2y=b1x1+b2x2+cy xy=1-xyx1x2y=m a x(x1,x2)x1,x2,x,y0,1(2)式中,x1,x2,x,y均为模糊逻辑变量;b1、b2、c均为待求参数。通过模糊逻辑推理模块,可判断前提成立情况。3 实例应用3.1 图像识别试验采用数据集包含2 3 7张调峰电源设备图片。002水 电 能 源 科 学 2 0 2 3年 第4 1卷第5期宋 倩等:基于逻辑语义判别的调峰电源设备漏油图像识别数据标注格式为多边形顶点,数据存储格式为J S ON文件。数据集制作完成后,随机抽取1 8 0张图片作为训练集,剩余5 7张图片用于测试。训练时使用交叉验证。图片包含漏油图片和正常图片两种类型,目标物体包含漏油区域、地面、储油装置。图4为图像增强效果对比情况,可以看到,图像增强算法能很好地解决光照、倒影等带来的干扰问题。对于图像识别部分,本文使用数据增强技术及预训练模型以缓解过拟合现象。采用在M S C O C O数据集上预训练的M a s k R C NN模型,其 中 基 础 网 络 采 用R e s N e t 5 0网 络,使 用NM S策略,加入d r o p o u t层,参数设置为0.2。图5为图像识别结果,物体类别包含漏油区域、地面、储油装置,图5中展示了边界框和掩膜两部分信息。可以看到,不同种类的物体均能被有效识别。3.2 语义逻辑判断试验图6为 物 体 间 位 置 关 系 识 别 结 果,其 中A B C D分别为不同物体,最终预测结果包含“在上(a)原始图像(b)增强后结果图4 图像增强效果对比F i g.4 C o m p a r i s o n b e t w e e n o r i g i n a l a n d e n h a n c e d i m a g e s(a)场景一(b)场景二(c)场景三图5 图像识别结果F i g.5 R e s u l t s o f i m a g e r e c o g n i t i o n(a)1识别结果(b)2识别结果物体间关系:在上方在附近在附近(B,C)(A,B)(A,C)物体间关系:在上方在附近在附近(D,C)(B,A)(B,C)在附近(B,D)图6 物体间位置关系识别结果F i g.6 O b j e c t p o s i t i o n a l r e l a t i o n d e t e c t i o n r e s u l t s方”、“在附近”、“其他”三种类别。其中,“在上方”为指向性关系,物体顺序不能替换,“在附近”则为非指向性关系。可以看到,本文所提模块能很好地识别物体间关系。在此基础上,进行逻辑语义判断,过程中使用的规则为:油污区域(A)疑似油污区域(A)地面(B)在上方(A,B)(3)油污区域(A)疑似油污区域(A)储油装置(B)在附近(A,B)(4)油污区域(A)疑似油污区域(A)地面(B)储油装置(C)在上方(A,B)在附近(A,C)(5)采用梯度下降法求取模糊逻辑推理模块中,最终预测结果为调峰电源设备漏油概率,误差函数采用交叉熵。不同规则对应的参数取值见表1。表1 不同规则对应的参数取值情况T a b.1 P a r a m e t e r v a l u e s i n d i f f e r e n t r u l e s规则权重向量b1,b2,c式(3)0.6 4 5,0.1 8 1,0.1 6 2,0.0 1 2式(4)0.3 9 0,0.3 2 3,0.2 4 7,0.0 4 0式(5)0.4 1 7,0.0 8 0,0.2 9 7,0.0 6 2,0.1 2 4,0.0 2 03.3 模型性能分析首先单独分析各模块。图7为不同重叠程度阈值下的语义分割识别准确率A P。可以看出,地面和储油装置的识别准确率变化不大,而漏油区域的识别准确率明显上升。该模块的主要目的在于提升图像的亮度和对比度,对于漏油区域的识别效果提升更为明显。102(a)原始图像漏油区域地面储油装置平均00.20.40.60.81.0AP50AP75mAP(b)图像增强漏油区域地面储油装置平均00.20.40.60.81.0识别准确率识别目标识别准确率识别目标图7 不同场景下的语义分割准确率F i g.7 S e m a n t i c s e g m e n t a t i o n a c c u r a c y u n d e r d i f f e r e n t s i t u a t i o n s表2为不同输入信息对物体间位置关系识别模块识别准确率的影响。可以看到,种类信息和轮廓信息可作为位置信息的辅助提升模型识别准确率。此外,对于不同物体