基于目标像素宽度识别的电力...备红外成像单目测距改进算法_杨帆.pdf

2023 年4 月 电 工 技 术 学 报 Vol.38 No.8 第 38 卷第 8 期 TRANSACTIONS OF CHINA ELECTROTECHNICAL SOCIETY Apr.2023 DOI:10.19595/ki.1000-6753.tces.220155 基于目标像素宽度识别的电力设备红外成像单目测距改进算法 杨 帆1 王梦珺1 谭 天1 卢 旭2 胡 冉2（1.输配电装备及系统安全与新技术国家重点实验室（重庆大学）重庆 400044 2.深圳供电局有限公司电力科学研究院 深圳 518000）摘要 拍摄距离是影响红外成像效果的主要因素之一，拍摄距离的精确测量是提升红外成像检测设备故障准确度的主要方法之一。针对红外热像仪在电力设备巡检过程中的自动测距需求，该文研究了一种基于目标像素宽度识别的电力设备红外成像单目测距改进算法，实现了利用红外图像中电力设备的像素宽度自动识别距离，解决了电力设备红外成像因拍摄角度变换及设备拍摄不全导致的距离识别难度大的问题，实现了 12 种常见电力设备的距离自动识别。首先基于 SSD算法进行红外图像中设备类型的自动识别，获得设备类别及识别框的坐标；接着分析电力红外巡检的特点，提出基于目标像素宽度对单目测距算法进行改进；再通过图像处理识别设备的最小邻接矩形，计算目标的像素宽度；最终输出设备类型及距离。实验结果表明，该改进算法可以满足电力设备红外图像的单目测距需求。关键词：电力设备 红外成像 单目测距 SSD 中图分类号：TM507 0 引言 变电站电力设备在长久的运行中不可避免地会产生故障，当其出现故障时最明显的特征是温度异常1。由于红外图像可以反映物体的热辐射2，红外热像仪可以在不停电、不接触设备的情况下检测设备运行温度，监测设备运行状态3-5，适合高电压带电体温度的实时监测5。所以近年来，红外热像仪在电力设备状态监测中已开展了大范围应用。然而，尽管热成像在电力设备监测中的应用越来越多，但针对热成像的潜在缺陷和局限性的研究相对较少6。影响红外成像的因素有很多，其中，被测物体与相机之间的距离是影响红外热像仪温度值的主要因素之一。现场使用红外相机对电力设备进行测温时要求在安全范围内缩短与设备之间的距离。但因为变电站内电力设备一般都架设在高处，且设备本身尺寸较大，现场拍摄时检测人员与设备之间的距离一般都在 415 m 之间，对于某些高度大于 6 m 的高压设备，加上底部支架后，拍摄距离可能达到 20 m 以上7。E.Faye 的研究表明，距离对温度的影响在 20 m 内最大，测温误差可达到 4 8。当前，适用于电气检测的热像仪产品在使用时需要自己输入拍摄距离，每拍摄一个设备需要重新输入距离参数，且仅可以设置为整数，为了方便拍摄，检测人员根据目测设置一个平均距离后便不再改变，导致红外图像数据并不准确。除此之外，当画面中拍摄的设备数量大于 1 时，每个设备的拍摄距离都不相同，认定为同一距离也会为成像结果带来误差。而根据现行的带电设备红外诊断应用规 范8，需要通过设备的表面温度判断其是否存在缺陷，那么距离带来的测温误差会直接导致对电力设备运行状态的判断错误，严重时可能会导致人力物力的重大损失，影响整个电力系统的稳定10-13。要想实现电力设备的精确测温，有必要根据图像进行设备距离的识别。基于视觉的测距算法根据摄像头数量分为单目测距和双（多）目测距两种14，由于红外热像仪的 中国南方电网有限责任公司科技资助项目（0090000KK52190170）。收稿日期 2022-01-26 改稿日期 2022-04-12 第 38 卷第 8 期 杨 帆等 基于目标像素宽度识别的电力设备红外成像单目测距改进算法 2245 限制，选择单目测距算法。近年来在可见光领域的单目测距算法15-16的研究已经很成熟，该算法具有感知视角大、感知灵活的特点17-18，基于红外图像的汽车测距也具有良好的效果，可以在夜间和能见度低的条件下精准测距19。按照测量原理，单目测距算法可分为基于已知运动和已知物体的测量方 法20，基于已知运动是指利用相机移动信息和相机得到的图片测得深度距离，已知物体是指在物体尺寸信息已知的情况下得到距离信息，对于电力设备的识别属于已知物体的情况。在电力设备测距方面，胡旻昊等21利用双目测距原理计算可见光巡检图中感兴趣区域的视差图，从视差图中获得电力设备的距离信息分布。另外，随着深度学习技术的快速发展，目标识别的精度已经大大提高22，目标识别大多基于 YOLO（you only look once）算法、SSD（single shot MultiBox detector）算法、R-CNN（region-convolutional neural network）算法等，这些算法对于电力设备均有较好的识别结果，其中 SSD 算法因其省略了预测框的筛选和优化过程，所以检测速度快、实时性更高。要想实现多种设备的测距，首先需要得到图像中的设备类型，那么必须将目标识别与单目测距结合起来。本文提出一种基于目标像素宽度的电力设备红外成像单目测距改进算法。首先基于 SSD 算法进行目标检测，实现 12 类常见设备类型的自动识别；接着建立单目测距模型，通过分析电力巡检场景下红外热像仪的特点，发现目标设备的像素宽度不受拍摄角度的影响，据此对单目测距算法进行改进，解决了电力设备红外成像因拍摄角度变换及设备拍摄不全导致的距离识别难度大的问题；然后通过图像处理识别设备最小邻接矩形，计算设备像素宽度，实现距离的自动识别；最后用户外激光测距仪验证了测距结果的准确性。1 基于 SSD 算法的目标检测模型 以 SSD 算法23为代表的单阶段目标检测模型能较好地实现计算精度、计算速度与计算复杂度之间的折中。该算法的主网络采用 VGG16（visual geometry group）24，将最后两个全连接层改为卷积层，并且增加了 4 个卷积层。对不同卷积层进行综合从而实现不同大小目标的检测。SSD 具有良好的识别效果，一是因为它具有多尺度：使用 6 个不同特征图检测不同尺度的目标，底层预测小目标，高层预测大目标；二是设置了多种宽高比的 anchor（先验框）。值得一提的是，针对不同的应用场景，SSD 的 anchor 需要进行不断调整以达到最优的检测效果，当 anchor 大小合适时可以有效地减少模型训练时间，其大小的设置基于数据集中的目标长宽比存在一定分布规律的原理，可以在一定程度上减少模型训练参数以及降低训练难度，对于预测也可以更加准确。通过对本文红外图像中的电力设备进行标注，按照标注框的长宽比规律设置先验框长宽比为111,2,3,23ra。SSD 的损失函数包含两个部分。对于训练样本集合，其损失函数23为 confloc1(,)(,)(,)L x c l gLLxNcx l g=+（1）式中，conf(,)Lx c为置信损失，是前景（即电力设备）分类和背景（即非设备区域）分类的损失和；loc(,)Lx l g为定位损失，是用于前景分类的 anchor的位置坐标的损失和；N 为匹配到前景的 anchor 的数量；为置信损失和定位损失的调节比例；g 为标注框；l 为模型输出的预测框；x 为预测框是否匹配到了某类标注框，其值为 0 或 1；c 为类别置信度预测值。完成后算法会返回每张图识别到的对象的标签（即设备类型）及标注框的坐标，坐标形式为左上角及右下角顶点所在像素位置的横纵坐标值。2 基于目标像素宽度的单目测距改进算法 与普通场景不同，大部分电力设备的形状为柱状，由于设备本身尺寸较大，要想把设备本体大部分都包括在画面范围内，拍摄角度会倾斜，但这样也不可避免地会无法拍到设备整体，所以要想实现精准测距，需要解决的问题有以下两点：拍摄画面并未包括设备整体；设备拍摄角度倾斜，目标检测框的像素宽度不是设备实际宽度所对应的像素宽度。根据这两个问题对单目测距算法进行改进。2.1 单目测距模型 单目测距是利用小孔成像模型25描述三维空间中的点到相机图像中的点的关系，对于世界坐标系中的物体可以基本满足测距要求20。首先需要在小孔成像模型中建立世界坐标系（OW-XW-YW-ZW）、摄像机坐标系（OC-XC-YC-ZC）、成像平面坐标系（O-x-y）和像素坐标系（OO-u-v）4 个坐标系，进行三维空间到成像平面的坐标转换，坐标系之间关系如图 1所示。定义空间中 P 点在 4 个坐标系下的坐标分别 2246 电 工 技 术 学 报 2023 年 4 月 图 1 小孔成像原理 Fig.1 Pinhole camera model 为（XW,YW,ZW）、（XC,YC,ZC）、（x,y）、（u,v）。与一般测距不同的是，本文研究基于电力设备红外图像的测距模型，目标距离指的是摄像头与设备之间的直线距离，并非水平距离。由图 1 中的比例关系可知，世界坐标系与摄像机坐标系之间是平移和旋转的关系，二者的对应关系26为 WWWWWC111213C212223C31323W3=zxyXaaaXbXYaaaYbYZaaaZbZ|+=+|AB（2）式中，A 和 B 分别为两坐标系之间相对位置和姿态。成像平面到摄像机焦平面之间是投影关系，转换关系为 CCCC00001001xfXZyfYZ|=|（3）式中，f 为成像平面到摄像机焦平面之间的距离，即焦距；（x,y）为成像点在成像平面中的坐标；（XC,YC,ZC）为目标在摄像机坐标系中的坐标。成像坐标系到像素坐标系之间的转换为 00101011001yxuduxvyvd|=|（4）式中，（u,v）为成像点在像素坐标系中的坐标；dx、dy分别为每个像素点在成像平面坐标系 x 方向和 y方向上的物理尺寸；（u0,v0）为成像平面坐标系的原点在像素坐标系中的位置。联立式（2）式（4），就可以得到像素坐标系和世界坐标系的变换关系为 0WWC0WWWW001001xyuruXXZvrvYYZZ|=+=+|ABMAT（5）式中，rx、ry为使用像素宽度和高度作单位时的焦距长度，rx=f/dx，ry=f/dy；矩阵 M 只与相机内部参数有关，A、B 为相机的外参数。一般情况下，在相机标定完成后，若已知世界坐标系中某点的坐标，就可以根据式（5）得出该点的像素坐标。2.2 单目测距算法的改进 本文研究电力设备的测距，针对红外巡检这一应用场景以及设备的外观和形状特点设计一种改进算法。当拍摄电力设备时，相机镜头角度存在两个变化：首先，为了在近距离内将设备主体拍摄进画面中，相机与水平面垂直方向存在角度，图像中设备角度倾斜（见图 2a），有些大尺寸设备拍摄不全（见图 2b），此时成像坐标系与像素坐标系之间不是平行关系，式（4）不再适用，联立式（2）和式（3）得到成像坐标系与世界坐标系间的关系为 WCWW00001001xfXZyfYZ|=+|AB （6）（a）角度倾斜 （b）拍摄不全 图 2 电力设备红外图像存在的问题 Fig.2 Problems existing in infrared image of power equipment 其次，拍摄时镜头对准目标设备的中心，镜头与水平面也会存在角度，光轴与地面不平行，所以关注相机与目标之间的直线距离，即相机光心与目标设备中心之间的距离，为了方便描述测距模型，近似认为目标平面垂直于光轴，世界坐标系与摄像机坐标系之间只存在 Z 轴上的相对位置变化，那么 A=I，T00d=B，其中 d 为测距距离，成像模 型如图 3 所示，式（6）化为 第 38 卷第 8 期 杨 帆等 基于目标像素宽度识别的电力设备红外成像单目测距改进算法 2247 图 3 光轴与目标平面近似垂直 Fig.3 The optical axis is approximately perpendicular to the target plane WWCWWWW0000001001xfXfXZyfYfYZdZd|=+=|+（7）平面垂直于光轴，那么 ZW=0，点 P 的坐标为（XW,YW,0），式（7）化为 WW11xfXyfY