基于改进的YOLOv5s指针式仪表检测与读数识别.pdf

第 卷 第 期 年 月北 京 信 息 科 技 大 学 学 报 .文 章 编 号:():/./.基于改进的 指针式仪表检测与读数识别刘晏李玉梅张涛赵旭(.北京信息科技大学 高动态导航技术北京市重点实验室北京.北京信息科技大学 现代测控技术教育部重点实验室北京)摘 要:针对巡检机器人执行巡检任务时传统指针式仪表识别方法计算量大、精度低的问题提出一种深度学习与图像处理相结合的检测与识别方法 为减少计算量在 网络中引入 作为主干网络利用双向特征金字塔网络()进行特征提取在头部结构中使用深度可分离卷积减少网络参数量并使用 损失函数提高准确性 利用改进的 算法检测并提取表盘区域后采用 语义分割模型分割出指针轮廓并利用图像腐蚀技术降低噪声干扰再把环形的指针轮廓展开为矩形图像最后定位指针相对刻度的位置再根据表盘刻度线的数量判断表盘类型以获取表盘量程从而计算仪表读数 实验结果表明改进的检测和识别方法平均精度达到了.检测速度提高到.帧/读数识别的平均误差为.使巡检机器人能够快速准确地检测到指针式仪表表盘并识别读数关 键 词:指针式仪表 读数识别中图分类号:文献标志码:(.):.()./.:收稿日期:基金项目:国家自然科学基金重大科研仪器项目()国家自然科学基金资助项目()北京市教委科研计划科技一般项目()中国石油天然气集团有限公司中国石油大学(北京)战略合作科技专项()作者简介:第一作者:刘晏男硕士研究生通信作者:李玉梅女博士助理研究员 北京信息科技大学学报第 卷 引言相比于电子式仪表和数字式仪表指针式仪表具有数据稳定、抗干扰能力强和成本低等优点被广泛应用于车间、电厂等领域 但是传统的指针式仪表读数都是由工作人员定时、定点完成可能会由于视觉疲劳等原因发生误读等情况而造成损失 此外在高温、高辐射等环境中不适合使用人工读取仪表数据 因此研究指针式仪表检测与读数识别方法具有重要意义目前已经发展出了两种主要的指针式仪表盘定位算法:基于机器视觉的传统算法和基于机器学习或深度学习的先进算法传统算法主要采用模板匹配、特征匹配、霍夫变换和区域增长等技术来实现仪表盘的定位 莫文雄等提出了一种基于模板匹配和查表法的高精度指针式仪表自动检定方法 房桦等利用尺度不变特征转换()法提取图像中的表盘区域然后对表盘区域子图像进行二值化、变换等处理定位指针精确位置和指向角度从而完成指针读数 高嘉巍使用加速稳健特征()匹配方法定位仪表盘 等提出了使用霍夫变换定位仪表盘并识别读数 杨志娟等利用定向二进制描述符()和累积直方图法对指针进行定位随着深度学习和目标检测算法的迅速发展指针式仪表检测与读数识别的研究也日益成熟 万吉林等提出了基于 目标检测结合图像分割技术的指针式仪表读数识别方法李俊等提出了先使用 检测仪表再使用 变换裁剪表盘区域然后经过拟合刻度轮廓、细化轮廓等操作计算仪表读数 解尧婷等、彭继慎等、张明路等对 算法进行轻量化改进一定程度上提高了算法的性能为了加快检测速度提高识别准确率本文通过仪表检测、语义分割、图像腐蚀、图像二值化等实现了指针式仪表的检测与读数识别 为了减少计算量本文改进了 算法来检测仪表的表盘区域再使用语义分割模型去除表盘区域字符的影响然后通过图像腐蚀、图像二值化等操作进一步减少噪声最后根据指针相对位置计算读数 算法改进的仪表检测.改进策略传统的 目标检测网络的主干提取网络使用的是 存在参数量较大的问题为了减少参数计算量同时尽可能保证准确率本文对 的主干网络、颈部结构、头部结构以及损失函数进行了改进具体如下:)使用 等提出的 替换 作为主干网络图 所示为 网络瓶颈()层结 构 由 步 长 为 和 的 两 种 结 构 组 成 的 网络将高度、宽度 和通道数 的输入特征 发送到 模块和()注意力机制模块以产生输出特征 和注意力图 然后将两个模块的输出经过相乘得到增强的特征发送到第二个 模块以产生输出特征图 结构 模块的结构如图 所示 对于输入特征先利用普通卷积得到部分真实的特征然后利用深度可分离卷积得到 特征最后把真实的特征图和 特征堆叠到一起得到输出特征图图 模块结构第 期刘晏等:基于改进的 指针式仪表检测与读数识别 注意力模块的结构如图 所示 对于输入特征通过在水平和垂直方向上使用降采样操作减少特征的大小然后经过 函数处理得到输出特征图 模块结构)在颈部结构中使用 等提出的双向特征金字塔网络 替换 结构进行特征提取并在头部结构中使用深度可分离卷 积 替 换 普 通 卷 积 的 结 构 如 图 所示图 结构相比于原始的 结构其优化之处为:删除只有一条输入边而没有特征融合的节点在输入节点和输出节点间增加了一条额外的边以融合更多的特征将每个双向(自顶而下和自底而上)路径视为一个特征网络层并多次重复相同的层以实现更高级别的特征融合传统的特征融合多数是简单的叠加使用的是带权特征融合以图 中 的输出层为例其计算过程为 ()()()()式中:为 的中间节点 表示卷积操作、分别为、输入节点的权重为 输出节点的权重为 的中间节点的权重 表示上采样或下采样操作)使用 损失函数替换原有的 以提高模型的准确性原有的 损失函数存在未考虑真实框与预测框之间的方向的问题导致收敛速度较慢 改进后的 损失函数引入了真实框和预测框之间的向量角度重新定义相关损失函数具体包含:)角度损失 如图 所示图中:为真实框中心点()与预测框中心点()的高度差 为真实框与预测框中心点的距离 为真实框与预测框中心点连线与水平方向的夹角 为真实框与预测框中心点连线与垂直方向的夹角图 角度损失角度损失定义如下:()()()距离损失 如图 所示图中:和 分别为真实框和预测框最小外接矩形的宽和高距离损失定义如下:()()式中:北京信息科技大学学报第 卷图 距离损失 )形状损失定义如下 ()()()()式中:是对形状损失的关注程度范围为 ()()其中:为预测框的宽和高为真实框的宽和高)损失 预测框与真实框的交集 和并集 如图 所示图 损失 定义 损失为()综上所述最后定义 损失函数为 ().模型训练与测试为了验证改进后的性能本文使用 操作系 统 (.)框 架 为 版本为.进行实验 收集了不同环境、不同位置、不同大小的圆形指针式仪表、方形仪表的 张图片作为数据集进行标注训练训练过程 为 轮 迭 代 训 练 结 束 后 对、以 及 改 进 的 三种算法的各性能指标进行了对比三种算法的网络参数量对比如表 所示改进后 的 算 法 的 参 数 量 比 算法的参数量减少了.大大减少了计算量利于更快地检测指针式仪表表盘位置表 三种算法网络参数量对比算法改进的 参数量 三种算法的各项性能指标对比如表 所示其中平均精度、准确率、召回率、分数分别按式()、()、()、()计算()()式中:为准确率 为召回率 ()式中:为预测正确的仪表的数量为预测错误的仪表数量 ()式中:为未检测出的仪表数量()表 三种算法性能指标对比性能指标改进的平均精度/.准确率/.召回率/.分数/.检测速度/(帧).从表 可以看出只修改主干网络为 的算法相比原始 算法的平均精度降低了 检测速度提高了.帧/虽然加快了检测速度但是精度下降较多使用本文提到的改进方法进一步改进后算法的平均精度比原始算法降低了.检测速度提高了.帧/在平均精度下降较少的基础上检测速度提高较多 读数识别.图像处理.语义分割经目标检测并裁剪仪表盘区域去除了外部环境的干扰后仪表盘内仍存在字符等影响而语义分割技术可以有效去除表盘内部干扰所以采用 第 期刘晏等:基于改进的 指针式仪表检测与读数识别 等提出的 模型分割指针区域的指针像素从而获得精确的指针和刻度区域的轮廓 使用第.节训练好的模型进行目标检测并提取目标之后的数据集进行训练并测试结果如图 所示 可以看到分割的指针和刻度轮廓与实际位置基本重合图 检测结果及语义分割.图像腐蚀由于指针和刻度均为细小区域为了精确计算指针相对刻度的位置使用图像腐蚀技术处理经语义分割得到的图片以细化刻度线及指针从而减少噪声干扰处理结果如图 所示图 图像腐蚀细化刻度及指针.环形变换及二值化为了方便计算读数将经过腐蚀后的图像中的环形表盘转换为矩形图像如图 所示 再使用平均值法设定阈值的二值化方法简化图像将指针、刻度和背景二值化为白色和黑色像素如图 所示图 环形表盘变矩形图 图像二值化.读数计算首先在经过处理后输出的图片中定位指针相对刻度的位置再根据刻度的数量判断表盘类型以获取表盘量程最后根据指针的相对位置和量程通过式()计算读数 ()式中:为仪表读数 为满量程对应刻度线的数量 为量程 为指针相对刻度的位置对应的刻度线数量 实验验证.检测实验从.节描述的数据集中选取 张图片作为测试集在使用本文改进的 算法训练得到的权重文件基础上做测试 部分测试结果如图 所示可以看出本文算法在检测仪表时能够准确检测到仪表的位置图 指针式仪表检测结果.仪表读数实验在使用本文算法检测到仪表表盘区域的基础 北京信息科技大学学报第 卷上经过语义分割、图像腐蚀、环形变换矩形和图像二值化操作后计算读数部分读数结果如图 所示 图中包括量程分别为.和 两块指针式仪表读数识别结果分别为.和 图 仪表读数识别结果通过对读数结果与人工读数进行对比本文算法测试的 张仪表图片的读数识别平均误差约为.平均识别耗时.能够满足指针式仪表自动读数的精度和实时性要求 结束语针对传统指针式仪表识别方法计算量大、准确性不高的问题本文研究了一种改进的指针式仪表检测与读数识别算法 改进的 网络模型在保证精度的前提下相比于 模型参数量减少了.检测速度提高到.帧/且平均精度达到了.使用语义分割、图像腐蚀、环形变换为矩形、图像二值化等技术实现读数识别平均误差为.平均耗时.研究结果表明本文提出的指针式仪表检测与读数识别方法能够快速、准确地实现仪表检测与读数识别具有一定的实际应用价值参考文献:莫文雄裴利强黄青丹等.基于模版匹配和查表法的高精度指针式仪表自动检定系统研制.电测与仪表():.房桦明志强周云峰等.一种适用于变电站巡检机器人的仪表识别算法.自动化与仪表():.高嘉巍.变电站巡检机器人智能读表方法研究.成都:电子科技大学./:.杨志娟袁纵横乔宇等.基于图像处理的指针式仪表智能识别方法研究.计算机测量与控制():.万吉林王慧芳管敏渊等.基于 和 的变电站指针式仪表读数自动识别方法.电网技术():.李俊袁亮冉腾.基于 的指针式仪表自动检测和读数方法研究.机电工程():.解尧婷张丕状.基于改进的 输电线路小目标检测.国外电子测量技术():.彭继慎孙礼鑫王凯等.基于模型压缩的 电力巡检无人机避障目标检测算法 .仪 器 仪 表 学 报 ():.张明路郭策吕晓玲等.改进的轻量化 用于电子元器件检测.电子测量与仪器学报():.:/.().:/./.:/():./:.