基于改进型PPYOLOE的电力标志牌检测识别技术研究.pdf

欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟第 卷第 期 年 欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟月上海电力大学学报 欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟 ，：收稿日期：通信作者简介：袁靖（），男，硕士，工程师。主要研究方向为电力人工智能、分布式智能电网等。：。基于改进型 的电力标志牌检测识别技术研究袁靖，潘明，朱宁（上海置信电气有限公司 研发中心，上海 ）摘要：针对电力巡检中标志牌难以被高精度识别问题，提出了一种基于改进型 的电力标志牌检测识别模型。首先，通过改进 模块结构，加强卷积核单一参数的特征表达能力，增加模型权重维度的同时提升整个网络的泛化能力；然后，引入 损失函数，解决了预测框与真实框不相交、收敛慢的问题，保证预测框和真实框的宽高比更为接近，提高回归精度；最后，改进数据增强 方法，降低负样本误检率，提高了模型精度和鲁棒性。实验结果表明：所提方法显著提高了检测模型性能，平均精度达 ，量化和蒸馏后检测模型体积压缩为原来的 ，自制样本库使文字检测和识别精度均超过 。关键词：电力标志牌检测；文字识别；改进型 中图分类号：文献标志码：文章编号：（），（，）：，：；上海电力大学学报 年随着我国数字化、智能化的日益加深，电网智能升级成为了发展热点 。变电站和电缆线路的智慧巡检系统是智能电网建设的基础，也是实现设备互联和数据分析的关键环节 。因此，使巡检系统具备云边端数据协同处理能力意义重大 。标志牌是变电设备和输电线路上必须装设的电力设施。其包含了设备和杆塔的电力线电压、标号和位置信息，通过标志牌信息能够快速定位设备或线路的故障位置 。无人机巡检识别标志牌信息可以提高工作人员的工作效率和安全系数，但同时需要机载系统能够高准确率地识别标志牌信息，从而快速定位故障。标志牌长期处在户外和强电场的环境中，普遍存在掉漆和锈蚀等情况。这就对标志牌识别系统提出了高要求。目前，电力标志牌的主流识别系统基于深度学习技术模型搭建。文献 采用级联 模型解决了交通标志因被遮挡、目标小难以被高精度识别和定位的问题，但 算法的局限性，在非视距环境下误差会变大。文献 采用基于轻量化 和 （，光学字符识别）的电力设备标志牌识别方法，实现了标志牌检测和文字的一体化识别，但 模型本身的网络结构复杂，计算消耗较大。文献 探讨了一种改进的 算法，并引入了 去重复特征，在交通标志牌检测速度上取得了提升，但是准确度的提升有限。文献 在 模型的网络检测分支中融入了注意力机制以增强网络对交通标志牌目标的表示，试图找到检测精度和速度的平衡点，但仅限于简单标识，尚未扩展到复杂文字标志牌检测任务。文献 采用两阶段算法，检测阶段检测出图像中的交通标志牌，分类阶段对交通标志牌先后进行大类和子类划分，算法精度上优于基准单阶段识别算法，但是检测速度为 帧 ，无法满足实时检测的要求。文献 提出了构建双尺度注意力模块，嵌入 的特征提取网络，对特征通道进行重校准，同时进行多尺度特征的融合，增强了算法的特征信息提取能力，相较 算法，检测精度得到了较大提升，但是对极端天气下的数据多样性考虑较少。文献 提出了一种融合卷积神经网络 与传统机器学习方法 的轻量化中文交通指路标志文本提取与识别算法，在自制数据集 上检测精度为 ，但其精度尚未满足工业应用要求。深度神经网络模型通常存在准确率和实时性难以兼顾，且推理模型结构冗余的问题。因此，本文提出了一种基于改进型 检测模型，获得了较理想的精度和速度平衡，并通过量化蒸馏技术大幅压缩了模型体积，保证检测精度下降维持在可接受的范围内。实验结果表明，本文所提方法对电力标志牌的检测精度（）达到了 。另外，采用 引擎 ，结合自制样本库使文字检测查准率和识别准确率分别达到了 和 ，为电力标志牌检测识别任务提供了应用参考。电力标志牌检测模型 模型建模一阶段目标检测模型相较二阶段模型在速度上优势明显，其中 系列作为一阶段模型代表在工业界被广泛应用。以 模型为例，输入图像被重置分辨率为 ，同时由 网格分割，每个网格负责预测中心点落在该网格内的目标。其中，每个网格会预测 个边界框，每个边界框包括 个值：预测框左上角横纵坐标、边界框宽高以及是否包含目标为前提的预测框与真实框交并比值。同时，每个网格也预测 个条件类别概率，从而得到推理时预测结果的置信度。这既体现了目标类别出现在预测框中的概率，也体现预测框与真实框的匹配程度。在 （）数据格式中，设置 ，那么最终预测结果是一个 的张量，模型结构和张量解析如图 所示。此时每个网格对应（）的张量。随着学术界对 系列模型的持续研究，其网络结构和标签分配等方面都在不断改进，其中 模型在公开数据集 （）上性能表现突出。采用兼具残差连接和密集连接特性的 ，提高了预测实时性；使用 （）改进 （），进一步提升了检测速度和精度；设计了任务对齐学习（，）克服任务不对齐问题。袁靖，等：基于改进型 的电力标志牌检测识别技术研究图 模型结构和张量解析 模型结构和训练预测过程如图 所示。在训练过程中，输入图像首先经过数据增强，例如翻转、操作，产生更为丰富的输入数据送到主干网络，由主干网络提取出不同尺度的特征信息，然后由颈部网络将不同尺度特征进行融合，再进入头部网络进行分类和回归，最后传入标签分配器计算损失值。在预测推理过程中，输入图像同样经过主干、颈部、头部网络，不同的是最后会传入后处理流程，进行非极大值抑制，得到预测结果。图 模型结构和训练预测过程 模型改进 模块结构改进 模型的 改进过程如图 所示。图 改进过程受 中引入的瓶颈结构的启发，建立 模型 如图 （）所示。首先提出了一种轻量级的树块，将每个 卷积层替换为 层和 卷积的堆栈。其中 层负责增加维度，层由后续卷积层进一步处理。然后将所有 层和最后 层的输出连接。因此，当聚合相同数量的后续特征时树块具有更深的网络结构，同时减少了模型复杂性。受以上思想影响，模型 的主体仅使用 卷积和线性整流函数（，），并采用结构重参数化来解耦训练时的多分支结构和推理时的平面结构，具体如图 （）和图 （）所示。模型 使用的 在训练阶段如图 （）所示，在推理阶段将 重参数化为 样式的基本残差块，如图 （）所示。卷积常被用于减少网络权重数量和计算量，同时引入激活函数增加网络的非线性，但在 中要其负责参数学习和增加维度，其感受野过小，每个权重只学习一个位置的单独特征，存在表征不足的问题。中设计 卷积的主要用途就是提升模型训练时的网络表征能力，且 又广泛用于主干上海电力大学学报 年和颈部网络，其性能好坏会影响整个网络的特征学习。因此，将 卷积运算公式 （）改进为（）（），其中：为特征输入，为 卷积权重，为偏置项，为可学习权重，为特征通道数。卷积结合可学习权重 后，卷积在模型训练时负责降低特征维度，可配合其一起挖掘样本的特征，相当于弥补了 卷积自身的不足，从而增强 的表征能力，并提升整个网络的特征表达力和泛化能力。中 卷积增加可学习权重 的结构如图 （）所示。本文通过采用改进的 ，解决了 卷积表征能力不足的问题，显著提升了模型的目标检测性能，同时增加的模型参数量和计算量可忽略不计。损失函数改进检测模型头部网络中的损失函数计算包括分类和回归两个分支。模型的回归分支采用的是广义交并比（，）损失函数 。损失函数将预测框和真实框非重叠区域作为影响因子，解决了 无法优化两框非相交情况而导致梯度消失的问题。其计算公式为 （）（）式中：和 的交并比；同时包含 和 的最小框；预测框；真实框。但是，损失函数仍存在两个问题：一是在训练初期，预测框与真实框相交之后才开始回归，导致了收敛延迟；二是当预测框在真实框内部时，退化为 ，无法反映两者的位置关系。因此，本文改进损失函数引入完全交并比（，）损失函数 。其计算公式为 （，）（）（）（）()（）式中：（）欧几里得距离；预测框的中心点位置；真实框中心点位置；覆盖预测框和真实框的最小包围框对角线长度；正权重参数；测量纵横比的一致性；、真实框的宽和高；、预测框的宽和高。损失函数同时考虑了预测框和真实框之间的 个几何因素：重叠面积、中心点距离和宽高比。在迭代中，可以保证预测框和真实框的宽高比更为接近，从而加快预测框的回归收敛。本文通过采用 损失函数，解决了预测框与真实框不相交收敛慢的问题，同时预测框在回归过程中获取了真实框的宽高比，提高了模型训练的收敛速度和回归精度。数据增强 方法改进本文采用了 方法 进行数据增强，相较于 方法只混合 个图像，方法混合 个训练图像。这可以使模型学习到常规数据以外的信息，也可以显著减小对大批处理数量的需求。方法数据增强过程如图 所示。图 方法数据增强过程然而，方法存在调整标注框后负样本误检率变高的问题。通过 方法裁剪拼接后，会出现大量标注框被裁剪的标志牌样本，如图袁靖，等：基于改进型 的电力标志牌检测识别技术研究（）和（）右上角图像所示，模型会根据裁剪结果自动调整标注框大小。但训练过程中正负样本的判定依据是预测框与真实框的交并比，而此类不完整的真实框会导致很多负样本被视作正样 本，严重影响预测结果的合理性。本文提出一种 的改进方法，设置标注框可用性阈值，当调整后的标注框面积不足原本的 时，该标注框会被弃用，从而保证训练样本的一致性。另外，在 方法数据增强过程中，训练样本的真实框会被大量缩小，存在改变真实框分布的问题。这里引入 的 使用技巧，即在总共 个 的训练周期最后 个 时关闭 ，相当于变相加大了真实框分布，从而增益模型精度。本文针对数据增强过程中标注框被调整缩小，导致负样本被误检为正样本，以及真实框分布不足的问题，通过设置标注框调整后的弃用阈值和最后 个 关闭 的方法，更好地提升模型识别电力标志牌的特征，提升检测模型的泛化能力，从而解决了 方法调整标注框大小机制不完善的问题。通过采用改进后的 方法，检测模型 个精度指标都得到了明显提升。电力标志牌文字 本文基于 对电力标志牌的文字信息进行检测识别。识别过程如图 所示。图 识别过程由于原 检测识别模型的训练样本库与电力场景有较大差异，所以其对电力标志牌的文字识别率并不能满足工业应用的要求。为了让模型网络学习到更有针对性的样本信息，采集制作了 个文字检测样本和 个文字识别样本，训练集和验证集划分比例均为 ，用作电力标志牌 模型进一步训练的场景专用样本，示例如图 所示。图 电力标志牌 训练样本示例 实验过程与结果分析 实验环境介绍实验使用的训练平台 为 八核，是 ，系统是 。软件环境是 和 。检测结果实验使用了 张的电力标志牌图像，其中变电设备和输电线路样本数量分别为 张和 张，图像格式为 通道。在模型训练之前，将已标注的标志牌图像样本按 的比例随机划分为训练集和验证集。基础超参数设置如表 所示，检测结果示例如图 所示。表 基础超参数设置超参数取值输入尺寸（像素 像素）学习率 批次数量 张 训练周期 目标检测结果分析本文采用 模型评价标准，查准率（）代表模型预测出的所有目标中，预测正确的目标数占比；查全率（）代表所有待测真实目标中，被模型正确预测出的目标数占比；上海电力大学学报 年图 电力标志牌目标检测结果示例（）代表推理模型在每个类别上的好坏，用 曲线面积表示；（）代表推理模型在所有类别上 平均值；代表预测框与真实框交集大于 的目标被认定为正样本；：代表预测框与真实框从 到 ，每递增 的 取 平 均 值，即 ：（）；（）表示每秒帧数。实验中采用基于 数据集的预训练模型，该数据集是由旷视和北京智源人工智能研究院联合推出的目标检测任务新基准，其在 万余张图像上标注了 个对象类，训练集中有超过 万个边界框，数据规模上超越了 、和 数据集。另外，本文使用了 （色度 ，饱和度 ，明度 ）方法，其具有直观特性的颜色空间，作为色度、饱和度、明度 个通道的扰动，实现数据增强的效果。本文对 模型的训练过程逐步做了改进，包括引入基于 大规模数据集的预训练模型，改进数据增强 方法，设置色调扰动系数（色度、饱和度、明度扰动系数分别为 、），改进 模块结构，以及采用 损失函数，并通过消融实验进行了验证，最终得到 个 指标最佳的改进方案。表为逐步改进后 模型消融实验结果比较。表 逐步改进后 模型消融实验结果比较模型改进过程 ：改进 由表 可知：采用改进后的 方法，指标较上一步提升了 ；采用改进的 （），：指标较上一步提升了 ；采用 损失函数，：指标较上一步提升了 。此外，对本文提出的改进型 模型与主流的几种目标检测算法进行对比测试，结果如表 所示。表 改进型 模型与其他主流模型性能对比模型参数量 个 ：改进型 袁靖，等：基于改进型 的电力标志牌检测识别技术研究由表 可知：相比模型大小相当的 模型，改进型 模型的 ：指标提升了 ；相比检测速度相当的 模型，改进型 模型的 ：指标提升了 。模型压缩本文采用量化和蒸馏两种模型压缩方法。量化采用低比特定点计算替代浮点运算，模型的大小和计算量显著降低；蒸馏使用大模型监督小模型训练，达到比直接训练小模型更高的精度。另外，作为 高性能推理 库，已集成于 中，并与深度学习框架以互补的方式工作。在模型推理时，自动对网络进行压缩、优化，从而提升推理速度。模型压缩前，为了进一步检验改进型 模型的性能，将标注样本增加到了 个，其中训练样本 个，验证样本 个，目标类别增加到个。训练完成后，对模型进行量化和蒸馏，压缩后的模型大小仅为原来的 。在 推理显卡上进行了 种预测精度（、）下的验证，结果如表 所示。由表 可知，模型在 开启下精度指标仅下降 以内。因此，本文的模型压缩方案在模型压缩率和查准率保持方面效果显著，为模型在边缘侧和端侧部署提供了参考价值。表 压缩前后模型性能对比压缩前后性能指标 前 ：推理时延 后 ：推理时延 文字检测识别结果分析将经改进型 模型检测得到的标志牌图像传入 模型进行文字处理，其中 检测查准率使用上述 标准，识别准确率（）正确识别出的文字数 总文字数 。本文使用了 个标志牌目标检测结果作为文字检测识别的输入样本，分别通过 原模型和自制样本库训练得到的模型进行验证和预测，实验结果如表 和图 所示。表 文字检测识别结果对比模型 检测 识别查准率 准确率 模型 自制样本库模型 图 文字检测识别结果对比上海电力大学学报 年由表 可知，自制样本库模型比 原模型检测查准率和识别准确率分别提升了 和 。由图 可知，倾斜标志牌和 残损内容被有效识别出。由此可见，通过自制样本库训练得到的 模型在电力巡检场景下可以取得更加优越的标志牌文字检测和识别效果。结论（）在电力标志牌目标检测任务中，通过改进 模型的 模块结构、引入 损失函数、优化数据增强等方法，实现了 的高检测精度。其性能比其他主流检测模型更加优越。（）针对边缘侧设备的存储限制，采用了量化和蒸馏方案，模型压缩为原来的 ，精度指标只下降了 。（）通过自制电力标志牌 样本库，文字检测查准率达到了 ，文字识别准确率达到了 ，满足电力巡检对标志牌信息识别的高精度要求。参考文献：王菲，王球，孙建龙，等 真实数据驱动下的变电站三维智能仿真技术研究 智慧电力，（）：周敬嵩，俞京锋，唐圣丰，等 基于移动式红外测温的变电站设备温度预警系统 电力科学与技术学报，（）：李宝潭，赵丹，李宝伟，等 智能变电站在线防误系统关键技术 的研究 智慧电力，（）：琚泽立，邢伟，金鸿鹏，等 基于轻量化网络的变电站缺陷图片检测算法 电网与清洁能源，（）：成云朋，丁亚杰，严 钢，等 航拍图像中电力杆号牌的检测与信息识别 科学技术与工程，（）：徐国整，周越，董斌，等 基于改进 的交通标志牌识别 传感器与微系统，（）：李思妍，台升，张宇航，等 基于轻量化 和 的电力设备标志牌识别技术 智慧电力，（）：刘宇宸，石刚，崔青，等 改进 交通标志牌检测算法 东北师大学报（自然科学版），（）：梁天骄，鲍泓，潘卫国，等 基于改进单级特征图方法的交通标志检测 传感器与微系统，（）：冯润泽，江昆，于伟光，等 基于两阶段分类算法的中国交通标志牌识别 汽车工程，（）：陈德海，孙仕儒，王昱朝，等 一种改进 的交通标志识别算法 河南科技大学学报（自然科学版），（）：宜超杰，陈莉，包宇翔 一种轻量化中文指路标志的文本识别算法 计算机工程与科学，（）：，：（）：，：（），：，：，：（）：，：（）：，：（）：，：（）：，：（）：（责任编辑桂金星）