基于迁移学习的电气元件识别方法研究_李殿明.pdf

基于迁移学习的电气元件识别方法研究李殿明，于正林（长春理工大学机电工程学院，长春130022）摘要：电气元件识别是电控柜自动布线机的关键一步。由于采用普通深度学习训练小样本集可能出现过拟合，所以将 VGG16、ResNet50 模型迁移到电气元件识别领域，再利用网络手术技术分别将基于 VGG16、ResNet50 迁移模型的分类器替换成极限学习机。普通深度学习模型 VGG16、ResNet50 识别准确率分别为 68.27%和 72.94%；迁移学习模型识别准确率对比普通深度学习分别调高了 18.89%、17.28%；使用迁移学习和 ELM 结合方法，准确率比对应迁移模型分别提高了 5.56%、7.16%。结果表明，迁移学习更适合小样本电气元件的识别，并且迁移学习和 ELM 相结合的方法可进一步提高准确率。关键词：电气元件；识别；普通深度学习；迁移学习；极限学习机中图分类号：TP391.4文献标志码：A文章编号：1672-9870（2023）01-0073-08Research on Electrical Component Identification MethodBased on Transfer LearningLI Dianming，YU Zhenglin（School of Mechatronic Engineering，Changchun University of Science and Technology，Changchun 130022）Abstract：Identification of electrical components is the key step of automatic wiring machine for electric control cabinet.Since the small sample set trained by ordinary deep learning may overfit，the VGG16 and ResNet50 models are transferredto the field of electrical component identification.Using network surgery technology，the classifier based on VGG16 andResNet50 migration model was replaced with extreme learning machine.The recognition accuracy of common deep learningmodels VGG16 and ResNet50 is 68.27%and 72.94%respectively.Compared with common deep learning，the recognitionaccuracy of transfer learning model was increased by 18.89%and 17.28%respectively.Compared with the correspondingmigration model，the accuracy of the combined ELM and transfer learning method is improved by 5.56%and 7.16%respec-tively.The results show that transfer learning is more suitable for the identification of small sample electrical components，and the method combined with transfer learning and ELM can further improve the accuracy.Key words：electrical components；identification；general deep learning；transfer learning；extreme learning machine智能制造是“中国制造 2025”的主攻方向，也是推动制造业向智能化、数字化、自动化迈进的关键一步1。电气控制是推进智能制造的基础，电控柜则是该控制的核心设备。近年来，高铁、风能、太阳能等高速发展，需要大批量的同规格、同功能的电控柜系统，但是现在电控柜自动布线技术以及电控柜接线状态自动检测技术仍属于研发阶段。王凯等人2针对电控柜的自动长春理工大学学报（自然科学版）Journal of Changchun University of Science and Technology（Natural Science Edition）Vol.46No.1Feb.2023第46卷第1期2023年2月李殿明，等：基于迁移学习的电气元件识别方法研究收稿日期：2022-03-07基金项目：吉林省科技发展计划项目（20190302069GX）作者简介：李殿明（1993-），男，硕士研究生，E-mail：通讯作者：于正林（1971-），男，博士，教授，博士生导师，E-mail：长春理工大学学报（自然科学版）2023年布线机，将传统的 S 型加减速曲线改进为自适应S 曲线，实现平滑变速布线，提升布线速度。徐顺等人3采用 SVM 分类器配合 HOG 特征进行配电柜线号识别，判断配电柜接线状态是否正确。张彩持等人4利用 BP 神经网络识别电气元件之间连线的线号来判断异常连线，但是通过识别电气元件上的手动标号判别电气元件类型，制约了检测接线状态速度。杨政等人5提出自然界仿生算法和连续型 Hopfield 神经网络算法规划电控柜自动布线机的路径，但是搭建的系统忽略了工人装配电气元件误差，提高装配精度。幸运的是，深度学习已经成功应用于目标识别和目标检测，可用深度学习对电气元件进行识别，再对电气元件进行矩形拟合6，计算电气元件中心位置，由电气元件为标准件特性，可得出电气元件孔位三维坐标，输入系统，增加此环节，工人可摆脱高装配精度，直接将各个电气元件置于电控柜合适位置。毋庸置疑，无论是提高电控柜自动布线还是电控柜接线状态检测智能化的关键一步都是对电气元件的识别。叶司琪等人7拟议卷积神经网络和目标检测相结合的方法，对藻类识别的准确率达到 95%以上。李福坤等人8设计了有监督的卷积神经网络对朱墨的时序检测，最终在理想的实验条件下，预测准确率达 93%以上。毛雅琪等人9将卷积神经网络和主成分分析结合，对低分辨率的人脸进行识别，当人脸图像分辨率在 88 时，准确率达到 94.5%。深度学习发展迅速、应用广泛，但有两个明显特点：（1）大量的训练样本；（2）由于深度学习中使用迭代训练来调整隐藏节点的权值和偏差，导致计算复杂性和耗时特性。近年来，迁移学习理论引起了广泛的研究，其利用已知的领域知识（源域）求解相关领域（目标域）的问题，放宽了上述两个深度学习的特点，广泛地应用图像分类与检测。吴桐等人10利用基于迁移学习的卷积神经网络模型，对十类合成孔径雷达图像车辆目标的识别精度达到98.39%。单兆晨等人11提出了基于 VGG16 的迁移学习模型和 Spatial CNN 模型相结合的端到端自动驾驶模型，比 DANE-2 模型预测正确率提升11.1%。吉训生等人12提出一种基于卷积神经网络迁移学习的字符识别方法，通过小样本水读 数 数 据 集 训 练，实 现 字 符 分 类，识 别 率 比VGG16 提高 2.19%。由于没有大量的训练数据集很难训练深度 CNN 模型，特别是对于电气元件的小样本量，所以，提出了一种较为先进的电气元件图像识别方法，将迁移学习算法分别和VGG16、ResNet50 模型相结合，探讨基于 VGG16、ResNet50 的迁移模型对不同的电气元件识别准确率，但是上述网络均由 CNN 特征提取器和 Softmax 分类器组成，由于 Softmax 分类器的线性分离特性，在某些情况下不能有效地识别复杂特征，所以研究迁移模型特征提取与比较优秀的分类器相结合的方法进一步提高识别准确率。1算法研究1.1卷积神经网络 VGG16VGG13是由牛津大学 VGG（Visual GeometryGroup，VGG）提出的，在 2014 年 ImageNet 竞赛取得了优秀成绩。VGG 结构简洁，由 5 个卷积块（由 1 个或多个卷积层组成）、3 个全连接层、Softmax 输出层构成，在卷积块之间使用最大池化分开，所有隐藏层激活单元均采用 ReLU 函数。而VGG16 是 目 前 效 果 最 佳 的 VGG 模 型，因 为VGG16 从头到尾只有 33 卷积与 22 池化，结构简洁优美，并且卷积层可代替全连接层，可适应各种尺寸的图片输入网络。1.2卷积神经网络 ResNet50ResNet 在 2015 年被提出，ResNet14是通过对传统卷积神经网络加入残差学习，攻克在网络深度不断加深的情况下，梯度弥散、梯度爆炸成为训练深层次的网络障碍。并且在 ImageNet 上进行实验证明，深度残差网络在深度大幅增加的情况下，可以很容易地提高精度，产生的结果大大优于以往的网络。在 ResNet 网络模型中学74习的残差函数是F(x)=H(x)-x，F(x)+x可以通过 shortcut connections 的连接方式得到，shortcut connections 是跳过一层或者多层的连接，在连接时，既不增加额外参数，也不增加计算的复杂度。对两层进行残差学习，表达式如下：F=2(1x)（1）式中，表示非线性函数 ReLU；1、2为权重。然后通过一个shortcut和第2个ReLU，获得输出y：y=F(x,i)+x（2）当 输 入 和 输 出 的 维 数 不 相 等 时，可 以 在shortcut 时对x做一个线性变换s来匹配维度。如下：y=F(x,i)+sx（3）1.3迁移学习Pan 等人15将迁移学习定义为：“给定源域DS和目标域Dt，源任务s和目标任务t。迁移学习使用在DS和s中已经学习到的知识应用在Dt和t中，以 提 高 目 标 预 测 函 数f()，其 中DS Dt，s t。因此把模型先在 ImageNet 数据集（非电气元件数据集）进行预训练，再将模型进行网络手术，把分类器剥离，添加较优秀的分类器，通过微调技术16进行参数调整与优化，进行电气元件分类。模型不用随机初始化参数从头训练，参数在源域和目标域之间共享，因此可以提高学习效率，实现完美分类。1.4极限学习机（ELM）分类器Huang 等 人17提 出 了 极 限 学 习 机（ExtremeLearning Machine，ELM），与 传 统 的 训 练 方 法 不同，ELM 算法随机生成输入层和隐藏层之间的权值，且设定之后不需要迭代调整，只需设置隐藏层神经元的数量，通过解方程组的方式一次性确定，提高了训练速度和泛化能力，所以 ELM 可以在多类识别问题找到最佳和通用的解决方案。从网络架构的角度来看，假设有N个任意并且均不相同的样本()Xj,ti，其中Xj=xj1,xj2,xjnRnti=ti1,ti2,tim Rn，ELM 的 输 入 层 与 CNN图像特征的输入载体xi相连，将含有L个隐藏节点 和 激 活 函 数g()的 单 隐 藏 层 前 馈 神 经 网 络（SLFN）可以建模为：i=1Lig()wi xj+bi=tj,j=1,2,N（4）式中，wi=wi1,wi2,win表示随机选择的第i个神 经 元 在 输 入 层 和 隐 藏 层 的 权 值；i=i1,i2,iL为连接第i个隐藏节点到输出层节点的权重向量；bi为第i个隐藏节点的偏置；tj是第j个输入神经网络向量得到的目标向量。上述方程可以简洁地写成：H=T（5）H()W1,WL,b1,bL,X1,XL=g()W1 X1+b1g()WL X1+bLg()W1 XN+