基于改进EAST算法的船舶制造设备数据采集研究.pdf

第 51 卷收稿日期：2022年11月7日，修回日期：2022年12月14日基金项目：船舶智能制造关键共性技术专项“互联互通的船舶智能制造车间基础平台开发”（编号：MC-201618-Z01-03）资助。作者简介：张洪成，男，硕士研究生，研究方向：集成控制系统。张永林，男，副教授，硕士生导师，研究方向：现代测控技术。吴梦宇，男，硕士研究生，研究方向：水下机器人。戴磊，男，硕士研究生，研究方向：水下机器人。1引言我国船舶工业经过数十年的发展，已跻身于世界造船强国之流，但在高技术船舶领域还有较大的发展空间。为此，中国制造 2025 将海洋工程装备及高技术船舶领域作为重点突破的十大领域之一，并明确将船舶智能制造列为主攻方向1。我国“数字化造船”历经十多年的发展，拥有良好的信息化基础，然而在船舶实际制造过程中，制造工艺和生产计划等数据无法直接推送到制造现场，不能有效指导工人生产作业2；实际制造现场的情况也无法及时反馈，难以支撑管理层的决策和管控，最终导致船舶中间产品的一次合格率和生产效率偏低3。为实现数据的实时交互，首先需要完成对船舶制造总第 403 期2023 年第 5 期计算机与数字工程Computer&Digital EngineeringVol.51 No.5基于改进EAST算法的船舶制造设备数据采集研究张洪成张永林吴梦宇戴磊（江苏科技大学电子信息学院镇江212000）摘要船舶制造过程的互联互通平台是船舶智能制造发展的关键技术之一，其中数据采集工作又是互联互通平台研发中的重要部分。然而在船舶实际制造过程中，由于船舶制造设备年代久远，存在部分数控设备数据传输接口毁坏或不存在的情况，无法通过现场总线、工业以太网等方式直接地进行数控设备数据采集工作。论文将图像处理中OCR技术应用到数控设备数据采集中，通过改进的EAST文本检测算法，对数控设备人机界面进行检测，最终分析得到数控设备实时的信息数据。经过仿真实验结果表明，基于ASPP网络与Dice soft loss改进后的EAST文本检测算法，相比于传统的EAST文本检测算法，不仅具有较高感受野和长文本检测能力，而且提高了识别的准确率。关键词设备数据采集；人机界面；EAST算法；ASPP网络中图分类号TP391.1DOI：10.3969/j.issn.1672-9722.2023.05.026Research on Data Acquisition of Shipbuilding Equipment Based onImproved EAST AlgorithmZHANG HongchengZHANG YonglinWU MengyuDAI Lei（School of Electronic Information，Jiangsu University of Science and Technology，Zhenjiang212000）AbstractThe interconnection platform of shipbuilding process is one of the key technologies for the development of shipbuilding intelligent manufacturing，and the data acquisition is an important part of the development of interconnection platform.However，in the actual process of ship manufacturing，due to the age of ship manufacturing equipment，some of the data transmission interfaces of numerical control equipment are damaged or do not exist，so it is impossible to directly collect the data of numerical controlequipment through fieldbus and industrial Ethernet.In this paper，the OCR technology in image processing is applied to the data acquisition of CNC equipment.Through the improved EAST text detection algorithm，the man-machine interface of CNC equipment isdetected，and the real-time information data of CNC equipment is finally analyzed.The simulation results show that compared withthe traditional EAST text detection algorithm，the improved EAST text detection algorithm based on ASPP network and dice soft lossnot only has higher receptive field and long text detection ability，but also improves the recognition accuracy.Key Wordsequipment data acquisition，human machine interface，EAST algorithm，ASPP networkClass NumberTP391.111202023 年第 5 期计算机与数字工程设备的数据自动采集工作。然而船舶制造设备年代久远，存在部分数控设备数据传输接口毁坏或不存在的情况，无法直接进行数控设备数据自动采集。因此如何高效、准确、实时地进行船舶制造车间中无数据传输接口的数控设备数据采集工作是一个亟需解决的问题。鉴于此，本文展开基于改进EAST算法的船舶制造设备数据采集研究，为船舶制造过程的互联互通平台的研发做先行准备工作。首先利用工业摄像头对船舶数控设备人机界面进行抓拍工作，然后对抓拍得到的图像进行预处理，接着使用图像处理中的OCR技术4进行文本检测工作，以读取人机界面的设备信息。本文采用目前OCR领域中主流的EAST文本检测算法，并使用ASPP网络优化原有网络结构，提升Feature Map的感受野，利用Dice softloss函数替代原有Loss函数，以此综合提升对数控设备人机界面中长文本数据的识别效果，最终通过对识别结果中关键字进行搜索并读取数据，从而完成对无数据传输接口的船舶制造设备数据采集工作，补足船舶制造过程的互联互通平台中部分设备无法进行数据自动化读取的缺陷。2改进EAST文本检测算法2.1EAST文本检测算法介绍传统文本检测算法多为多阶段（Multi-stage）检测算法，在训练模型时需要进行多个阶段调优工作5。该调优工作的多阶段性导致调优过程复杂度增大、训练工程量增多且会对最终模型产生未可知因素的影响。East文本检测算法的端到端检测机制，可降低检测过程中中间冗余部分的占比，进而直接进行文本内容的预测6。经典East检测算法网络结构通常情况被分解为3个层次：特征提取（Feature extractor stem）、特征合并（Feature-merging branch）和输出层（Output layer）7，East 检测算法网络结构示意图如图1所示。特征提取层（图1黄色部分）：常见特征提取网络为VGG、ResNet、PVANET等8。特诊提取以ImageNet数据集上的预训练的卷积神经网络参数进行初始化，当特征提取网络为VGG16模型时，特征提取分支从其四组卷积层Conv1Conv4提取四组特征提取 4个级别的 Feature Map（特征图）并用f1、f2、f3、f4进行表示，特征图大小为原始图像的1 32、1 16、1 8以及1 49。特征融合层（图1绿色部分）：采用逐层合并的方式，从下向上进行上采样操作，将生成的FeatureMap输入到unpooling（池化）层进行拓展，接着使用concat函数对上下层Feature Map（记为hi）进行连接。然后通过11的卷积层削减通道数量与计算量，最终在最后一个合并阶段，将 Feature Maph4使用33的卷积核运算生成最终的Feature Map并传输到输出层10。输出层（图1蓝色部分）：方法一将该层分为置信度（Score Map）、文字区域（RBOX）和文字区域旋转角度共三个部分；置信度由11的卷积核生成，用于表示该像素的置信度；文字区域由4个11的卷积核生成，卷积核的值代表当前像素到所包围文字的最小矩形框的上、下、左、右界距离11（分别记为d1、d2、d3、d4），文字区域旋转角度由1个11的卷积核生成，代表该矩形框的旋转角度。黄色绿色蓝色Featureextractor stemFeature-mergingbranchOutputlayer77，16，/233，3211，1Conv stage 264，/2Conv stage 3128，/2Conv stage 3256，/2Conv stage 4384，/2f4f3f2f1h1h2h3h433，3211，32ConcatUnpool，233，6411，64ConcatUnpool，233，12811，128ConcatUnpool，2score mapRBOXgeometry11，4text boxes11，1text rotationangle图 1East检测算法网络结构图2.2网络结构优化经典EAST文本检测网络模型为了增加输出单元的感受野，在池化层阶段加入需要大量下采样操作，进而导致特征样本尺寸降低，上采样阶段提升分辨率的难度加大，最终导致输出中部分特征映射感受野减小，编码时会限制尺度信息。本文针对该问题，使用ASPP12（Atrous Spatial Pyramid Pooling）网络进行East文本检测算法结构方面的优化，利用空洞卷积同尺寸下更大感受野的特性进行问题的解决。首先将 EAST 网络结构中的 conv stage 4 部分修改为感受野更大的ASPP网络，修改后的网络结构如图2所示。空洞卷积层级级关联，逐层扩张，1121第 51 卷将每个空洞卷积层的输出、输入以及其所有前层输出关联相组，最终特征层便可输出尺寸更大一级的感受野，其通过使用几个空洞卷积层可以生成更密集更大的特征金字塔。本设计中的ASPP网络13包含1个11的卷积以及3个33的卷积（扩张率分别为6，12，18），特征图的输出步长为16。黄色绿色蓝色Featureextractor stemFeature-mergingbranchOutputlayer77，16，/233，3211，1Conv stage 264，/2Conv stage 3256，/2Conv stage 4512，/2f3f2f1h1h2h333，3211，32ConcatUnpool，233，6411，64ConcatUnpool，2score mapRBOXgeometry11，4text boxes11，1text rotationangle11，640640，11Rate=1640，33Rate=6640，33Rate=12640，33Rate=18Imagepooling图 2改进后East网络结构模型训练与测试时使用的图像尺寸大小为512512，由于输出步长为 16，最终 ASPP网络接收的特征向量为3232。为添加更多的信息14，将GAP（全局平均池化层）应用到最后一个空洞块输出的特征上，所得特征被输入到带有256个滤波器的11卷积中。2.3损失函数的改进在经典EAST检测网络模型中，以类平衡交叉熵 损 失（class balanced cross-entropy loss）作 为score map损失函数，以此解决样本不平衡分布问题。但交叉熵损失把每个像素都当作一个独立样本进行预测，收敛速度因此受到影响，本文采用dice soft loss函数，以一种更“整体”的方式来看待最终的预测输出。Dice soft loss15中 Dice系数源自于二分类，主要为衡量两个样本的重叠占比。对于神经网络的输出，分子与我们的预测和标签之间的共同激活有关，而分母分别与每个掩码中的激活数量有关，这具有根据标签掩码的尺寸对损失进行归一化的效果。Dice系数公式如式（1）所示。Dice=2|AB|A+|B=2TP2TP+FP+FN（1）式（1）中，参数TP、FP以及FN分别表示预测正确、预测错误、预测遗漏的文字数。3仿真实验与分析3.1实验环境与实验流程为验证改进后的EAST检测算法性能优于原算法，并可对实验数据可以进行更好地分析与处理，实验系统选择Linux系统与Windows10系统，仿真软件为 Matlab2016a、PyCharm，计算机配置为 Intel酷睿i5-9400F、内存16G、显卡GTX1650S。对比实验流程图如图3所示。开始预训练模型人机界面数据集训练数据集测试数据集基于ASPP改进后的East模型训练识别并数据分析效果对比结束图 3模型训练流程图3.2构建数据集与模型训练在外高桥造船厂小组立车间和分段数字化先行车间中，无数据传输接口的数控设备使用的中文字体为宋体，英文字母和数字为 Times New Roman。为了提高算法的泛化能力，本实验采用公开的标准数据集COCOText数据集和ICDAR2015数据集，拍摄场景为存在光线干扰的室外场景，包含中英文、阿拉伯数字等水平或倾斜的文本内容，数据集的场景与船厂设备所处的工作场景具有较大的相似性。本实验采集500张该数控设备HMI界面（人机交互界面），进行人机界面数据集的构建。为提高泛化能力，实验在COCOText数据集和ICDAR2015 数据集上预训练，为提高模型训练速度，采用随机梯度下降法进行改进，批训练数量设定值为20，默认动量设定值为0.9，权重衰减系数设定值为0.05%，学习初始速度为0.001，每两万次迭代后衰减速度降为原来的1/10，直至降为0.000001张洪成等：基于改进EAST算法的船舶制造设备数据采集研究11222023 年第 5 期计算机与数字工程为止。3.3实验结果本文将截取到的一张具有代表性的数控设备监控画面，放在不同文本检测网络下进行测试。改进前算法识别效果如图4所示，当使用经典EAST文本检测网络时，能够对大多数的数据进行识别，但由于经典EAST文本检测网络的自身缺陷，对长文本数据信息无法识别，且会对部分文本进行错误识别，检测得到的数据如图6所示。图4改进前算法识别效果改进后算法识别效果如图5所示，当使用基于ASPP网络与Dice soft loss改进后的EAST文本检测网络时，不仅能够对大多数的数据进行识别，而且由于更高的感受野，能够对长文本数据信息进行识别，对于部分易错文本也可以进行正确检测，检测得到的数据如图6所示。图5改进后算法识别效果改进前识别结果改进后识别结果图6改进前后算法识别结果为验证改进后的East文本检测算法能够更好地对数控设备人机界面进行识别，对比实验设置三个指标进行算法有效性的评估：准确率（Precision）、检出率（Recall）、F 值（F-measure）。各参数定义如式（2）所示。Precision=TPTP+FPRecall=TPTP+FNF-measure=2PrecisionRecallPrecision+Recall（2）使用400张数控设备人机界面对原 EAST算法与结合网络结构优化和损失函数优化的EAST算法进行训练，然后将训练好的模型在100张数据测试集图像进行测试，以每张图片中各部分检测结果进行权重综合，以更准确地评价算法准确性。100张测试集数据可大致分为500个部分，算法改进前后的运算性能对比、检出准确率结果如表1所示。表1对比实验结果算法EAST改进EAST正确检测368423错检5432误检7845准确率87.292.9检出率82.590.3F值84.891.6综合表 1所示，EAST文本检测算法的检测准确率在改进后提升5.7%，检出率上提高了约7.8%，F值提高了6.8%。4结语本文提出一种基于图像的船舶制造设备数据采集方法，在 EAST文本检测算法的基础上，利用ASPP网络改进网络结构，以提升Feature Map的感受野，增加对长文本数据识别的能力，使用 Dicesoft loss函数以提升文本检测性能。对比实验中验证了改进后的EAST文本检测算法能够在工业环境下对数控设备人机界面进行文本数据的检测，具有识别率高、准确率高的优点，为船厂中无传输接口的数控设备数据采集工作提供新的解决方法。参 考 文 献1赵超奇，习俊通.船舶小组立焊接工位特征提取和检测J.组合机床与自动化加工技术，2021（08）：76-80.ZHAO Chaoqi，XI Juntong.Feature extraction and detection of welding stations in ship groupJ.Modular Machine Tool and Automation Processing Technology，2021（08）：76-80.2吴立新，朱久恩.我国船舶制造智能化转型战略与战术J.船舶与海洋工程，2020，36（03）：68-72.1123第 51 卷WU Lixin，ZHU Jiuen.Strategies and Tactics for the Intelligent Transformation of Chinas Shipbuilding IndustryJ.Ship and Ocean Engineering，2020，36（03）：68-72.3孙程程.数字化造船精度控制技术现状分析 J.船舶标准化工程师，2017，50（02）：29-31.SUN Chengcheng.Analysis of the Current Situation of Digital Shipbuilding Precision Control TechnologyJ.ShipStandardization Engineer，2017，50（02）：29-31.4王增玉，卢明明.基于OCR的移动财务报销信息采集系统的业务构想 J.国际工程核心期刊，2020，6（10）：11-14.WANG Zengyu，LU Mingming.Business concept of a mobile financial reimbursement information collection systembased on OCRJ.International Journal of EngineeringCore，2020，6（10）：11-14.5池凯，赵逢禹.改进 EAST 算法的游戏场景文本检测J.小型微型计算机系统，2020，41（10）：2189-2193.CHI Kai，ZHAO Fengyu.Improved EAST Algorithm forGame Scene Text DetectionJ.Small Micro ComputerSystem，2020，41（10）：2189-2193.6郭闯，邱晓晖.基于BLSTM网络的改进EAST文本检测算法 J.计算机技术与发展，2020，30（07）：21-24.GUO Chuang，QIU Xiaohui.Improved EAST Text Detection Algorithm Based on BLSTM NetworkJ.ComputerTechnology and Development，2020，30（07）：21-24.7龙言，施水才，肖诗斌.基于分支ResNet-5的EAST场景文字检测算法 J.北京信息科技大学学报（自然科学版），2020，35（03）：94-98.LONG Yan，SHI Shuicai，XIAO Shibin.EAST scene textdetection algorithm based on branch ResNet-5 J.Journal of Beijing Information Science&Technology University（Natural Science Edition），2020，35（03）：94-98.8牛作东，李捍东.引入注意力机制的自然场景文本检测算 法 研 究J.计 算 机 应 用 与 软 件，2019，36（09）：198-203，269.NIU Zuodong，LI Handong.Research on Natural SceneText Detection Algorithms Introducing Attention MechanismJ.Computer Applications and Software，2019，36（09）：198-203，269.9孟健，曾宪文，高桂革.基于改进EAST算法的电厂电气设备铭牌文字检测 J.现代计算机，2019（25）：55-60.MENG Jian，ZENG Xianwen，GAO Guige.Text detectionof power plant electrical equipment nameplates based onimproved EAST algorithmJ.Modern Computer，2019（25）：55-60.10周新宇，丛瑶.EAST：一种高效准确的场景文本检测器J.第30届IEEE计算机视觉与模式识别会议（CVPR2017），2017（01）：2642-2651.ZHOU Xinyu，CONG Yao.EAST：An Efficient and Accurate Scene Text DetectorJ.30th IEEE Conferenceon Computer Vision and Pattern Recognition（CVPR2017），2017（01）：2642-2651.11徐本朋.基于深度学习的场景文本检测方法研究 D.合肥：安徽大学，2020.XU Benpeng.Research on Scene Text Detection MethodBased on Deep Learning D.Hefei：Anhui University，2020.12彭国雯.基于深度学习的场景文字检测算法的融合技术研究 D.郑州：河南大学，2019.PENG Guowen.Research on fusion technology of scenetext detection algorithm based on deep learning D.Zhengzhou：Henan University，2019.13徐行莲，庞燕伟，韩军工，等.用于语义切分的级联层次atrus空间金字塔池模型 J.模式识别，2021（04）：110-115.XU Xinglian，PANG Yanwei，HAN Jungong，et al.Acascaded hierarchical Atrus spatial pyramid pool modelfor semantic segmentationJ.Pattern Recognition，2021（04）：110-115.14陈晋，王传亚，童颖.AtICNet：图像级联网络中基于萎缩空间金字塔池的语义分割 J.无线通信与网络杂志，2019（03）：14-18.CHEN Jin，WANG Chuanya，TONG Ying.AtICNet：Semantic segmentation based on shrinking spatial pyramidpools in image cascaded networksJ.Journal of Wireless Communication and Networks，2019（03）：14-18.15杨飚，杜晓宇.基于改进EAST的自然场景文本定位算法 J.计算机工程与应用，2019，55（18）：161-165.YANG Biao，DU Xiaoyu.Text location algorithm for natural scenes based on improved EASTJ.Computer engineering and Application，2019，55（18）：161-165.张洪成等：基于改进EAST算法的船舶制造设备数据采集研究1124