5G环境下基于深度学习的云化PLC物料识别与定位系统.pdf

5G 环境下基于深度学习的云化 PLC 物料识别与定位系统付美霞1,2)，王健全1,2)，王曲1,2)，孙雷1,2)，马彰超1,2)，张超一1,2)，管婉青3)，李卫2,3)1)北京科技大学自动化学院，北京1000832)北京科技大学工业互联网研究院，北京1000833)北京科技大学计算机与通信工程学院，北京100083通信作者，E-mail:摘要为了解决智能制造领域中云化控制与视觉分选应用相结合的问题，提出了基于深度学习的云化可编程逻辑控制器（Programmablelogiccontroller，PLC）物料识别与定位系统，并在端到端 5G 与时间敏感网络（Timesensitivenetworking，TSN）传输网络环境下，实现了对云化 PLC 架构和控制功能有效性的验证.首先，将传统 PLC 系统控制功能容器虚拟化，实现 PLC 的本地和云端自由部署；其次，在云端设计人工智能学习平台，采用基于 Youonlylookoncev5（YOLOv5）的目标检测算法实现物料的定位和分类，获取目标的像素坐标和类别信息；然后，利用相机标定方法把像素坐标转换成物理世界坐标，并将目标类别、坐标、时间戳信息传输到云化 PLC；最后，在 5G 和 TSN 融合网络环境下，实现云化 PLC 对天车设备的实时控制与复杂计算功能整合.结果表明，该系统能够有效的对多天车进行协同控制，物料定位均值平均精度（Meanaverageprecision，mAP）达到 99.65%，分选准确率达到 96.67%，平均消耗时间 225.99s，满足工业低时延、高精度的视觉分选需求.关键词智能制造；视觉分选；深度学习；云化可编程逻辑控制器；5G；时间敏感网络分类号TG142.71Material recognition and location system with cloud programmable logic controllerbasedondeeplearningin5GenvironmentFU Meixia1,2)，WANG Jianquan1,2)，WANG Qu1,2)，SUN Lei1,2)，MA Zhangchao1,2)，ZHANG Chaoyi1,2)，GUAN Wanqing3)，LI Wei2,3)1)SchoolofAutomationandElectricalEngineering,UniversityofScienceandTechnologyBeijing,Beijing100083,China2)InstituteofIndustrialInternet,UniversityofScienceandTechnologyBeijing,Beijing100083,China3)SchoolofComputerandCommunicationEngineering,UniversityofScienceandTechnologyBeijing,Beijing100083,ChinaCorrespondingauthor,E-mail:ABSTRACTIntellectualizationandunmannedmanufacturinghavebeenaninevitabletrendinindustrialdevelopment.Thelandingofintelligentapplicationsisoneofthecurrentchallengesintheindustry.Duetothehierarchicalarchitectureoftheindustrialautomationpyramid,traditional programmable logic controllers(PLCs)that are usually employed in the field cannot cooperate with artificialintelligence(AI)algorithmsthatrequiremassivedataandcomputingresources.Therefore,itisnecessarytoresearchthevirtualizationoftraditionalPLCsasdockers,whichcanbedeployedinthecloud,edge,orfield.CloudPLCscanbeeasilyintegratedwithAI,bigdata,andcloudcomputingtoachieveintelligentdecision-makingandcontrolandbreakdowndataislands.Thevisualsortingsystemhasattractedincreasingattentionforitsabilitytoaccuratelydetectthepositionofobjects.Manydeeplearningbasedmethodshaveachieved收稿日期:20221218基金项目:国家重点研发计划资助项目（2020YFB1708800）；广东省重点研究与开发计划资助项目（2020B010113007）；中央高校基本科研业务费专项资金资助项目（FRF-IDRY-21-005）；广东省基础与应用基础研究基金联合基金资助项目（2021A1515110577）；中央高校基础研究基金资助项目（FRF-MP-20-37）；中国博士后科学基金资助项目（2021M700385）工程科学学报，第45卷，第10期：16661673，2023年10月ChineseJournalofEngineering,Vol.45,No.10:16661673,October2023https:/doi.org/10.13374/j.issn2095-9389.2022.12.18.001;http:/remarkable performance in computer vision.Additionally,the requirement of a network is fundamental for guaranteeing datatransmission with low latency and high reliability.The combination of 5G and time-sensitive networking(TSN)can achieve thedeterministictransmissionofseveralindustrialapplications.Accordingtotheabovechallenges,jointcontrolbetweencloudPLCsoflow-leveldevicesandvisualsortingsystemsinareliablenetworkiscriticalandhasindustrypotential.Inthisstudy,weproposeadeeplearning based material recognition and location system with a cloud PLC,which is demonstrated in a 5G-TSN network.First,traditionalPLCisvirtualizedtorealizeflexiblePLCfunctiondeploymentinthefieldandcloud.Second,weestablishacloud-basedAIplatformanddesignaYouonlylookoncev5(YOLOv5)-basedobjectdetectionalgorithmtolocatethepositionandrecognizethetypesofmaterialstoobtainpixelcoordinates.Third,thecameracalibrationmethodisusedtotransformpixelandworldcoordinates,andthematerialinformationconsistsoftheworldcoordinates,types,andtimestampsthataresenttocloudPLC.Finally,thecommandsaretransmittedbythe5G-TSNenvironmentfromcloudPLCtothelow-leveldevicesforreal-timecontrolofthemulti-cranecooperative.Weestablishanexperimentalsystemtodemonstratethesignificanceandeffectivenessoftheproposedscheme,whichsynergisticallycontrolsmulti-craneoperation.Themeanaverageprecision(mAP)ofmateriallocationisupto99.65%,sortingaccuracyreaches96.67%,andtheaverageconsumingtimeis25.99s,whichmeetstherequirementsoflowlatencyandhighprecisioninindustrialapplications.KEYWORDSintelligentmanufacturing；cloudPLC；visualsortingsystem；deeplearning；5G；TSN智能制造是我国现代工业未来的发展趋势，是建设制造强国的重要支撑，是实现绿色低碳发展的重要领域12.由于我国人口老龄化和劳动成本的上升，企业对降本增效以及高精度和柔性生产的制造需求，“数字化、网络化、智能化”成为智能制造的发展方向3.传统制造业采用自动化技术、信息技术和通信技术构成以自动化金字塔为核心的生产制造模式，该结构通过现场总线技术、工业以太网技术和其他的专用网络技术，实现控制数据和管理数据的传输和交换4.在工业体系架构中，可编程逻辑控制器（Programmablelogiccontroller，PLC）是工业自动化控制的核心5.随着 PLC 业务需求不断增加，在部署方面硬件成本高，多种工控协议导致底层设备之间数据难以互通，无法满足灵活性和可扩展性需求.新兴下一代 PLC 技术云化 PLC 是基于虚拟化技术67，利用软件定义网络的实现思路，将传统专用的 PLC 功能解耦，通过应用程序来实现 PLC 逻辑控制的功能，为智能制造实现提供了方向.因此，PLC 软件系统可以部署在云端，很方便地与人工智能8、大数据9、云计算10相融合，实现智能化的决策与控制，同时打破数据孤岛的问题11.随着人工智能在多领域的广泛应用，工业智能应用也成为智能制造少人化、无人化发展的关键技术手段，特别是机器视觉12凭借其无接触、客观性、高度重复性等特点，在工业视觉检测中具有广泛的应用空间13.工业智能应用需要大量的数据驱动，例如视频、图像等对海量数据稳定性传输提出了较高的要求.第五代移动通信技术（5thGenerationmobilecommunicationtechnology，5G）具有高带宽、低时延和大连接等特点14.时间敏感网络（Timesensitivenetworking，TSN）基于以太网的技术，提供确定性、实时和超可靠通信15.为了保证视频、图像等数据的低时延、高可靠、确定性传输，5G 与 TSN 的融合部署为智能应用和工业控制提供了稳定的网络环境16.基于此，本文研究多天车物料分拣系统，将 PLC 控制功能虚拟化和人工智能学习平台共同部署在云端，实现工业智能应用的闭环控制.通过深度学习算法1718的目标检测方法实现物料的