基于虚拟现实与数字孪生技术的综采工作面直线度求解_闫泽文.pdf

基于虚拟现实与数字孪生技术的综采工作面直线度求解闫泽文1，2，谢嘉成1，2，3，李素华1，2，沈卫东1，2，王怡荣1，2，王学文1，2（1.太原理工大学机械与运载工程学院，山西太原030024；2.煤矿综采装备山西省重点实验室，山西太原030024；3.新加坡国立大学设计与工程学院，新加坡119077）摘要：直线度问题是综采工作面智能化建设的卡脖子问题之一，解决该问题的关键在于刮板输送机或者液压支架群的位姿获取。目前针对综采工作面直线度的研究大多是对液压支架和刮板输送机的直线度分别进行讨论，存在成本高、实现困难等问题。针对该问题，基于虚拟现实（VR）与数字孪生（DT）技术对综采工作面直线度求解方法进行探索，将液压支架、浮动连接机构、刮板输送机看作一个系统来进行整体考虑，搭建了综采工作面直线度求解框架，主要分为机理解析、模型构建、融合推演、重构监测、预测控制 5 个步骤。指出综采支运装备相对位置关系分析的关键在于连接液压支架底座与刮板输送机的浮动连接机构，根据浮动连接机构的运动特性将其简化为机器人模型，进行正逆向运动解析；依据真实的煤层环境，在 Unity3D 中建立基于关节的综采支运装备运动仿真模型，构建 VR 场景，实现虚实映射；通过非接触式视觉传感器、虚拟传感器、虚实融合等技术，融合传感器及点云信息进行支运装备位姿推演；利用虚实交互技术，联合真实物理场景构建 DT 系统，实现综采工作面虚拟监测；在虚拟场景中对保证直线度所需的推移行程进行预测，并将其反馈至物理场景中进行直线度控制。关键词：综采工作面；直线度控制；数字孪生；虚拟现实；虚实映射；虚实交互中图分类号：TD679文献标志码：AStraightnesssolutionofthefullymechanizedworkingfacebasedonVRandDTtechnologyYANZewen1,2,XIEJiacheng1,2,3,LISuhua1,2,SHENWeidong1,2,WANGYirong1,2,WANGXuewen1,2(1.CollegeofMechanicalandVehicleEngineering,TaiyuanUniversityofTechnology,Taiyuan030024,China；2.ShanxiKeyLaboratoryofFully-MechanizedCoalMiningEquipment,Taiyuan030024,China；3.CollegeofDesignandEngineering,NationalUniversityofSingapore,Singapore119077,Singapore)Abstract:Thestraightnessproblemisoneoftheneckproblemsintheintelligentconstructionofthefullymechanizedworkingface.Thekeytosolvethisproblemistoobtainthepositionandpostureofthescraperconveyororhydraulicsupportgroup.Atpresent,mostoftheresearchonthestraightnessoffullymechanizedworking face is to discuss the straightness of hydraulic support and scraper conveyor separately.There areproblemssuchashighcostanddifficultyinimplementation.Inordertosolvethisproblem,basedonvirtualreality(VR)and digital twin(DT)technology,the method to solve the straightness problem of the fullymechanized working face is explored.The hydraulic support,floating connection mechanism and scraperconveyorareconsideredasawholesystem.Thestraightnesssolutionframeworkofthefullymechanizedworking收稿日期：2022-12-12；修回日期：2023-02-03；责任编辑：胡娴。基金项目：国家自然科学基金项目（52004174）；中央引导地方科技发展资金项目（YDZJSX2022A014）；山西省科技重大专项计划“揭榜挂帅”资助项目（202101020101021）。作者简介：闫泽文（1999），男，山西朔州人，硕士研究生，研究方向为综采装备虚拟现实系统设计，E-mail:。通信作者：谢嘉成（1989），男，山西晋城人，副教授，研究方向为煤矿装备 VR/AR/DT 融合设计理论与方法，E-mail:。引用格式：闫泽文，谢嘉成，李素华，等.基于虚拟现实与数字孪生技术的综采工作面直线度求解J.工矿自动化，2023，49（2）：31-37.YANZewen,XIEJiacheng,LISuhua,etal.StraightnesssolutionofthefullymechanizedworkingfacebasedonVRandDTtechnologyJ.JournalofMineAutomation，2023，49（2）：31-37.第49卷第2期工矿自动化Vol.49No.22023年2月JournalofMineAutomationFeb.2023文章编号：1671251X（2023）02003107DOI：10.13272/j.issn.1671-251x.18066face is built.There are mainly five steps:mechanism analysis,model construction,fusion deduction,reconstructionmonitoringandpredictivecontrol.Itispointedoutthatthekeytotheanalysisoftherelativeposition relationship of the fully mechanized supporting equipment is the floating connection mechanismconnectingthehydraulicsupportbaseandthescraperconveyor.Accordingtothemotioncharacteristicsofthefloatingconnectionmechanism,itissimplifiedintoarobotmodelandsolvedbyforwardandreversemotion.Accordingtotherealcoalseamenvironment,themotionsimulationmodeloffullymechanizedminingsupportequipmentbasedonjointsisestablishedinUnity3D,andtheVRsceneisconstructedtorealizevirtualandrealmapping.Through non-contact visual sensor,virtual sensor,virtual-real fusion and other technologies,theinformation of sensor and point cloud are fused to perform the position and posture deduction of supportequipment.Usingthetechnologyofvirtualandrealityinteraction,combinedwitharealphysicalscenario,aDTsystemisconstructedtoachievevirtualmonitoringofthefullymechanizedworkingface.Thetraveldistancerequiredtoensurestraightnessispredictedinthevirtualsceneandfedbacktothephysicalsceneforstraightnesscontrol.Key words:fullymechanizedworkingface;straightnesscontrol;digitaltwin;virtualreality;virtualandrealitymapping;virtualandrealityinteraction 0引言国家八部委联合发布的加快煤矿智能化发展的指导意见中明确指出，应将新一代信息技术与煤炭行业深度融合，为煤矿智能化快速发展提质增效。综采工作面是煤矿智能化的核心场景，仍面临着装备连接关系复杂、全方位传感数据获取难度大、作业流程繁琐、难以在先验信息缺失的地质环境中整体协同推进、透明化地质保障技术精度不足等系列复杂技术难题亟待解决1-4。直线度问题是综采工作面智能化建设的卡脖子问题之一，解决该问题的关键在于刮板输送机或者液压支架群的位姿获取。在获得装备精确位姿的基础上，可对综采工作面的直线度进行判断，在确定的调直基准下进行调直工作。刮板输送机位姿检测方法包括直接在中部槽电缆槽下方安装位姿传感器5、基于光纤光栅应变传感器6的直接测量方式及基于采煤机位姿反演的间接获取方式7，这些方法可较好地获得刮板输送机位姿信息，但由于传感器成本及装备结构问题，实现比较困难。液压支架位姿信息获取同样有较大难度，激光测距传感器8、架间行走机器人9、视觉和点云测量装备10等为液压支架位姿检测提供了新的解决方案，但是在目前条件下成本较高，且在井下恶劣环境中使用存在较大限制。近年来，虚拟现实（VirtualReality，VR）与数字孪生（DigitalTwin，DT）技术在综采装备领域的应用发展探索11-12证明了两者不仅可以进行培训教学展示，还可为复杂装备的运行仿真与计算提供平台13。利用VR 技术接入实时运行数据，进而构建综采工作面生产系统的实时 DT 虚拟镜像已成为研究热点，对装备的动态配套关系、作业过程、运行态势和综采工作面三维地质模型等精准呈现正逐步成为工作面常规技术手段。葛世荣等14提出了 DT 智采工作面的技术架构，并将其与工作面自主截割等技术相融相通，指出 VR 技术是 DT 技术应用的底层关键技术，为进一步实现两者的应用提供了顶层方案指导。毛善君等15提出了透明化矿山的概念、核心内容及构建透明化矿山需要遵循的 5 个原则，为矿山的透明化远程管控提供了参考。任怀伟等10给出了智能开采“环境装备仿真模拟反向控制”运行体系下的智能决策过程，实现了虚拟仿真系统对工作面装备运行状态的实时监测和反向控制。张旭辉等16实现了掘进工作面物理空间与掘进信息虚拟空间的深度融合与交互，验证了 DT 技术的应用可以解决工作面复杂问题。笔者所在团队致力于 VR 与 DT 技术在综采工作面煤机装备智能化发展中的应用研究，已对综采工作面煤层与装备耦合模型17、虚实交互通道18、装备位姿监测19、分布式协同运行20、人机交互21、智能预测和反向控制22等关键技术进行了全面研究，建立了集仿真、感知、预测、决策与控制为一体的复杂综采工作面 DT 系统。本文在此基础上，应用 VR 与 DT 技术求解综采工作面直线度问题，以期为综采工作面直线度问题提供新的解决方案。1综采工作面直线度求解框架基于 VR 与 DT 技术的