基于AR技术的远程巡检应用_戴万波.pdf

煤矿机械Coal Mine MachineryVol.44 No.5May.2023第44卷第5期2023年5月doi:10.13436/j.mkjx.2023050590引言随着煤矿智能化开采程度越来越高，保障煤矿安全生产在煤矿开采管理工作中越来越重要。在煤矿开采过程中需要检查采掘、通风、机电等设备运行情况，一旦出现设备运行故障，将对开采进度和效益造成极大的影响，甚至危及人员安全。因此，在煤矿生产现场需要配备大量的维修人员对设备进行及时有效的故障诊断与维护。传统的检查方法是根据煤矿基本情况确定检查路线，各检查人员使用文字、照片、录音、录像等记录发现的问题，检查结束后将检查记录人工汇总形成检查报告，费时费力，且容易出现漏检。目前也有自动化的汇总方法，各检查人员分别在自动化系统中提交检查记录，系统自动生成检查报告，这种方法虽然速度快，但因系统不具备专家的判断能力，无法准确判断设备的故障情况。此外，煤矿开采设备的技术含量高、性能先进且种类繁多，在实际的设备运维过程中会出现各种问题，即使有经验的维修人员也无法掌握所有设备的结构及所有的故障解决方案，甚至需要设备厂家技术人员到现场配合进行故障诊断与处理，但是受煤矿开采设备维修环境恶劣等因素的影响，专家到现场进行故障诊断和维修指导非常困难，造成设备的故障诊断耗时长，故障恢复效率比较低。针对矿井巡视存在的问题，本文采用增强现实（AR）技术、移动互联技术，结合设备运行信息和典型故障处理的经验，形成了一种智能巡检远程协助系统（以下简称巡检系统），能够解决知识共享、故障分析和定位、故障处理和监控等方面的问题，并能有效地运用技术人员在实际工作中所获得的大量知识和技术支持。通过采用本论文所述的远程辅助设备，可以极大地缩短作业的工作量和耗时，提高作业的效能。1智能巡检远程协助系统的构成基于AR技术的智能巡检远程协助系统的总体框架如图1所示。巡检系统主要由AR终端、通信网络和中控平台、专家系统等组成，其中AR终端通过通信网络与中控平台进行数据传输，中控平台至少包括记录系*煤炭科学技术研究院有限公司科技发展基金（2021CX-II-25）基于 AR 技术的远程巡检应用*戴万波1，2，3（1.煤炭科学技术研究院有限公司，北京100013；2.煤矿应急避险技术装备工程研究中心，北京100013；3.北京市煤矿安全工程技术研究中心，北京100013）摘要：针对矿山现场巡检环境复杂、作业人员经验不足、现场故障处理效率低等问题，提出基于增强现实（AR）技术、移动互联网技术和专家知识库的智能巡检远程协助系统。以AR头戴设备作为现场信息采集端，通过移动网络进行双向数据传偷，结合专家知识库和设备运行信息库，专家可远程协助现场进行设备问题定位分析及远程监督，从而有效提升巡检作业效率。关键词：AR技术；专家知识库；智能巡检；远程协助中图分类号：TP277文献标志码：B文章编号：1003 0794（2023）05 0190 04Application of Remote Inspection Based on AR Vision TechnologyDai Wanbo1，2，3(1.China Coal Research Institute,Beijing,100013，China；2.Coal Mine Emergency Avoidance Technology and EquipmentEngineering Research Center,Beijing 100013，China；3.Beijing Coal Mine Safety Engineering Technology ResearchCenter,Beijing 100013，China)Abstract:Aiming at the problems of complex inspection environment,inexperienced operators and lowefficiency of on-site fault handling in mines,an intelligent inspection remote assistance system basedonaugmentedreality（AR）technology,mobileInternettechnologyandexpertknowledgebasewasproposed.The AR headwear device was used as the on-site information collection terminal and carried out two-way data transmission through the mobile network.Combined with the expert knowledge base and theequipment operation information base,experts can remotely assist the on-site equipment problemlocation analysis and remote supervision,thus effectively improving the efficiency of patrol inspection.Key words:AR technology；expert knowledge base；intelligent patrol inspection；remote assistance190第44卷第5期Vol.44 No.5基于AR技术的远程巡检应用戴万波统、诊断系统、报告生成系统和显示系统。AR终端将巡检记录信息通过通信网络上传至记录系统形成巡检记录；诊断系统调取记录系统中的巡检记录进行诊断，并生成系统巡检报告；显示系统用于显示诊断过程中调取的巡检记录和报告生成系统中的可编辑界面。图1智能巡检远程协助系统总体框架（1）AR终端AR是通过计算机技术来产生真实的视觉、听觉和力量，在触摸和移动等感官上，使用者可以沉浸于多种感知装置之中，是一项崭新的人机互动技术，可以将虚拟和真实的画面相结合，从而创造出一个崭新的虚拟世界。AR技术的优势在于将虚拟物体与现实场景相融合，能够让使用者在现实生活中体验到所仿真的物体，从而提高交互能力。一个完整的AR系统包括计算机系统、视频输入转换系统、人机交互系统、动作捕获跟踪系统、视频显示系统、语音识别、图像处理。AR系统的工作原理如图2所示。图2AR系统的工作原理AR系统配备OLED双眼1024768高透光眼镜和1 300万像素的光学防抖相机，支持Android APP的正常操作，支持语音识别和手势控制按键，支持WiFi、蓝牙、4G无线上网和8 h的使用时间。巡检系统采用AR终端作为一个现场的工作平台，可以在现场进行巡视或按要求进 行 远 程 辅助和交互，并能与远程专家进行交流。AR终端可录入多种原始信息，使巡检记录信息种类多元化，形成的巡检记录更全面；诊断系统将采集的原始信息和基于矿用设备运维场景需要的作业辅助信息叠加；现场人员通过显示系统可直接基于原始信息得到对应的可视化作业辅助信息，从而提高机电设备故障诊断效率；现场人员还可根据实际需求自由切换，提高巡检系统的适用性。（2）中控平台中控平台将AR终端实时的巡检记录信息传输至专家指导平台及AI诊断系统，远程专家或AI诊断模块可根据巡检的原始信息提供作业指导信息，以指导、辅助现场人员判断设备故障和检修设备。为保证AR终端与中控平台间传输的音、视频的清晰度和标注的同步性，采用分布式通信终端。AR终端具有多种与通信网络连接的方式，使AR终端可根据当时网络环境就近接入，提高AR终端在弱网络环境下的远程通信和标注的流畅度及同步性，且在AR终端与通信网络连接传输数据过程中，可配合回声消除、抖动缓冲等技术对数据通信过程中的数据包延迟进行缓冲控制，同时保障通信质量。中控平台还包括为巡检记录信息提供处理指导方案的专家系统，而专家系统包括专家指导平台和AI诊断系统，专家指导平台和AI诊断系统通过作业辅助信息系统连接AR终端并将作业指导信息通过AR终端显示。AR终端上传的巡检记录还包括作业指导信息，记录系统设置独立数据库记录作业指导信息，信息叠加系统由于叠加作业指导信息，选择系统用于切换作业指导信息。远程专家或诊断AI可根据巡检的原始信息提供作业指导信息，以指导、辅助现场人员判断煤矿问题和检修设备，弥补了预设设备/设施信息和标准解决方案无法全面应对不同故障问题的不足；同时，记录系统记录作业指导信息，并记录协作诊断全过程；管理员可查看、调取作业指导信息，回溯协作诊断过程，并进行分析、管理；在后续巡检中，作业指导信息可作为作业辅助信息辅助现场人员诊断，有利于AI诊断系统对煤矿问题、故障诊断的知识学习，使之可诊断更多问题，减少任务时间和错误率。（3）作业辅助信息系统作业辅助信息系统通过无线网络将作业辅助信息传输至AR终端；AR终端上传的巡检记录至少包通信网络专家系统知识库作业辅助信息系统记录系统诊断系统报告生成系统显示系统中控平台协作系统AR终端AR终端AR终端真实世界增强现实终端人体语言图像采集人机交互3D交互渲染引擎输入3D环境学习计算机图形学计算机视觉显示输出全息显示3D立体光场显示输出虚实交互191括图像或视频或音频中的一种或多种原始信息，以及针对巡检记录的作业辅助信息；记录系统设置独立数据库分别记录原始信息和作业辅助信息；诊断系统调取记录系统中的原始信息和作业辅助信息，并同时通过显示系统显示原始信息叠加作业辅助信息的复合图像，以及切换原始信息和作业辅助信息并通过显示系统显示原始信息或作业辅助信息的单一图像。（4）专家系统各位专家可以利用专家系统和相应的PC或手机终端实现对现场工作的遥控指挥，其中包含了AR终端反馈的故障位置和故障位置的解析，以及向AR终端传输的处理意见。2远程巡检流程远程巡检作业流程如图3所示。图3远程巡检作业流程（1）建立新的巡检工作任务，填写任务名称、完成时间、责任人等，并说明巡检地点、巡检的装备、工作程序和工作内容；（2）由主管批准的工作分配到负责人员去完成，工作开始进行；（3）任务负责人员通过AR终端接受要完成的工作，按照工作程序完成工作，判断其中的工作项目是否满足需求，对现场的问题进行解决；（4）在操作中遇到难题时，可以向专业人员请求远程问题解决方案；（5）当全部工作项目结束时，将工作的成果提交，并将全部工作做好。3巡检系统应用情况AR终端可录入多种原始信息，使巡检记录信息种类多元化，形成的巡检记录更全面。诊断系统的信息叠加系统将采集的原始信息和基于矿用设备运维场景需要的作业辅助信息进行叠加；现场人员将显示系统可直接基于原始信息得到对应的可视化作业辅助信息，从而提高煤矿问题诊断效率；诊断系统的选择系统可使显示系统单一显示原始信息或作业辅助信息，现场人员可根据实际使用需要进行切换，提高了巡检系统可扩展性和矿用场景适用性。巡检系统的主要界面如图4图7所示。图4智能巡检界面图5检修注意事项界面图6维修工艺流程界面图7失爆标准说明界面4结语本文介绍了AR技术在远程监控中的实现，并对其网络组成和在日常巡视中的具体应用进行了论述。智能巡检远程协助系统运用专家知识库、运行信息库以及专家本身丰富的专业知识，为现场工作人员实时地提出了问题的处理思路和方法，并对整个生产过程进行监控。采用AR技术、视频和语音通信技术以及图象加工技术，实现了远程实时监控。第44卷第5期Vol.44 No.5基于AR技术的远程巡检应用戴万波开始新建任务任务审批下载任务执行任务提交结果发起远程协助请求发送信息巡检作业管理端现场作业巡检任务流程巡检作业管理端开始接收建议发起监视请求结束协助请求接收请求接收信息专家库分析发送建议 启动实施监控发送监控数据专家远程协助192第44卷第5期Vol.44 No.5基于AR技术的远程巡检应用戴万波（1）可视化AR系统可以把专家指令信