基于混合现实的自行火炮维修指导系统_朱金达.pdf

第 44 卷第 4 期兵 器 装 备 工 程 学 报2023 年 4月收稿日期:2022 08 12;修回日期:2022 09 05基金项目:河北省重点研发计划项目(21351801D)作者简介:朱金达(1980)，男，博士，副教授，E-mail:zhu_jinda163 com。doi:1011809/bqzbgcxb202304008基于混合现实的自行火炮维修指导系统朱金达，赵永衡(河北科技大学 机械工程学院，石家庄050018)摘要:针对自行火炮现场维修过程中存在的维修知识获取不直观、维修操作不当易造成二次损伤、专家亲临指导不及时等难题，设计了一种基于混合现实技术的自行火炮维修指导系统。分析建立了系统实现的整体框架、运行机制，研究了虚实坐标同一化表达、三维注册融合、环境感知运动追踪和虚实遮挡处理等关键技术，实现了虚实维修空间的几何一致性。最后通过设计搭建的自行火炮混合现实辅助维修指导系统，结合传动装置齿轮箱故障维修实例验证了系统空间锚定、辅助维修、远程指导等关键功能技术可行性，实现了现场维修的实时指导，提升了维修效率。关键词:维修指导;自行火炮;混合现实;Hololens2;空间锚点本文引用格式:朱金达，赵永衡 基于混合现实的自行火炮维修指导系统J 兵器装备工程学报，2023，44(4):45 52Citation format:ZHU Jinda，ZHAO Yongheng Mixed reality-based self-propelled artillery repair guidance system J Jour-nal of Ordnance Equipment Engineering，2023，44(4):45 52中图分类号:TP391 9文献标识码:A文章编号:2096 2304(2023)04 0045 08Mixed reality-based self-propelled artilleryrepair guidance systemZHU Jinda，ZHAO Yongheng(School of Mechanical Engineering，Hebei University of Science and Technology，Shijiazhuang 050018，China)Abstract:Aiming at the problems in the process of on-site maintenance of self-propelled artillery such asnon-intuitive acquisition of maintenance knowledge，improper maintenance operations that may easily causesecondary damage and untimely guidance of experts in person，this paper designs self-propelled artillerymaintenance guidance system based on mixed reality technology The overall framework and operationmechanism of the system are analyzed and established，and key technologies such as the unified expressionof virtual and real coordinates，3D registration fusion，environment-aware motion tracking as well as virtualand real occlusion processing are studied The geometric consistency of virtual and real maintenance spaceis also realized Finally，through the mixed reality auxiliary maintenance guidance system of the self-propelled artillery designed in this paper，the technical feasibility of key functions such as system spaceanchoring，auxiliary maintenance and remote guidance is verified by combining transmission gear box faultmaintenance examples，which realizes real-time guidance of on-site maintenance and improves maintenanceefficiencyKey words:maintenance guidance;self-propelled artillery;mixed reality;Hololens2;spatial anchorpoints0引言武器装备的维修保障是其发挥整体效能的基础和战争胜败的关键。自行火炮是自行机动能力和独立作战能力相结合的武器系统，具有机动性强、射程远、火力猛等优点，是陆军作战的重要组成部分。随着其结构复杂度、关联性和使用技术的不断提高，维修保障困难也在逐步加大，传统自行火炮维修多依赖维修人员经验、技术手册和专家现场指导，存在缺乏直观形象的辅助手段、专业指导不及时等问题，特别是一旦某些关键设备出现故障，专业知识储备不足的维修人员不能立刻有效处理，专家指导又因时间、空间、交互限制导致交流沟通成本高效率低，难以满足设备维修的实时性指导要求。混合现实(mixed reality，M)技术是 V/A 技术的进一步发展，具有虚实融合、实时交互、真实沉浸等特点，可融合现实世界与虚拟世界而产生新的可视化环境，通过手势、语音、视觉等方式实现物理和数字对象的共存互动1。混合现实装备维修具有不受时空限制、低风险、高效率、远程指导实时性强等优势，已成为军事装备保障和复杂机电设备维修领域的研究热点2 6。Karczmarz 等7 设计了一套基于 M 的防空导弹程序诊断模拟器及虚拟指控台，实现通过“Opticalsee-through HMD”头戴显示器以文本、活动箭头、3D 模型、动画序列和多媒体的形式显示在实际图像上，显著减少了操作时间、降低了培训成本。Henderson 等8 开发了一套支持美国海军陆战队(USMC)维修人员在 LAV-25A1 装甲运兵车炮塔内操作的M 维修原型系统，实现了野外条件下在装甲运兵车炮塔狭窄内部进行包括安装和拆卸紧固件、指示灯、连接电缆等操作手册中 18 项具有代表性的维修任务，对维修人员完成装甲运兵车相应现实而富有挑战性的维修任务提供了有效的帮助。Vorraber 等9 使用 Hololens 进行远程辅助维修，对汽车维护行业进行了探索创新，并对其维护过程做出测试评估，验证了通过 Hololens 进行远程辅助维修可很大程度上提高远程维护任务的效率，解决了经验不足的工作人员无法正常进行复杂或困难任务的难题。张旭辉等10 研发了基于M 技术的故障辅助维修指导系统，实现对矿用设备的维修实时指导，实现了维修设备信息化管理，确保维修流程规范化，可有效提高维修效率和维修人员的技术水平。本研究利用混合现实的优势，结合现有自行火炮维修方式和流程，设计了基于混合现实技术的自行火炮维修指导系统。该系统以 Unity3D 平台为开发工具，通过混合现实设备Hololens2 以全息交互的方式实现维修知识展示和远程专家指导，可有效解决自行火炮维修人员维修知识储备不足、新手维修人员错误率高、专家指导周期长等难题，提高维修工作效率。1系统总体设计1 1系统总体架构基于 M 的自行火炮维修指导系统架构如图 1 所示。包括数据支撑层、关键技术层、Hololens 虚实融合应用层。数据支撑层:主要包括三维数字化模型、各零部件表面纹理贴图和维修指导方案信息等底层基本数据。根据自行火炮维修技术手册、机械图纸等相关资料，使用 CAD 制图软件 Solidworks 完成自行火炮各零部件的制作与装配，借助Cinema4D 软件进行三维数字化维修指导模型动作片段的制作，运用 Photoshop 软件制作自行火炮各零部件表面纹理贴图，然后将这些三维数字化模型、指导动作片段、材质贴图等导入混合现实开发软件 Unity3D 中，以 C#控制脚本实现 UI交互面板和维修指导流程的逻辑控制，采用模块化思路完成常见不同故障类型维修指导片段的开发。将不同的维修指导方案片段及其相关信息存储在 MySQL 数据库，待接收到相关指令后进行调用。关键技术层:主要包括虚实坐标同一化表达技术、三维注册融合技术、环境感知运动追踪技术和虚实遮挡处理技术。虚实坐标同一化表达技术主要用于实现虚实物体不同坐标系的坐标变换，得到维修空间内虚拟物体坐标系和真实世界物体坐标系在像素坐标系中的同一表达。三维注册融合技术以虚实坐标同一化表达技术为基础，主要用于实现虚拟维修指导信息与真实维修空间的注册融合。环境感知运动追踪技术主要用于实现对维修场景及维修操作过程的空间特征点进行识别与跟踪，保障人机虚实自然交互。虚实遮挡处理技术则是对最终呈现效果的保障，主要用于实现将虚实融合后的场景具有空间深度的接近真实物理定律表达，改善用户感官体验。Hololens 虚实融合应用层:主要实现系统应用程序发布后的虚实融合，将自行火炮相关故障维修工艺的虚拟维修指导面板、三维数字化维修操作演示和空间语音文字提示等虚拟信息与真实维修场景内的设备相关信息进行虚实信息融合，并可通过创建空间锚点、分享空间锚点、获取空间锚点等相关操作，实现虚拟对象在维修人员意愿维修指导位置的锚定及不同设备之间的位置共享，以满足不同维修情况的需求。1 2系统运行机制基于 M 的自行火炮维修指导系统以自行火炮维修指导手册为基础，将 M 技术的虚实注册融合、运动跟踪、虚实交互等技术用于自行火炮维修指导中，主要由故障诊断模块、三维维修指导书模块、维修作业场景管理模块、维修指导操作模块、M 显示模块、M 解算模块以及各种通信接口组成，系统运行机制如图 2 所示。故障诊断模块负责诊断设备可能出现的具体故障，分析故障类别，形成故障 ID 识别号，与维修指导解决方案进行匹配，包括故障信号采集、诊断分析、故障类别判断、类别传输64兵 器 装 备 工 程 学 报http:/bzxb cqut edu cn/等。在设备周边布置相应传感器进行故障信号采集，并运行神经网络、深度学习等算法对故障信号进行识别和分类，例如运用卷积神经网络提取获得的信号数据特征，对其进行归一化处理以消除由于数量维度不同导致的误差，运用 BP 神经网络进行故障分类以实现故障准确定位，再通过网络数据端口将诊断结果传送到场景管理模块进行与故障维修数据库内所需维修指导片段匹配。三维维修指导书模块为系统提供自行火炮各种故障的维修指导信息，这些信息由空间化文本、图片、视频、三维数字化演示模型等提示信息组成。维修作业场景管理模块是系统的核心，通过通信接口实现系统各模块信息流的调用与传输管理，主要包括 M 信息解析、维修片段匹配管理、三维数字化模型虚拟维修状态更新以及维修流程逻辑控制等运行管理。维修指导操作模块主要运用虚实交互、语音识别、手部射线跟踪等技术，根据维修指导操作过程中维修人员自然交互操作得到正确的系统指导信息反馈。M 显示模块通过混合现实硬件显示设备 Holo-lens2 眼镜将虚拟全息图和现实维修场景进行混合显示，也可实现将专家远程指导以全息的形式展现给维修人员，同时进行空间环境感知和维修人员维修及交互操作的运动跟踪。M 解算模块主要完成将 H