基于虚拟现实的移动机器人真实环境三维建模系统_郭中远.pdf

0233001-1第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展研究论文基于虚拟现实的移动机器人真实环境三维建模系统郭中远1，2，徐锋1，2*，王贵洋1，余东应1，2，崔云轩1，21西南科技大学信息工程学院，四川 绵阳 621010；2特殊环境机器人技术四川省重点实验室，四川 绵阳 621010摘要 传统的虚拟现实（VR）技术通过人为建模的方式生成室内三维地图模型，存在速度慢、模型与现实物体尺度之间存在偏差的问题。鉴于此，提出基于 VR 的移动机器人的真实环境三维建模系统。首先通过视觉同时定位与建图（SLAM）技术快速地获取室内的高精度稠密三维点云地图；其次将三维点云通过曲面重建算法重建为室内三维模型并导入到 unity 3D 中；然后借助 VR 设备将室内三维模型置于三维立体的虚拟环境中；最后通过视觉 SLAM 技术实现移动机器人在室内环境的重定位，实时映射机器人在模型中的位姿，完成交互。利用视觉 SLAM 技术构建三维地图模型不仅快速，解决了场景尺度偏差的问题，且实现地图的重复使用。同时 VR技术也使操作人员可以获得强烈的沉浸感，从而更好地理解机器人的工作环境。关键词 视觉同时定位与建图；虚拟现实；三维建模；室内建模中图分类号 TP391 文献标志码 A DOI：10.3788/LOP2125533D Modeling System of Mobile Robot Based on Virtual Reality in Real EnvironmentGuo Zhongyuan1,2,Xu Feng1,2*,Wang Guiyang1,Yu Dongying1,2,Cui Yunxuan1,21School of Information Engineering,Southwest University of Science and Technology,Mianyang 621010,Sichuan,China;2Sichuan Key Laboratory of Robot Technology Used for Special Environment,Mianyang 621010,Sichuan,ChinaAbstract Traditional virtual reality(VR)technology generates indoor three-dimensional(3D)map models using artificial modeling,which has the challenges of slow speed and deviation between the model and real object scale.Therefore,this study proposes a real environment 3D modeling system for mobile robots based on VR.First,the indoor high-precision dense 3D point cloud map can be rapidly obtained by using visual simultaneous localization and mapping(SLAM)technology.Second,the 3D point cloud can be reconstructed into the indoor 3D model through the surface reconstruction algorithm and imported into unity 3D.Next,the indoor 3D model is placed in the 3D virtual environment with the VR equipments aid.Finally,the relocation of the mobile robot to the indoor environment is achieved by visual SLAM technology,and the pose of the robot in the model is mapped in real time to complete the interaction.Using visual SLAM technology to build the 3D map model is quick,solves the problem of scene scale deviation,and attains the reuse of map.Simultaneously,VR technology also allows operators to obtain a strong sense of immersion to better understand the working environment of the robot.Key words visual simultaneous localization and mapping;virtual reality;3D modeling;indoor modeling1引言虚拟现实（VR）1通过计算机模拟虚拟环境，从而给人以沉浸感，在煤矿、安防等高风险领域都发挥着很大的作用。虚拟三维场景重建作为虚拟现实中的关键技术，可以对实际物体建立合适的数学模型，以便机器人更好地分析和处理环境中的作业。对于虚拟三维场景的构建，常常通过建模软件完成，其中 3DS MAX 作为一个通用性软件得到广泛的应用，但其建模效率低且对建模工程师要求很高，特别对于实时渲染的 VR收稿日期：2021-09-17；修回日期：2021-10-23；录用日期：2021-11-08；网络首发日期：2021-11-18基金项目：国家自然科学基金青年科学基金（61701421，61601381）、龙山人才计划青年学者项目（181zx636）通信作者：*0233001-2研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展场景建模要求更高。相对而言，三维激光扫描建模技术2具有速度快、精度高、成本低、不接触等众多优点，但数据量特别巨大，很难在 VR 系统中运行起来，而且对场景的扫描建模一般都需要和全站仪之类的测绘设备配合使用，对操作人员要求高。同时定位与建图（SLAM）技术3指一种搭载特定传感器的主体，在没有环境先验信息的情况下，于运动过程中建立环境模型，同时估计自己的运动，实现自主定位和导航的技术。通过 SLAM 算法构建真实环境的虚拟三维场景地图的方式可以更高效。SLAM 现在主流的两种方法是基于激光雷达的技术4-5和基于视觉传感器的技术6-8。其中激光雷达不受光照的影响，Xiao 等9利用 LOAM 算法10实时构建点云地图作为虚拟现实场景中的三维地图，其中每个点颜色表示其高度，但却缺失了地图原有的颜色和纹理信息，点云地图的表示形式也使结构细节模糊或缺失。视觉传感器具有体积小、使用便捷等优点，并且图像中存储了丰富的纹理和色彩信息，因此视觉 SLAM 可以解决激光SLAM 缺乏纹理的问题。目前的视觉 SLAM 系统的框架比较成熟，其中 ORB-SLAM211是第一个用于单目、双目和 RGB-D 的开源 SLAM 系统，具有闭环、重定位和地图重用模块，但仅仅采用一个相机传感器，导致系统鲁棒性较差。而 VINS-Mono12是单目视觉惯性系统13的实时 SLAM 框架，是一种对视觉和 IMU 信息进行紧耦合的基于优化的 VIO 方法，再结合闭环检测和图优化，构成了一个完整的单目视觉 SLAM 方法。该方法有效解决单目上尺度不确定性的问题，但构建出的只是稀疏的三维地图。Voxgraph14基于符号距离函数的大规模三维重建方法，使用子地图来降低存储和优化的代价，系统假设可以实时获得重力方向来降低位姿估计问题的维度，从而构建出稠密的三维地图。针对以上真实环境三维建模存在低效率及模型缺乏纹理结构信息等问题，本文将视觉 SLAM 技术和VR 技术相结合，提出了基于 VR 的移动机器人的真实环境三维建模系统。对室内场景进行图像采集，处理生成稠密三维点云地图，再将点云地图通过曲面重建算法重建生成三维模型和贴图，并导入虚拟现实设备中进行可视化，实现对室内三维场景的全方位浏览，更快速地为用户提供有效的三维信息。经过实验验证，所提系统有效解决之前人工建模效率低下和激光SLAM 建图缺乏纹理和结构信息等问题。最后验证了重定位模块的有效性，在真实环境没有较大变动时，实现地图模型的可重复使用，从而使人机交互更加高效。2系统框架基于 VR 的移动机器人的真实环境快速三维建模系统由机器人端和虚拟现实端两个模块组成，系统框架如图 1 所示。如图 1 中 Robot 端所示，机器人利用RGBD 相机和 IMU 采集相应的数据，通过视觉里程计前端估计机器人位姿，Voxgraph算法作为后端优化位姿和构建全局地图，地图以三维点云的形式表示，三维点云地图经过表面重建生成三维模型地图，然后发送到 VR 端。如图 1中 VR 端所示，操作人员根据实时视频流和三维模型地图中机器人位姿做出决策，及时规划路径并通过 VR 手柄发出命令，控制机器人运动，同时机器人位姿可以通过重定位实时更新并映射在三维VSLAModometryrobot pose senderrobot pose receiverrobot pose updaterRGB and IMU datapoint cloud maprobot poserobot poseWireless Network CommunicationRobotVR command generator command sender command receivercommandcommandVoxgraph mapper3D model mapRGBD and IMU data map sender map receiver map rendercommand parser图 1所提系统的框架Fig.1Framework of proposed system0233001-3研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展模型地图中可视化。2.1点云地图与重定位通过 VR 手柄控制机器人，完成数据的采集，然后通过视觉 SLAM 算法生成稠密三维点云场景地图。视觉 SLAM 算法框图如图 2所示，采用 Voxgraph作为算法的主框架，整个算法由前端和后端两个模块构成。在前端中，采用 VINS-Mono作为视觉-惯导里程计，初步估计位姿生成子点云地图，并完成后端所需三个约束的计算。在后端中，利用三种约束（配准约束、里程计约束和回环约束）构造最小二乘，完成对位姿图的优化。arg min(i，j)Rei，jreg(TWSi，TWSj)2r+(i，j)Oei，jodom(TWSi，TWSj)2O+(i，j)Lei，jloop(TWSi，TWSj)2L，（1）式中：=TWS1，TWS2，TWSN为里程计初始估计的位姿，TWSi R4；R、O、L分别是配准约束、里程计约束、回环约束中位姿的索引集合。在此基础上，加入了重定位模块，当机器人再次进入环境时，使当前滑动窗口帧与过去的位姿图对齐，判断当前图像中的特征点与位姿图中特征点的相似度是否大于设定的阈值，如果超过了阈值，即判断重定位成功，并通过逆深度求解相机在地图中的位姿实现重定位。将重定位成功的位姿传到 VR 端，即可以在模型中显示机器人对应的空间坐标。2.2生成模型地图为了实现对真实场景的三维建模，需要再经过曲面重建算法对稠密三维点云进行处理，得到精细化三维场景模型和与之对应的纹理贴图。本文中曲面重建算法是基于Possion重建15进行改进的，基本步骤如下。1）首先通过统计滤波器进行去噪16和利用