基于元宇宙概念的数字孪生和AR技术实践探析_林财.pdf

栏目主持：周丹雅 E-mail：372022.11 文/林财佳都科技集团股份有限公司基于元宇宙概念的 数字孪生和 AR 技术实践探析一、元宇宙相关技术分析元宇宙是指由 AR、VR、三维实景、数字孪生等技术支持下的虚拟网络数字生活空间，具有虚实相容的空间形态，支持不同个体在虚拟空间进行真实数据内容的编辑。元宇宙包含 5G、人工智能、大数据、数字孪生、VR、AR 等多个核心技术。大数据、人工智能作为元宇宙的数字基础，提供真实世界向虚拟空间映射的核心社会活动数据，支撑元宇宙的真实性；5G 等网络技术是元宇宙与真实世界连接的网络基础，通过高速的网络传输来实现虚拟世界与真实世界的同一时间内的数据同步；数字孪生、VR、AR 技术本质上提供了元宇宙虚拟空间的沉浸式体验，支撑元宇宙的感官体验。通过元宇宙虚拟空间的映射，元宇宙可以改变和重构人们的工作方式，大量的生活、工作或可在虚拟空间进行重构。本文通过探析元宇宙概念下的数字孪生和AR技术在应急管理场景中的实践效果，有望探索出城市应急管理的新模式。二、应急管理场景的业务需求分析 应急管理涵盖自然灾害、森林防火、安全生产、应急指挥、应急救援等防灾、抗灾、救灾各项业务。随着应急管理信息化的不断建设，传统的安全生产监管、应急处置、指挥救援系统已无法满足平时的日常监管以及战时的事故灾难快速处置。一是对日常监管的重点危化品企业缺少三维实景复刻。日常检查巡检手段落后，缺少危险区域人员位置信息，导致发生突发事件的时候对事故现场基础信息缺失，没有有效的三维实景地图指导应急救援，只能临时进行无人机三维倾斜摄影建模，无法解决室内三维实景信息采集；二是在战时现场指挥部无法快速针对灾害建立基于元宇宙数字孪生技术的可测量、可分析、可感知的实景融合平台。传统的无人机视频画面无法全面展示灾害现场全貌，无法对此生灾害进行图上分析，对于人员救援疏散、避免次生灾害影响方面收效甚微，制约了应急处置的及时性及精准性；三是当前视频图像构建应急指挥场景上存在不足。一方面，传统的视频监控建设大多采用在路面安装枪机及球机，传回给指挥中心的是一个个分散的镜头，主要侧重于局部细节的抓拍记录，对于整体空间场景的采集缺失，导致指挥实战时对宏观态势的把控能力不足；另一方面，现有的视频监控交互能力差，只能提供单一、高清的视频图像，视频中无法呈现空间场景信息。其无法为警务实战提供直观的场景支撑，导致视频无法被人快速的认知，无法快速的实现事件的处置管理，无法高效的支撑应急指挥实战。当前，在视频共享平台及视频联网平台都汇聚了海量的视频图像，但是在视频运用时存在“雾里看花”的问题。一是我们无法感知摄像机位置、姿态、可视域，导致我们知道摄像机的存在，但rontier technology 前沿技术38F2022.11不知道摄像机详细的感知范围，无法实现视频的精准调度及快速布防；二是视频的运用是单点的、被动的，多源视频之间智能化的群防联动手段不足。通过智能识别，多摄像头之间的协同效应没有得到进一步的挖掘。视频图像没有找到更好的支点撬动视频巡逻、应急指挥等警务工作的提效升级，无法支撑我们“快、准、狠”的从视频中发现问题、处置问题，从而支撑应急指挥业务的高效开展。三、重点区域实景复刻及 AR 穿戴设备实践1.重点区域实景复刻的应用。利用全景影像、激光点云技术建立危化品企业、灾害隐患点的 360度实景可视化地图，通过数字孪生系统构建重点区域三维实景立体化监测及巡查巡检系统，将线下监测巡查改为三维场景漫游巡查，整合视频空间数据，建立危险化学品企业的三维视频地图，实现空中企业全景鸟瞰及企业 AR 视频标签标注，提高直观临场感。结合视频标签能力，对安全风险点进行标签标注，并关联相关的风险信息和处置信息。利用视频巡检及移动巡检的方式，制定图上巡检点及巡检路线，通过巡检标签记录，实现自动视频巡检和巡检数据的统计分析。系统采用动态全景影像、激光点云与全景影像融合处理技术实现动态全景漫游，既能充分体现虚拟技术的沉浸性和交互性，又能使用户达到身临其境感受。依据系统标识点击进入到实景窗口，将实景向虚拟空间移植并再现，同时使用户能够在这个虚拟空间中进行互动操作，三维场景漫游巡查可分为自由漫游、路径漫游等方式，能实现场景的 360 度旋转、平移，视距远近调整，重点部位的高低调整以及场景缩放等，用户可直接使用相应的操作键，完成 3D 场景的漫游巡查工作。另外，通过停放、点击标志点，读取相应数据库并显示相关信息，包括企业基本信息、危化品重大危险源动态数据信息、人员信息等。2.AR 穿戴设备的应用。AR 可穿戴设备是指将 AR 技术叠加到智能眼镜、头盔等穿戴设备，从而实现增强现实功能，支持多类型数据的叠加。在安全生产场景下通过视频直播和 AR 叠加来寻求重大机械装置的维修检查及远程专家指导的场景，前端用户可将操作过程、巡检过程、维修过程等通过网络传递给远端，远端的专家则能够实时观看前端用户的第一视角画面；双方可通过把双向文字、双向语音、双向视频、双向图片、截图、同屏、标记、电子白板、视频等操作进行 AR 叠加的方式进行交流。对危化品及危化设备进行操作时，工程师需双手操作，无法翻阅工序手册、维修手册，也无法做到步步留证据，无法确保每一步都符合规范，安全隐患无法消除，中断操作查阅后再继续影响效率，多人多岗的情况，人力不可控因素多；利用 AR 智能眼镜，可解放双手解放繁琐记忆，图文视频构成的操作手册直接呈现在眼前，一步一步跟随操作即可每做完一步自动拍照留证据，步步可追溯，工程师跟随提示步进操作，杜绝担心缺项漏项，保证安全及进度。在维修巡检过程中还可以提供操作人员的位置信息，在系统地图上可查看所有佩戴AR 智能眼镜在线工程师的三维位置、运动轨迹、报警区域，以确保安全规范的生产和操作。根据他们的位置情况，自动派发对应设备的标准作业流程，在眼镜端实时叠加现实场景。前线工人可以通过智能眼镜获得 AR 位置信息、AR 导航指引、AR 作业工作流程。栏目主持：周丹雅 E-mail：392022.11四、基于元宇宙 AR 技术的三维实景指挥融合平台在应急指挥场景中，传统的二维 GIS 地图虽已具备数据资源叠加能力，但由于缺乏高度信息和地图精度不足等原因，导致在实时位置和视角层面存在不足，不利于精准布控指挥。为满足应急指挥业务的实战要求，需以地理信息模型为数据底座，建立基于AR 技术的三维实景指挥融合平台，同时满足应急指挥场景的“远看”“近看”“细看”的需求。针对应急场景重点关注区域及其地理特征进行无人机航拍倾斜摄影建模，对指挥关注场景进行三维重建，构建远看三维实景一张图，将指挥所需资源要素进行叠加。同时以指挥场景内的高点视频为数据底座，利用 AR智能标签叠加，构建视频实景一张图，让视频具备“说话”的能力。针对室内场景可通过激光点云或全景重建技术，构建室内场景的一张图，从而实现“视频场景、数据场景、地图场景”三景合一建设。基于构建“远看”“近看”“细看”场景的前提下，不同场景需自动匹配该场景下的重点关注资源，并实现三个场景的按需切换应用。从而实现区域范围内所有应急指挥资源的可视化管理、动静态数据的高度融合、重点部位监控资源的实时融合拼接反馈、异常事件预警位置的准确感知，协助用户从多维视角对其区域范围全局的“人、车、物、事、地”全息态势进行掌控，将应急指挥所需关注的资源数据进行“一张图”呈现，并结合当前指挥场景下多种地图、视频图像切换使之具备第一人称视角、第三人称视角等多视角转换能力，实现全域覆盖目标区域的室内外场景，形成全局到微观的指挥能力，平台可实现 AR 视频能力，AR 视频能力基于标签定位算法实现 AR 地图功能，标签定位算法采用的是视频像素与地理坐标转换技术，通过建立视频图像像素坐标和地理坐标互动转换的数学模型，使原本单一的视频图像加上了一层隐形的、可计算的空间“轴线”，从而实现视频像素与地理坐标的自动转换，并且能够根据摄像机姿态、可视域及角度的变换自动更新，达到在时间维度及空间维度下，摄像机在任意状态下的视频画面上具备真实的经纬度信息，使得我们能够在空间维度对每一帧视频图像进行更深入的认知。同时，为满足多视角转换、室内外一体化联动等指挥能力的构建，AR 技术的三维实景指挥融合平台具备多种地图的导入和加载能力，支持地图基本操作应用，支持对导入的多种地图场景进行配置管理以满足不同指挥场景下的实战底座需求，支持对关注的场景指挥要素资源以 POI 标签形式进行呈现、配置和调用，支持对 POI 标签图层控制应用，满足指挥要素资源的随心调用需求，真正将传统的应急指挥转变为无感指挥、透明指挥、实景指挥。五、结语未来，元宇宙在的各个行业发展中将成为非常重要的部分，随着元宇宙各项技术的发展及突破，数字孪生、AR 三维实景等技术将会大量应用于应急管理的各个方面。将来围绕应急突发事件的远程指挥调度、平台日常办公、领导汇报演示、移动端办公等通用场景，在界面交互层面通过构建 AR 三维实景指挥融合平台，开发并实现指挥业务多屏联动，指挥场景按需切换，一张图协同标会，位置信息协同共享，事件目标协同共享、指令信息协同共享等应用场景功能，加快应急管理数字化建设的步伐，元宇宙的技术发展将充分赋能智慧城市建设，并加快城市虚拟数字空间建设，使城市治理现代化进一步提升。