“看厦门”APP集成应用AR技术的探索实践.pdf

52影视制作音画制作Post Production“看厦门”APP集成应用AR技术 的探索实践文/厦门广播电视集团 徐力摘要：本文介绍了厦门广播电视集团在“看厦门”APP 中，运用 AR 技术展现厦门城市标志性景观、地标的美丽夜景，探索 AR 技术在广电融媒体平台的应用及未来商业前景。关键词：AR；客户端；媒体融合；城市景观秀增强现实(Augmente Reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。如今各类灯光秀已经逐渐成为重大节日、庆典的主要表现形式之一，许多城市每年都会用自己的标志性地标建筑上演绚丽的城市景观秀。近年来随着 AR 技术的发展，在灯光秀基础上演化出来的 AR 城市景观秀也逐步步入人们的眼帘。传统 LED 灯光秀依托 LED 发光设备等物料，有着定时、定点开启的限制，通常不具备长期开启的条件。而 AR 秀内容从云端下载到用户的手机等移动终端设备进行体验，不受时间限制，只要场景符合识别成功的基本要求，用户随时都能观看一场 AR 灯光秀。2022 年 9 月，在第二十二届中国国际投资贸易洽谈会（以下简称“98 投洽会”）期间，厦门广播电视集团探索运用 AR 技术，完成了“海上花园 元梦厦门AR 城市夜景秀”这一应用创新项目。音画制作Post Production53影视制作音画制作Post Production1.开发运用思路厦门是我国东南沿海著名的旅游城市，每年有许多来自海内外的游客到访，同时厦门也是中国最早的四大经济特区之一，“98 投洽会”已成为全球最具影响力的国际投资盛会之一，海内外宾客云集。为营造投洽会氛围，厦门广播电视集团精心挑选了白鹭洲女神像、会展广场、世茂双子塔、鹭江道等四个厦门地标作为“海上花园 元梦厦门”城市夜景 AR 秀的体验场景，在厦门广播电视集团旗下融媒体平台“看厦门”APP 中，结合融媒体 APP 与 AR 开发技术，让用户在景点现场通过手机识别场景，360 度体验虚实结合的城市景观秀，并可一键生成打卡照片分享社交网络。2.技术特点2.1 两大主要模块项目主要完成了 AR 场景开发、“看厦门”APP AR基座集成及体验接入等细项工作。2.2 双端协同定位在项目中采用客户端与云端的协同定位识别跟踪技术，整体应用中包含了云端服务及客户端服务。总体框架图如图 1 所示。2.3 云端服务特点云服务包含数据采集及配套处理、数据上传服务、多维数据融合服务、点云地图和网格地图建图服务、大空间地图管理服务、空间计算缓存服务、大空间定位服务、空间计算调度服务、空间计算加速服务等部分。本项目具有如下特点：（1）基于大空间定位技术，让虚拟内容显示在空间中正确位置。（2）客户端支持运动跟踪，保证虚拟内容在其位置上可以持续更新。（3）持续进行空间定位融合（相对于定位之后停止融合的方式），可以保证用户长时间移动体验 AR 时的精度保持一致。以上都由基于稀疏空间点云和稠密空间网格数据的云端服务进行支撑。2.3.1 数据采集地标性场景需要项目人员深入现场，利用 Go Pro Max 等全景相机进行场景拍摄，逐点采集数据，将原始空间素材数据整理上传云端后，再由系统进行点云地图和网格地图的构建，同时融合其它环境数据，提升系统的计算效率和效果。面对海量空间的识别和定位请求，系统将公有云资源、专属云资源、MEC 资源的各类资源进行汇集，统一管理和调度。图1 总体框架图54影视制作音画制作Post Production针对不同区域、不同用量实施全局调度和优化调度，实现每个空间点在速度和并发能力的统筹。针对不同的位置和空间特性，系统设计了独立的加速单元，针对性进行软件和硬件的深度优化，使得空间计算速度大幅加强，空间计算时间大幅减少。2.3.2 内容制作云端数据计算加工出场景地图后，通过 Unity 场景浏览工具将场景导入Unity后再对3Ds Max等建模工具制作的美术素材进行最终放置和交互调整，优化场景光照及粒子效果。2.3.3 测试调试内容制作完成后还需反复测试和调试，包括利用场景照片进行远程识别测试和现场测试。在现场测试中使用 Mega Toolbox 录制 eif 文件获得 frame 信息（包括图像、相机参数、跟踪状态等）后可远程模拟运动跟踪，调试制作效果，减少现场工作。2.3.4 客户端云端协同客户端通过预先埋点，将 AR 接口配置在“看厦门”APP 平台管理模块中。通过接口进入 AR 模块，对不同的手机系统、型号进行兼容性识别，引导用户手机客户端更新 AR 引擎和素材资源。手机客户端选择场景后，能即时访问云端服务，客户端 SDK 集成了适配不同系统手机的 AR 能力套件，如 iOS 上使用 ARKit、华为及部分安卓手机使用 AREngine、支持 Google ARCore 的手机使用 ARCore，在以上套件都不支持的手机上使用 Motion Tracker，按体验效果优先级按需调用。客户端调用手机摄像头对准实景，SDK 通过 AR 套件构建三维坐标系，将位置特征数据实时上传云端，云上服务器运算返回空间位置，再与本地 VIO(Visual-Inertial Odometry，视觉惯性里程计）进行合并运算，最终实现客户端对现实场景的实时跟踪，将本地素材与空间实景进行结合展示。3.应用情况“看厦门”APP 分别在安卓、iOS 移动客户端中完成 AR 基座能力的集成，并接入 AR 场景落地页，用户在现实体验环境中，可置身其中全方位观赏体验，达到了流畅、不卡顿的较佳体验效果。AR 场景落地页，如图 2 所示。3.1 白鹭洲女神像用户在实景中通过 APP 对白鹭洲女神像及周边环境进行扫描，识别出场景后即可在手机屏幕展现具有厦门特色和“98 投洽会”相关的动漫动画，例如围绕白鹭洲女神像而展开的绿色城市、翩翩起舞的白鹭和以深夜苍穹为背景的璀璨星空等，并赋予白鹭洲女神像灵动鲜活形象。效果图如图 3 所示。图2 AR场景落地页面55影视制作音画制作Post Production3.2 会展广场用户在会展广场前打开 APP，对会展中心及周边环境进行扫描，即可展现与建筑相互贴合的动漫元素与恢宏大气的虚实场景。效果图如图 4 所示。3.3 世茂双子塔AR 场景与临海景色相互融合，用户可以观赏流光溢彩的环岛路、点缀“98 投洽会”元素的双子塔以及千姿百态海洋生物欢快流动的场面。效果图如图 5 所示。3.4 鹭江道在与鼓浪屿一海相隔的鹭江道，面向鼓浪屿，通过 APP 即可观赏到壮观丰富的 AR 场景，虚幻的闽南大茶壶、帆船、鲸鱼、章鱼、钢琴、圆月与鼓浪屿八卦楼、郑成功雕像等著名景观完美结合，犹如观赏到的是海市蜃楼，产生无限美好遐想。用户还可点击互动按钮观看彩蛋动画。效果图如图 6 所示。“海上花园 元梦厦门”城市夜景 AR秀项目以高精度建模、虚实融合渲染、定位追踪、智能交互技术实现厘米级精度、毫秒级时延的增强现实体验，解决了复杂光照下，山、海、城的跨场景的多元空间联动。整场海陆大空间交互的 AR夜景秀，努力实现了全场景虚实融合的沉浸式体验，生动展现了厦门地标文化、绿色生态和现代都市形象。4.创新点4.1 现实与虚拟结合“海上花园 元梦厦门”城市夜景 AR秀通过与多个城市地标性建筑和环境进行串联和融合，实现了整体性和连贯性的城市夜景展示效果。串联起城市地标，并与城市夜景灯光秀相呼应，形成了完 图5 世茂双子塔AR效果图 图3 白鹭洲女神像AR效果图 图4 会展广场AR效果图56影视制作音画制作Post Production整的城市夜景展示体系，是国内首个全城 AR 夜景秀，为城市形象推广带来了一次生动的展现。4.2 运用端点与云的空间建模技术根据场景特点，综合采用了点云大空间建模技术与位置跟踪技术，提升了内容准确性和展示效果稳定性。项目通过点云大空间建模技术，采用激光扫描、摄像机拍摄和三维成像等方式，将多个体验点对应的三维场景转化为数字形式，并通过算法对数字化的场景进行分析和处理，最终得到高精度的点云模型。同时，通过 SLAM 跟踪技术实现了对地图中特定物体进行跟踪识别，并以此为基础将美术内容进行毫秒级别的贴合放置，让用户获得了更加真实、生动的夜景观赏体验。4.3 运用电子围栏与重力传感校正技术项目开发中采用了基于 LBS 的电子围栏以及重力传感校正、Google ARCore 引擎技术，解决了大型场景海平面识别精度和稳定性的问题。在鹭江道这样的大型场景中，通过 LBS 电子围栏技术，可以将用户当前位置和目标海平面区域进行关联，并自动调整 AR内容的叠加位置和角度，从而保证海平面识别的精确和 稳定。4.4 在既有APP上实现基座与功能的叠加开发“看厦门”APP 上融入 AR 基座与功能体验模块。一方面，通过动态配置等功能，可以实现内容的远程更新和管理，让平台既有的百万用户都及时获得最新 AR内容和服务。另一方面，实现了内容汇聚和流量引入。用户通过“看厦门”APP 既可全面了解“98 投洽会”资讯、观看相关短视频和大会直播，又能便捷体验投洽会 AR 应用场景，同时也通过大会宣传推广了“看厦门”APP，丰富了 APP 功能，为平台引入了新的用户流量，推进了媒体融合的产品创新和应用。5.拓展运用情况5.1 提升社会影响“海上花园 元梦厦门”城市夜景 AR 秀项目成功落地后，在线关注度达到 1.5 亿人次，实现了 21.8 万次互动量以及超过 4 千万次的话题阅读宣传推广效果。整个AR 秀也拿下了多个首创国内首个山、海、岛、城多维空间联动元宇宙 AR 秀、福建首个跨百万平米的海域AR 夜景秀、世界文化遗产鼓浪屿首个元宇宙 AR 秀。5.2 促进经济发展项目具备较高的经济发展价值，初期上线主要目标是为投洽会及城市形象做宣传，在形成较大的流量后，也为未来市场化打开了思路，AR 技术适宜应用在文旅、动漫、服装、汽车等多个行业，能为消费者、受众提供更具深度、广度、集趣味性和科技含量的新型行销手段，建立高质量的宣传方式和品牌打造途径。图6 鹭江道AR效果图6.结语项目采用 AR 前沿技术提升了“98 投洽会”宣传效果，基于“看厦门”APP 平台展开集成应用，将广电全媒体传播优势与智能视听技术有机结合，为广大游客、市民和投洽会嘉宾提供了虚实交织、沉浸式的城市夜景体验，极具科技含量，也具有较好的复用性和多媒体传播属性，为促进城市形象宣传、加深文旅体验发挥了积极作用，也为广电融媒体探索“新闻+服务”的发展模式提供了参考价值。