智慧澄海时空大数据平台设计与实现_余锦树.pdf

自然资源山水林田湖草的统一管理离不开信息化技术手段。自然资源部信息化建设总体方案中明确提出，落实“一张网、一张图、一个平台”的自然资源建设，利用人工智能、大数据分析、三维可视化分析等技术提升自然资源调查监测评价的智能化水平1。建设二三维一体化的自然资源大数据平台，是提升自然资源治理能力和治理水平现代化的重要基石，对于促进城市政务信息资源整合共享，实现信息资源深度应用，支撑政府科学决策具有重要意义2-3。随着机构改革重组和测绘行业的发展，自然资源管理部门积累了海量的测绘地理信息数据，但这些数据往往孤立分散在各部门，存在重复存储、标准不一等问题，造成了众多的“数据孤岛”，不仅浪费了资源，还为跨部门共享利用地理信息、多源信息集成处理与分析等带来了阻碍4。数据中台技术集数据采集、加工、分析、服务的全生命周期数据管理技术于一体，能实现数据跨部门、跨业务的高效流通与共享应用，被广泛应用于电子商务、通信、电力、政务服务、时空信息云平台建设等多领域5-7。近年来，为促进自然资源数据管理与活化利用的发展，自然资源部和广东省政府多次出台相关政策，汕头市政府也积极响应上级部门的要求，建设自然资源“一张图”。本文立足于汕头市澄海区自然资源局（澄海局）和测绘院现状，基于数据中台微服务体系、高性能三维模型渲染、BI数据挖掘等前沿技术，面向自然资源二三维一体化管理，建设了智慧澄海时空大数据平台，实现了自然资源数据管理、二三维一体化展示、灵活敏捷数据分析产品服务，以支撑澄海区自然资源数据管理与活化利用，促进地理信息数据提供向综合性服务、定制性服务转变，服务于数据政府改革建设、推进政府数字化转型。智慧澄海时空大数据平台设计与实现摘要：以汕头市澄海区自然资源一体化综合管理为目的，基于数据中台微服务架构和BI数据挖掘等前沿技术，提出了智慧澄海时空大数据平台建设的技术路线和实施路线，实现了离散二三维数据到数据中台的自动汇聚和互联共享，定制了面向土地、规划业务的空间分析模型，促进了自然资源数据管理与活化利用，有力支撑了面向自然资源管理、国土空间规划、城市管理的行政审批、监管决策、公共服务等各行业应用。关键词：自然资源管理；时空大数据平台；时空数据挖掘；空间分析中图分类号：P208文献标志码：B文章编号：1672-4623（2023）03-0110-04Design and Implementation of Smart Chenghai Spatio-temporal Big Data PlatformYU Jinshu1,YANG Yousheng2,GAN Liqin2,XIE Runhua2(1.Shantou Chenghai District Natural Resources Surveying and Mapping Institute,Shantou 515800,China;2.Guangzhou Urban Planning&Design Survey Research Institute,Guangzhou 510060,China)Abstract:Aiming at the integrated management of natural resources in Chenghai District of Shantou City,based on cutting-edge technologiessuch as data centre platform micro-service architecture and BI data mining,we put forward the technical route and masterplan of the smart Cheng-hai spatio-temporal big data platform construction,realizing the automatic aggregation,interconnection and sharing of discrete 2D and 3D data,customizing spatial analysis model for land and planning work,promoting the management and activation of natural resource data,and furthersupporting the applications in various industries such as administrative approval,regulatory decision-making and public services for natural re-source management,territorial spatial planning and urban management.Key words:natural resource management,spatio-temporal big data platform,spatio-temporal data mining,spatial analysis（1.汕头市澄海区自然资源测绘院，广东 汕头 515800；2.广州市城市规划勘测设计研究院，广东 广州 510060）余锦树1，杨友生2，淦立琴2，谢润桦2收稿日期：2022-08-31；修回日期：2022-09-28。第一作者简介：余锦树（1982），工程师，研究方向为地理信息的使用和价值研究，E-mail：。引文格式：余锦树,杨友生,淦立琴,等.智慧澄海时空大数据平台设计与实现J.地理空间信息,2023,21(3):110-113.doi:10.3969/j.issn.1672-4623.2023.03.024Mar.,2023Vol.21,No.3地 理 空 间 信 息GEOSPATIAL INFORMATION2023 年 3 月第21卷第 3 期第21卷第3期余锦树等：智慧澄海时空大数据平台设计与实现1智慧澄海时空大数据平台设计1.1总体架构设计智慧澄海时空大数据平台基于B/S架构开发，后端采用大型关系型数据库实现多源、多类型数据的统一管理，以国产GIS平台为地图引擎，有效实现了空间数据与非空间数据的一体化存储。智慧澄海时空大数据平台总体架构如图1所示，由数据层、平台层、服务层和应用层组成。基础服务 三维地图 无人机实时成图 数据挖掘分析 面向国土业务的模块定制应用层服务层平台层数据层GIS微服务二维服务三维服务统计分析三维全景微服务框架国产GIS平台开源空间数据库二维矢量数据库三维模型数据库遥感影像数据库业务专题数据库图1总体架构图数据层包括二维矢量数据库、三维模型数据库、遥感影像数据库和业务专题数据库4个部分。数据来源于澄海局各股室以及澄海院各类生产项目成果数据，包括地理空间数据、遥感影像数据、历史文本文档数据和三维模型数据等。针对各类数据提供了相应的接入方式定义。平台层包括服务器、存储设备、数据库软件、GIS软件等基础软硬件，主要支撑平台各类系统和数据，为平台提供必要的运行环境与保障。服务层基于微服务架构，以低耦合、高内聚的方式组织二三维GIS和BI分析等各类模块，减少模块之间关联，提高模块重复利用率，缩短各应用子系统的开发时间，还包括WMS、WFS、WMTS等数据服务的发布和接入，据此提供查询统计、空间分析等专业地理信息分析服务。应用层包括基础服务、三维地图、数据挖掘分析、面向国土业务的模块定制和无人机实时成图5大模块，为澄海区自然资源业务提供全方位、多维度的分析应用支撑服务。1.2功能设计通过对澄海院和澄海局下属各股室业务的调研发现，需求主要集中在数据管理、数据展示、数据安全、数据分析、应急测绘和区局服务支撑等环节。本文以此为依据开展智慧澄海时空大数据平台功能设计，主要包括基础服务、三维地图、无人机实时成图、数据挖掘分析、面向国土业务的模块定制5大部分，如图2所示。平台建设功能模块完备、流程清晰严密，结合已有数据基础，能有力支撑澄海区自然资源数据管理与活化利用。基础服务模块通过对数据进行分级分层管理，设计数据申请流程，解决了数据安全共享与分发问题，进一步激发了智慧澄海时空大数据平台的生命活力。三维地图模块可有效实现可视域分析、积水模拟分析、阴影率分析、日照分享、限高分析、天际线分析，辅助规划立面审批和控规调整等工作。无人机实时成图模块可实现无人机高清视频和正射影像实时回传。数据挖掘分析模块对现有数据进行有效整合和多维度挖掘，快速准确地生成报表，为城市规划提供辅助决策依据。面向国土业务的模块定制模块围绕区局日常业务（数据转换、自然资源调查与保护、违法用地、用地预审等）提供定制模型服务，促进自然资源与国土空间规划数字化信息化转型。2关键技术2.1时空大数据治理建库长期以来，澄海局以及下属的澄海院所管理的测绘、规划、用地等成果分散、格式各异、坐标不统一，且大部分成果为非结构化数据，以坐标串文本、图形与属性分离的DWG格式存在，无法直接用于智慧澄海时空大数据平台可视化展示和空间分析。针对复杂各异的历史异构数据现状，在收集和分类整理数据的基础上，本文基于FME平台构建了自动化ETL数据转换模型，实现了数据自动清洗、空间化处理、坐标转换和整合，形成了满足澄海局以及相关部门业务、管理需求的标准化数据资源，再通过时空数据库设计、搭建、数据入库，形成时空大数据库。历史异构数据自动化治理建库流程如图3所示。时空大数据库包括二维矢量、三维时空、遥感影像和业务专题4个时空数据库，用于支撑智慧澄海时空大数据平台的数据共享服务。智慧澄海时空大数据平台基础服务三维地图无人机实时成图数据挖掘分析面向国土业务的模块定制“一张图”数据超市流程审批表单定制组织管理数据管理门户管理运维管理数据入库场景浏览三维分析数据叠加作业管理高清视频正射影像稠密点云数据入库数据库管理数据挖掘仪表盘成果分析系统设置数据转换地块信息查询自然资源调查耕地保护地质矿产空间规划海洋资源土地执法合规性审查图2功能结构图数据收集数据自动化处理数据建库数据服务矢量数据影像数据三维模型CAD数据文本数据矢量化格式转换数据融合坐标转换FME代码二维矢量时空数据库三维时空数据库遥感影像时空数据库业务专题时空数据库要素服务地图服务影像服务模型服务视频服务图3历史异构数据自动化治理建库流程图111地理空间信息第21卷第3期2.2数据中台微服务体系时空大数据具有空间性、时间性、多维性、复杂性等特征，实现多源数据的集成管理是平台搭建的关键。微服务架构可使每个业务服务单独运行、存储、开发和维护，达到单个服务高内聚、服务与服务之间低耦合的效果5。结合多样化的业务应用需求，根据平台公用性和基础性的特点，平台采用微服务技术，通过数据分类、水平解耦，形成集成GIS数据服务、地理信息分析服务的数据微服务体系，为用户之间提供数据共享和数据分析功能。同时，构建不同服务之间的联系，提供对应接口，允许不同客户端之间进行跨平台、跨网络、跨语言调用，并可集成聚合其他服务器发布的GIS服务，以保证平台的高可用性、高弹性、高扩展性。具体地，按照不同数据类型，基于OGC标准，GIS数据服务包括地图服务、影像服务、模型服务和视频服务等，地理信息分析服务包括空间量算、叠加分析、地理编码服务等。2.3时空大数据分析在大数据背景下，数据联合分析、挖掘是建设数字政府、新型智慧城市的基础。新时代测绘工作“两服务、两支撑”的根本定位，对实时获取的测绘地理数据高效处理分析提出了更高要求。紧紧围绕澄海院业务现势需求，利用BI数据挖掘技术实现静态时空数据的信息萃取和可视化，满足日常自然资源调查、规划审批业务需求。同时，研究无人机实时成图技术，进行即时数据处理、成图、回传，支撑违法用地监测、应急测绘实时响应。1）BI数据挖掘技术。BI数据挖掘技术能使地理空间数据具备自动学习的能力，从而进一步提升时空数据大平台自动获取知识的效率8。BI技术通过云计算实现大数据的高效分析