基于微服务架构的第三次全国...理与共享服务平台设计与实现_吴相燚.pdf

第 卷 第 期 年 月测绘与空间地理信息 ，收稿日期：作者简介：吴相燚（），女，江苏如皋人，高级工程师，硕士，年毕业于南京师范大学地理信息系统专业，主要从事自然资源数据库建设、数据标准编制、数据融合等工作。基于微服务架构的第三次全国国土调查数据库管理与共享服务平台设计与实现吴相燚，许秋成，杜永乐，褚朝凯（江苏省国土资源信息中心，江苏 南京；江苏省自然资源空间信息工程技术研究中心，江苏 南京；南京国图信息产业有限公司，江苏 南京）摘要：基于第三次全国国土调查工作相关政策背景，阐述了江苏省第三次全国国土调查数据库管理与共享服务平台建设需求、关键技术、总体架构、数据库及共享服务设计、系统功能设计等内容，所设计和实现的平台有助于实现海量国土调查数据的集中管理、分析应用和共享服务，提升国土调查数据成果对管理决策的支撑能力。关键词：第三次国土调查；微服务；信息平台；数据分析；共享服务中图分类号：文献标识码：文章编号：（），（，；，；，）：，：；引 言第三次全国国土调查（以下简称“三调”）是一项重大的国情国力调查，目的是在第二次全国土地调查成果基础上，全面细化和完善全国土地利用基础数据，国家直接掌握翔实准确的全国土地利用现状和土地资源变化情况，进一步完善土地调查、监测和统计制度，实现成果信息化管理与共享，满足生态文明建设、空间规划编制、供给侧结构性改革、宏观调控、自然资源管理体制改革和统一确权登记、国土空间用途管制等各项工作的需要。当前，第三次全国国土调查、年度国土变更调查工作均已全面完成，对于海量国土调查数据成果的统一集中管理、综合分析与共享应用，成为各级自然资源和规划部门近阶段的工作重点。本文从江苏省级历年国土调查数据库成果管理、综合分析和共享服务的实际需求出发，基于微服务架构、混合多态存储、时空大数据分析及成果可视化等先进技术，设计第三次国土调查数据库管理与共享服务平台（以下简称“三调管理平台”），为全省国土调查数据成果的集中管理、分析应用提供系统支撑，提升数据和平台对管理决策的支撑服务能力。平台建设需求基于江苏省现有国土调查数据成果管理及信息化建设现状分析，存在海量、多态国土调查成果缺乏集中、统一管理，国土调查数据分析挖掘缺少必要的信息化手段，国土调查数据共享和社会服务化水平不高等主要问题。）实现海量、多态国土调查数据成果集中统一管理与应用江苏省 年间所形成的第二次土地调查及历年土地变更调查、第三次国土调查，以及永久基本农田调查、耕地细化调查、批准未建设的建设用地调查等数据成果，共 种类型，约 个矢量图层、亿条矢量数据。平台建设需要满足全省范围海量国土调查数据的统一管理，满足集矢量数据、统计图表、专题图件、成果文档等一体化管理和应用，实现国土调查数据成果的动态入库、更新管理、统计汇总、数据分析、快速服务、综合查询等，支撑自然资源管理部门对国土调查数据全面管理、应用和互联共享的需求。）提升国土调查管理数据对管理应用的支撑能力 年，江苏省自然资源“一张图”数据库、自然资源大数据平台建成并投入使用，项目完成了第二次国土调查及历年国土变更调查数据成果入库及管理工作。平台实现了对基础地理、规划、土地利用现状数据成果的集中管理，提供了通用数据查询、数据分析等功能。随着“三调”数据成果持续汇入，对数据成果的专题分析、共享服务等提出了新的要求。需要结合“三调”数据成果特点，基于平台技术架构，拓展开发“三调管理平台”，实现“三调”数据的专题分析与共享服务等应用，以提升国土调查管理数据对管理应用的支撑能力。）实现时空数据分析挖掘与成果可视化展示应用当前的自然资源大数据平台提供的数据分析，结果以二维表格展示为主，分析结果时效性、直观性、可读性效果还有所欠缺，对时空大数据分析和数据挖掘能力还不够。针对国土调查数据资源管理的新形势、新要求，需要进一步拓展深化时空大数据分析挖掘、结果可视化展示技术，建立新的业务视图和分析模型，以综合反映国土调查数据的空间分布特征、变化趋势等信息，为自然资源相关管理决策提供数据支撑。关键技术应用）基于微服务与云容器的企业级平台动态伸缩服务架构微服务是一种新的架构模式，具有服务组件化、去中心化、基础设施自动化等特点，是一种天然适配“云”的分布式应用体系架构。它提倡将单一应用程序划分成一组微小的服务，每个服务运行在其独立的进程中，服务与服务间采用轻量级的通信机制互相沟通（通常是基于 的 ）。“三调管理平台”是一组大型且复杂的软件系统，通过拆解将其分为平台门户网站、在线地图服务、专题地图应用、数据分析与可视化展示等多个微服务。基于微服务架构和云容器多节点部署设计，充分利用了云平台弹性伸缩、负载均衡能力，通过微服务编排和分类管理，有效缓解高流量、高并发对平台服务的访问压力，为全省国土调查成果集中统一管理、应用分析、共享服务提供稳定、高效的支撑运行环境。平台采用分布式文件系统实现了矢量、影像和文档等各类数据的分布式存储管理，解决了存储 性能瓶颈的问题；采用容器编排引擎 设计，提供了基于容器的微服务动态伸缩部署和服务编排能力，解决了服务单点故障的问题；依托分布式消息中间件的“削峰填谷”能力解决了高流量、高并发对平台服务的访问压力和冲击；通过 服务网关的动态路由、负载均衡和熔断限流等能力，解决了服务单节点瓶颈问题（如图 所示）。通过采用微服务与云容器的动态伸缩服务架构设计，有效提高了平台的可扩展性、高并发性、高吞吐量、高水平资源隔离和服务动态编排能力，实现企业级、全链路分布式动态伸缩服务。）采用混合多态存储模型的时空数据管理技术国土调查数据成果按照类型可分为矢量数据、影像数据、表格、文档、图件、元数据等。依据全省海量国土调查数据多年度、多专题、多类型的特点，设计采用混合多态存储模型来管理国土调查数据（如图 所示），构建从数据获取、数据存储和处理、数据管理、运行和优化、分析和展现的全流程管理体系，为全省数据成果的高效存储及分析应用提供保障。中等量级、计算量一般的矢量图层、表格数据，采用传统的关系型数据库 来进行管理；中等量级、更新频繁的索引数据、元数据，采用分布式数据库 来管理，其数据格式一般采用；海量、空间运算频繁的数据，如地类图斑、专项调查数据，以 格式存储在分布式文件系统 中，并以 来存储其空间索引，实现快速检索和分析；遥感影像、文字报告、图件等文档数据，采用分布式文件系统 与关系型索引表结构的方式来管理。）基于数据标签体系的时空大数据分析及多维可视化展示应用以全省历年国土调查数据为基础，结合基础地理、自然资源管理、社会经济数据等，利用时空大数据分析与数据挖掘技术，对国土调查数据进行统计、分析、挖掘等技术处理，构建多元化、多专题的数据分析模型和指标库。借助可视化框架技术设计出业务贴近、表现直观、样式新颖的各类统计图表，如柱状图、条形图、折线图、饼图、直方图、箱线图、玫瑰图、桑基图、瀑布图、雷达图等，综合反映出国土信息的空间分布特征、地域差异、空间结构、空间关系、变化量、变化频率及变化趋势等，揭示资源分布与利用、生态协调性、区域经济潜能、城镇发展等状况，准确反映国情国力，为政府部门开展自然资源相关业务分析决策提供有力支撑。第 期吴相燚等：基于微服务架构的第三次全国国土调查数据库管理与共享服务平台设计与实现图 系统服务架构 图 混合多态的时空数据存储模型 采用 设计的统计图表展示效果更加直观，样式更加新颖。如利用玫瑰图的不同半径、不同颜色的圆弧形状，表示各区域三大类面积的占比情况；利用弦图展示不同地类之间的关联关系，其中弦线的大小表示面积大小，颜色表示不同的地类；利用桑基图展现数据流动并保持“能量守恒”的特点，来表示土地利用变化前后地类的流量和流向情况；利用瀑布图直观表达多个特定数值之间数量变化关系的特点，来表示单个地类面积多年度增加、减少规模情况。平台总体设计 总体框架设计江苏省第三次国土调查数据库管理与共享服务平台设计遵循“自然资源云”总体框架（如图 所示），依据“三调”数据库标准及建库规范，充分利用现有信息化建设成果，以自然资源大数据平台为支撑，设计国土调查数据管理系统、国土调查数据分析系统、国土调查数据共享服务系统，集成整合“三调”成果数据资源，实现对国土 测绘与空间地理信息 年调查与专项调查数据的集中管理、分析应用和共享服务，面向自然资源管理部门、相关政府部门和社会公众提供不同层级的共享服务。图 总体技术架构图 数据库设计国土调查数据库由“三调”数据库、历年土地调查数据库、分析数据库、共享数据库、运维数据库、备份数据库组成（如图 所示），为国土资源调查管理提供基础性数据支撑。“三调”数据库存放“三调”及“三调”后每年国土变更调查成果，包括土地利用现状、永久基本农田、土地权属、自然保护区、批准未建设用地数据等；历年土地调查数据库指“三调”以前历年土地调查和变更调查成果，由自然资源大数据平台提供共享访问；分析数据库、共享数据库可以满足数据分析、共享服务应用要求；运维数据库、备份数据库支撑平台运行、安全策略、维护管理等需要。图 数据库逻辑设计 共享服务设计在符合国家安全保密要求的前提下，以满足国土调查成果的共享应用需求为目标，梳理国土调查数据内容分类，对国土调查各类数据成果进行再加工，制作地图服务、应用服务、专题图件、统计报表、文字报告等数据产品。依托自然资源大数据平台，对数据使用场景的抽象提炼，根据不同的业务场景，抽象出查询服务、分析服务、数据画像服务、预测服务、数据下载服务和数据共享服务等多种数据服务接口，面向自然资源内部、政府部门和社会公众等提供不同层级的共享服务。平台功能设计）国土调查数据库管理系统以国土调查数据成果为基础，叠加基础地理、自然资源、国土规划、社会经济等数据，构建“”型多维数据的综合管理应用。功能包括数据检查、数据导入导出、数据管理、数据更新、汇总统计、成果输出、在线地图、信息查询、地图服务管理、元数据管理、系统运维等，满足省级国土调查数据管理与应用需要。）国土调查数据分析系统基于全省国土调查数据库成果，利用空间大数据挖（下转第 页）第 期吴相燚等：基于微服务架构的第三次全国国土调查数据库管理与共享服务平台设计与实现以统计划入生态保护红线面积为例，构建模型流程如下：）图斑与生态保护红线相交，获取图斑与生态保护红线重叠部分。）添加面积字段，设置时尽量避免与原有面积字段重复。）重新计算面积字段。）数据汇总统计。基于 汇总统计出每块图斑内生态保护红线的面积。）基于，将图斑与汇总统计表进行连接，连接字段设置为面积字段。面积汇总赋值运行界面中被赋值数据选择图斑数据，用于赋值数据选取生态保护红线数据，点击，运行完成后图斑数据最后一列即为图斑内划入生态保护红线面积。结束语使用 模型构建器和 语言可以简化数据处理过程中的重复性工作，既提高了工作效率、数据处理的正确性，又降低了技术人员的数据处理强度。模型构建器和 语言在国土调查业务中有着广泛的应用，在国土三调中可以采用本文所述的耕地利用等级赋值模型进行耕地坡度赋值；、等可以通过本文所述的字段计算器 语言进行赋值；耕地“非农化”“非粮化”调查中占用耕地面积、其中永久基本农田面积、占粮食生产功能区面积等可以通过本文所述的面积汇总赋值模型进行计算。模型构建器可以便捷地实现多种批量数据的自动处理，对项目日常数据处理有很大帮助。模型构建器建模的方法不是唯一的，实现同一功能的构建流程可以有多种，如基于面积最大值赋值模型可以用面积关联进行筛选，也可以通过排序进行筛选。模型构建时可以依据对 工具的掌握，将 工具巧妙地组合在一起，构建模型，生成新的工具，为处理数据工作提供更大的便利。使用 模型构建器和 语言有很大的灵活性和可扩展性，需要作业人员在工作中勤于实践、善于总结、活学活用、不断创新。参考文献：王嘉伟，孙漳林，唐伟建 模型构建器和 语言在第三次全国国土调查数据处理中的应用长春工程学院学报（自然科学版），（）：熊静基于 模型构建器的分幅批量裁切影像辽宁林业科技，（）：温树栋，吴翁慧，夏高峰按区域自动批量裁剪地理数据的建模方法北京测绘，（）：浙江省自然资源厅浙江省全民所有自然资源资