基于分布式存储及消息同步技术的元数据管理应用系统_李婵.pdf

SOFTWARE软 件2022第 43 卷 第 12 期2022 年Vol.43,No.12基金项目：河北省气象局面上项目“雷达、卫星资料辅助京津冀地区自动站降水质量控制系统”（18ky09）作者简介：李婵（1987）,女,河北石家庄人,硕士,工程师,研究方向：气象信息技术。基于分布式存储及消息同步技术的元数据管理应用系统李婵 刘焕莉 刘雨晴 韩明稚（河北省气象信息中心，河北石家庄 050000）摘要：综合利用分布式存储与管理技术、台站元数据质量控制、基于消息的数据同步接口等关键技术,将原有元数据由月、年定时数据收集方式改为实时收集、存储和服务。实现了由文件管理到数据库管理的切换,提升了气象台站元数据实时质量控制、管理和应用的水平,强化了台站元数据从收集到提供应用全流程的业务管理能力,完善了相关业务流程和规范,实现了与实时-历史气象资料一体化业务系统的无缝衔接,建立了台站元数据国家级管理与应用、省级质量控制和管理、台站数据收集与修正的三级管理业务体系。为实现管理科学、分工合理、服务便捷的现代气象资料业务提供必要的业务技术支撑。该成果已集成到 MDOS 系统中,并在全国气象部门业务应用。关键词：气象台站元数据；实时同步；质量控制；处理流程中图分类号：TP311.13文献标识码：ADOI：10.3969/j.issn.1003-6970.2022.12.016本文著录格式：李婵,刘焕莉,刘雨晴,等.基于分布式存储及消息同步技术的元数据管理应用系统J.软件,2022,43(12):060-063The Metadata Management System of the Meteorological Station Based on Distributed Storage and Data Synchronization TechnologyLI Chan,LIU Huanli,LIU Yuqing,HAN Mingzhi（Meteorological Information Center in Hebei Province,Shijiazhuang Hebei 050000）【Abstract】：Basedonthekeytechnologies,including:Distributedstorageandmanagementtechnology,methodsofmetadataqualitycontrolanddatasynchronizationinterfacetechnology.Thismanagementsystemchangedthemetadatacollectionmodefrommonthly,annualtimingmodetotime-varyingmode.Thenthemetadataisinstorageandservicetimely.Thistransformationmakesdatabasemanagementcomingtruefromprevious filemanagement.Thelevelsoftimelymetadataqualitycontrolandapplicationareallenhancedobviouslyinthismanagementsystem.Thecapacityofmanagementisstrengthenedinmeteorologicalstationmetadatacollectionandapplication.Thissystemalsoimprovesandprefectstheoperationflowandstandardsofpractice.Thissystemconnectswiththereal-historicaldataintegrativesystemcloselyandthickly.Atlast,thissystemestablishesathree-stageprofessionalworksystem,including:Nationalmanageanduselevel,provincialqualitycontrolandmanagelevel,andmeteorologicalstationincollectionandcorrectionlevel.Allthosesupplyatechnicalsupportinscientificmanagement,reasonabledivisionandconvenientserviceinmodernmetrologicaldataservice.ThisresulthasbeenintegratedinMDOSsystem,anditisappliedinourprofessionalworkinnationalmeteorologicaldepartments.【Key words】：metadataofmeteorologicalstation;datasynchronizationtimely;qualitycontrol;operationflow基金项目论文气象台站元数据用于记录气象台站建立以来的发展变化历程。这些数据包括台站名称、区站号、台站位置、观测场环境、观测要素、观测仪器、观测时间与时制等信息的变更等。气象台站元数据主要包含台站基本信息、相关信息、附加信息和历史沿革信息 4 类信息。台站元数据信息成为研究人员检验订正气候资料序列的重要参考依据1-7。气象台站元数据信息是基础气象资料的一个重要组成部分,但迄今为止,虽然通过基础气象资料建设收集了地面、高空、农气等台站元数据信息,但元数据信息61李婵刘焕莉刘雨晴等：基于分布式存储及消息同步技术的元数据管理应用系统不完整且未经严格质量检测,而且在专项工作结束之后,因缺少业务保障机制,台站元数据也没有及时更新和追加。因此,建设分布式元数据管理系统,检查历史数据的正确性,解决元数据同步更新的一致性是本系统设计的关键。自 2011 年开始,河北省气象信息中心一直致力于气象台站元数据资料质量控制技术、更正流程和信息反馈系统等技术的研究,旨在对台站历史沿革数据和更新的元数据信息进行实时有效监控,使得台站元数据为气象业务提供有力支撑。在相关项目支持下,已初步建成台站历史沿革数据的质量控制和评估系统,正在建设气象台站元数据管理平台。本文拟提升台站元数据质量控制和评估技术,集成现有台站元数据处理、管理技术成果,建设台站元数据管理和应用系统,实现对台站元数据的质量控制、管理和应用,建立台站元数据的国家-省-台站三级双向反馈系统,在此基础上实现与实时历史气象资料一体化系统（以下简称 MDOS）的衔接。1 系统设计1.1 系统架构系统分为 4 个部分：国家级系统、省级系统、台站级系统、消息通信系统。台站级系统具有气象台站元数据的添加、删除、修改和索引服务等功能,其中添加、删除、修改操作需要向省级系统提交申请,在省级审核完成后接收审核结果。同时也可对疑/误数据进行提交修改申请,接收省级的疑/误通知并反馈。省级系统审核台站系统提出的添加、删除、修改等操作的申请,并将审核结果通知台站。疑/误数据更正申请如果审核通过则直接更正数据并通知台站,若未通过审核则通知台站并需获取台站反馈意见后进行更正。省级系统负责气象台站元数据文件导入并进行数据一致性检查功能。国家级系统具有数据的汇总、浏览、归档及仓储服务功能,同时接收省级上报的气象台站元数据变动信息及疑/误更正信息,并对信息进行汇总归档。三级系统之间的信息传递及数据同步通过消息通讯系统实现（如图 1 所示）。1.2 系统业务流程气象台站元数据管理系统将业务流程规范分为三级：台站级、省级和国家级。台站级气象台站元数据管理业务包括新建台站的申请、台站信息变动申请、台站信息更正申请以及省级反馈问题处理等,省级气象台站元数据管理业务包括审核建站申请、台站信息变动申请、台站信息更正申请等,国家级气象台站元数据业务主要负责实时收集全国的气象台站元数据、质量评估并向全国广播更新数据等。通过对其业务流程进行严格规范化,保证了数据准确、稳定的传递。1.3 系统主要功能和实现技术1.3.1 系统主要功能系统主要由台站元数据管理、元数据质量控制、元图 1 三级系统结构图Fig.1 Structure diagram of three-level system台站级省级国家级台站基础数据录入台站信息修改申请疑/误数据修改申请浏览查询数据LD文件导入导出 审核修改申请及疑误申请 疑误数据修改 数据统计分析 浏览查询数据省级数据库气象数据应用反馈疑误元数据汇总归档 下发需求命令浏览查询数据行业用户社会用户部门用户气 象 宽 带 网 络归档据库查询消息气象元数据同步元数据追加信息同步查询消息62软 件第 43 卷 第 12 期SOFTWARE数据疑误信息处理、数据同步和数据应用等 5 个功能模块组成。（1）气象台站元数据管理功能模块。根据行业通用标准,建立气象台站元数据的数据库,设计基于 Web的管理系统。系统主要功能具体包括气象台站元数据的编辑（增、删、改）功能、气象台站元数据存储功能和气象台站元数据目录服务功能,以及气象台站元数据历史沿革文件的导入、导出、格式及质量检查功能。（2）气象台站元数据实时质量控制模块。根据现有的气象台站历史沿革数据质量控制方案并加以补充完善,对实时上传的台站元数据资料质量控制软件进行适应性调整,开发能够对元数据进行实时质量控制的软件。针对原有元数据的月、年数据采集方式,改为实时采集,实现数据库管理机制。根据元数据采集和上报方式的变化,加强元数据功用的增值开发,进一步提升了元数据的应用价值。（3）气象台站元数据疑误信息处理功能模块。当用户发现气象台站元数据信息有疑误时,所进行的疑误处理流程。用户分为台站级、省级和国家级三类用户,台站级和省级用户提供采用人工输入和审核方式更正疑误信息,国家级用户提供疑误报文上传更正疑误信息。整个疑误处理流程中所涉及到的所有阶段操作和相关人员都以固定数据形式保存在数据库疑误流程日志表中。（4）气象台站元数据的同步功能模块。依据现有的气象观测数据业务流程和气象数据管理办法,设计同步机制确保国家级、省级和台站级气象资料、气象台站元数据、疑误信息等相关信息保持严格一致,实现三级数据实时更新。同步机制利用现有的通信设备和软件,在确保满足现有业务需求的前提下通过定义消息结构和消息传输协议,实现最大限度的工作流程自动化。（5）气象台站元数据应用服务模块。实现并提升省级气象台站元数据管理和应用的水平,强化气象台站元数据从收集到提供应用全流程的业务管理能力以及完善相关业务流程和规范,与实时-历史气象资料一体化业务系统的无缝衔接,实现台站元数据国家级管理与应用、省级负责质量控制和管理、台站负责数据收集与更正的三级管理和应用体系,为实现管理科学、分工合理、服务便捷的现代气象资料业务提供必要的业务、技术支撑。1.3.2 系统功能实现技术本系统中主要用到元数据分布式存储技术、元数据质量控制和利用消息进行数据之间的同步技术。（1）分布式存储技术。分布式存储,是一种数据存储技术。将数据分散存储多个标准 x86 架构服务器上,利用每台服务器内部的存储资源,通过部署存储功能软件使每台服务器转化为具有标准存储功能的节点,采用高速网络连接技术将所有节点互联,把散的存储资源构成一个逻辑整体的存储资源池。分布式存储将业务数据分散到各个存储节点上,利用多台服务器的集群分担存储业务负载,为存储系统提供有效的可靠性、可用性与安全性。分布式存储使数据实现“分散存储,集中管理”,存储架构由客户端或应用端、元数据服务器和数据节点服务器组成。本系统在MDOS 中应用时,国家级数据库相当于元数据服务器,31 个省份作为数据节点服务器。元数据因为数据种类繁多,历史数据存储量大,为了提高元数据的读取性能,故采用分布式存储,将数据分散存储在各个省份,省份之间的数据相互独立,在其中的某个服务器出现