2023年基于数据共享及开放的数据治理体系研究.docx

基于数据共享及开放的数据治理体系研究 王逸晨 【摘  要】近年来，随着信息技术的不断开展，数据应用逐渐深入，社会对于数据共享与开放的需求也逐渐增加。与此同时，早期存在的系统割裂、数据孤岛等问题阻碍着政府数据对于社会的共享和开放。论文通过分析当前背景及现状，先对数据采集方式进行了描述，对几大数据治理体系核心要素展开了分析，最后从数据管理制度和数据治理平台建设两方面对数据治理体系建设进行了研究。 【Abstract】In recent years， with the continuous development of information technology， data application is gradually in-depth， and the social demand for data sharing and opening is also gradually increasing. At the same time， such as system fragmentation， data islands， and other early problems hindered the sharing and opening of government data to society. Through the analysis of the current background and status quo， this paper firstly describes the ways of data acquisition， analyzes several key elements of data governance system， and finally studies the construction of data governance system from two aspects： data management system construction and data governance platform construction. 【關键词】数据治理;数据采集;数据管理制度;数据治理平台 【Keywords】data governance; data acquisition; data management system; data governance platform 【中图分类号】D630.1                               【文献标志码】A                                   【文章编号】1673-1069〔2023〕06-0154-02 1 引言 2023年4月，中共中央、国务院印发关于构建更加完善的要素市场化配置体制机制的意见，提出“着力加快培育数据要素市场，全面提升数据要素价值〞，这是数据首次被列为生产要素之一。随着信息技术的不断开展，社会对于数据开放共享的需求不断提高，数据的价值不断凸显。 一方面，社会利用政府部门公开的数据发挥了极大的效能。例如，使用医疗数据形成智能健康管理、利用交通数据形成智能线路等。另一方面，局部政府部门的各个业务系统自成一体、各系统数据标准不同、系统间数据质量参差不齐，数据孤岛、数据壁垒等问题日益突出，不仅阻碍了政府部门内、政府部门间的信息资源共享，也阻碍了政府与社会间的信息资源共享。 在此背景下，建设一套科学有效的数据治理体系，统一规划数据资源、构建合理数据架构、打通内外部数据具有重要的意义。通过对数据资源从采集、整合、共享到应用等全生命周期进行数据治理，形成高质量的数据资源，不断提升数据的效劳能力，促进数据的使用。 2 数据采集 数据采集为数据治理提供根底。通过对数据资源梳理充分识别需采集的内外部数据资源，以多种数据接入方式将不同类型、不同源头的数据汇总至统一的数据池，从而实现数据资源的盘点、整合。 2.1 数据资源梳理 现状调研及梳理。通过问卷调研、现场访谈等形式，对各部门信息系统的使用情况和内部数据资源的管理情况进行调研，梳理、分析并汇总现有系统、数据资源类型、数据采集频率、数据使用情况，到达“理清家底〞的目的。在调研过程中同步了解各部门对于其他部门及外部数据资源的需求，为数据开放和共享建立根底。 数据资源类型梳理。识别内外部数据资源的数据类型，包括传统关系型数据〔如Oracle、MySQL、SQLServer等〕、文件型数据〔CSV、Excel、Word、PDF等〕、多媒体数据〔视频、音频、图片等〕等。根据不同的数据资源类型拟定不同的数据接入方案。 2.2 数据接入 根据数据来源、数据类型的差异性，准备多种数据接入方式。制定统一的数据接入方案，在数据归集时严格按照约定的数据格式接入，保证采集数据的质量。 以人工导入的方式采集。当现有业务系统数据较复杂，并且本身有数据导出工具时，可以通过统一的标准导出文件，以人工的方式将文件资源导入统一数据池进行治理。 以数据抽取的方式采集。对于有成熟接口标准的系统，可以通过API的方式抽取数据库中的数据。抽取时可使用etl工具对数据进行一定加工和转换，制定两套标准的转换规那么，对数据的输入和输出都要进行相应的转换[1]。 以前置机的方式采集。当遇到跨部门采集数据时，可以部署统一的前置机，被采集方按约定的数据结构和文件格式，将数据放置到前置机中，采集方通过采集策略将数据抽取至数据池中。 3 数据治理体系核心要素 数据治理体系的建立，是充分发挥数据价值的前提条件。建立起可管可信的数据治理体系，是解决数据“有没有用〞的关键路径。按照国内外数据治理标准，结合部门实际情况，开展数据治理。 通过对数据治理核心要素的管控，标准数据采集、编制资源目录、建立数据标准、确保数据质量、强化数据平安，实现数据共享开放，探索数据综合利用，才能更好地发挥数据的支撑和应用作用。 3.1 元数据管理 元数据是描述数据的数据，即数据及信息资源的描述性信息。元数据管理是数据治理的核心和根底，可为信息的管理、发现和获取提供一种实际而简便的方法，从而提高数据交换效率。 3.2 数据资源目录管理 数据资源目录主要是面向使用者的，为使用者提供统一的信息资源窗口，便于数据资源共享交换的检索与发现。可根据已采集的数据资源，按照统一的标准标准，对系统中的表和字段进行梳理，定义目录名称、字段名称、数据类型、字段描述等信息项，形成业务可以理解的信息资源目录，为应用场景的实际使用提供效劳。数据资源目录不仅包括已有系统的数据资源，还包括外部数据。 3.3 数据标准管理 数据标准是一套符合自身实际，涵盖定义、操作、应用多层次数据的标准化体系。数据标准的制定应以最大原那么，结合国家标准、各类行业标准及自身实际情况进行制定。各类数据只有遵循一个统一的标准，才能构成一个可流通、可共享的信息平台。 3.4 数据质量管理 数据质量是指数据特性满足明确的和隐含的要求的程度。数据质量管理指对数据生命周期各个阶段里可能引发的各类数据质量問题，例如，数据空值、数据格式不正确、数据未按数据标准归集等问题。通过数据质量管理对已经存在的问题进行识别、对可能发生的问题进行预警。 3.5 主数据管理 主数据就是各部门业务系统中最核心、最需要共享的数据，具有高共享、高稳定、高价值的特性。主数据标准化建设主要包括主数据编码标准、主数据属性标准及主数据集成标准三局部[2]。通过统一的标准，将分散在各个系统中的数据进行集中清洗和丰富后，可以应用于操作型应用系统和分析型应用系统。主数据管理有利于消除冗余数据、提高数据处理效率及战略协同力。 3.6 数据平安管理 采用多种数据平安防护技术措施，根据数据分类分级管理的要求，对敏感数据、非敏感数据按照权限分类分级管理。在数据生命周期的各个阶段，对数据进行平安防护，防止数据泄露，保障数据平安。 3.7 数据共享 规划分层次的数据共享模式，制定数据交换标准，明确数据交换共享流程，对数据分类分级，形成部门内数据共享与部门外数据开放的两级数据共享体系，满足内部部门的数据需求、协同部门的数据需求、公众的数据需求。 4 数据治理体系建设 4.1 数据管理制度建设 通过对数据治理各个核心要素和关键环节制定相应的管理方法，明确组织架构、各部门和岗位职责，充分发挥各级部门的作用，保障数据治理的实施和持续改良，加强数据治理的统筹规划，使制度起到对数据治理工作的支撑作用。数据治理制度包括数据采集管理方法、数据资源目录管理方法、数据标准管理方法、数据共享管理方法、数据分类分级管理方法、数据平安管理方法等。 4.2 数据治理平台建设 数据治理平台建设目的是实现数据治理的落地实施、方法承载、技术支持和工具配套。数据治理平台的建设要以数据的开放和共享为最终目的，通过中间件技术简化和统一越来越复杂、烦琐的信息系统平台[3]。建立面向效劳的体系结构，对数据池中整合后的内外部数据通过发布、订阅、中间库等方式简单地实现数据分发，完成数据共享。 5 结语 综上，建立数据治理体系，有助于促进数据的共享和开放，提升数据这一生产要素的价值。通过数据采集识别现有资源、通过数据治理要素的把控与数据治理的实施整合数据资源，实现从“有什么〞到“给什么〞的转变，提高数据流通性，为数据赋能。 【参考文献】 【1】乔玉涛.基于共享数据中心的数据治理方法研究[J].科学技术创新，2023〔13〕：104-105. 【2】张印.企业的主数据管理模式[J].中国信息界，2023〔02〕：92-93. 【3】李萌.基于SOA的主数据管理架构设计及实践[J].兵工自动化，2023，34〔08〕：49-51+64.