温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,汇文网负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。
网站客服:3074922707
数据
资产
管理
实践
白皮书
3.0
I 版权声明版权声明 本白皮书版权属于中国信息通信研究院本白皮书版权属于中国信息通信研究院云计算与大数云计算与大数据研究所据研究所、CCSA TC601 大数据技术标准推进委员会大数据技术标准推进委员会,并受,并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的,应注明者观点的,应注明“来源:来源:数据资产管理实践白皮书(数据资产管理实践白皮书(3.0)”。违反上述声明者,违反上述声明者,作者作者将追究其相关法律责任。将追究其相关法律责任。II 编委会编委会 编委会成员:编委会成员:魏凯、姜春宇、刘成成、闫树、丁华明、张娟、赵计博、车春雷、郭宝生、蓝曾威、马卓佳、李慧、贾丕星、符山、陈涛、周庭宇、孙龙君、农益辉、刘天斯、钱岭、齐骥、侯志强、石在辉、刘童桐、吴嘉、张振、张长君、林锋、周万、王鹏、刘庆会、胡浩、蔡春久、王琤、骆阳、魏民、李雨霏、于辰涛、王晟、陈志凌、刘俊良、周刚、王军、李今朝、李岳璘、王伟哲、曹冬平、蓝海、邹素雯、董喆、熊威、刘浩、施红明、白梅、寇新华、蒋勇、高伟 参与单位:参与单位:中国信息通信研究院、中国支付清算协会金融科技专委会、中国建设银行、中国电信股份有限公司云计算分公司、中软国际有限公司、腾讯科技(深圳)有限公司、中国移动苏州研发中心、中国移动通信研究院、中国电信股份有限公司、杭州数梦工场科技有限公司、普元信息技术股份有限公司、北京飞利信科技股份有限公司、联想(北京)有限公司、成都四方伟业软件股份有限公司、北京东方金信科技有限公司、烽火通信科技股份有限公司石化盈科信息技术有限责任公司、北京数语科技有限公司、国网征信有限公司、航天恒星科技有限公司、广州信安数据有限公司 III 前前 言言 党的十九大报告提出要“推动互联网、大数据、人工智能和实体经济深度融合”,进一步突出了大数据作为国家基础性战略性资源的重要地位,掌握丰富的高价值数据资源日益成为抢占未来发展主动权的前提和保障。数据是资产的概念已经成为行业共识。然而现实中,对数据资产的管理和应用往往还处于摸索阶段,数据资产管理面临诸多挑战。首先,大部分企业和政府部门的数据基础还很薄弱,存在数据标准混乱、数据质量层次不齐、各条块之间数据孤岛化严重等现象,阻碍了数据的共享应用。其次,受限于数据规模和数据源种类的丰富程度,多数企业的数据应用刚刚起步,主要集中在精准营销,舆情感知和风险控制等有限场景,应用深度不够,应用空间亟待开拓。再其次,由于数据的价值很难评估,企业难以对数据的成本以及其对业务的贡献进行评估,从而难以像运营有形资产一样管理数据资产。国际上,1990 年以来,以国际数据管理协会(DAMA,Data Management Association International)、能力成熟度模型集成(CMMI,Capability Maturity Model Integration)为代表的组织机构长期从事数据管理的研究,形成了一定的理论成果。在这些理论的指导下,我国金融、电信、能源、互联网等信息化较为先进的行业,已经积累了丰富的数据资产管理经验。这些经验的总结对于补充完善数据管理理论体系、推进数据资产管理在各个行业的普及和发展有着重要意义。为了促进数据资产管理的研究,我们组织编写了数据资产管理实践白皮书。本白皮书分为四大部分:第一部分介绍了数据资产管理的概述及变革中的数据资产管理呈现出来的特征趋势;第二部分从 IV 实践角度出发阐述了数据资产管理的主要内容;第三部分重点介绍了数据资产管理的实施步骤、实践模式、工具平台和成功要素;最后结合实践经验,介绍了电信、金融、政务、医疗和工业等相关领域的数据资产管理案例。本白皮书在数据资产管理实践白皮书 2.0的基础上,结合原有的数据资产管理八大痛点内容,以全面盘点数据资产、不断提升数据质量、实现数据互联互通、提高数据获取效率、保障数据安全合规、数据价值持续释放等角度,通过权威数据和典型事件,生动剖析了数据资产管理的重点内容和目标。以“管理职能”代替“活动职能”的描述,在原有管理职能的介绍下,尝试说明数据资产管理内容之间的关系,并在组织机构和制度体系的基础上,完善了保障措施部分。此外,还在原有通用实施阶段步骤的基础上,增加了实践模式的参考。最后,增加了“持续迭代完善,形成良性闭环”成功要素的观点。本白皮书可以为政府和企业开展数据资产管理工作提供参考,也可以作为相关产品和服务提供商的参考依据。由于时间仓促,水平所限,我们的工作还有很多不足。下一步,我们还将广泛采纳各方面意见建议,进一步深化相关研究,持续完善白皮书内容,在已有版本的基础上,适时修订发布新版。我们诚邀各界专家学者参与我们的研究工作,积极献言献策,共同完善国内数据资产管理理论和方法论体系,为促进大数据与实体经济深度融合做出积极贡献。如您有意愿,请联系我们:。V 目目 录录 版权声明.I 前 言.III 图 表 目 录.VII 一、数据资产管理概述.1(一)数据资产管理的定义与内涵.1 1.数据资产管理的概念.1 2.数据资产管理的内涵.2 3.数据资产管理的演变.3(二)数据资产管理是大数据时代的必修课.4(三)数据资产管理是各方关注的重要议题.7(四)变革中的数据资产管理.9 1.数据对象纷繁复杂.9 2.处理架构更新换代.10 3.组织职能升级变迁.10 4.管理手段自动智能.11 5.应用范围不断扩大.11 二、数据资产管理的主要内容.12(一)管理职能.12 1.数据标准管理.12 2.数据模型管理.13 3.元数据管理.15 4.主数据管理.16 5.数据质量管理.18 6.数据安全管理.19 7.数据价值管理.20 8.数据共享管理.21(二)保障措施.23 1.制定战略规划.23 2.完善组织架构.24 3.建立制度体系.26 4.设置审计机制.27 5.开展培训宣贯.28 三、数据资产管理的实施要点.29(一)实施步骤.29 1.第一阶段:统筹规划.30 2.第二阶段:管理实施.31 3.第三阶段:稽核检查.31 4.第四阶段:资产运营.32(二)实践模式.33(三)软件工具.34 1.数据标准管理工具.35 2.数据模型管理工具.36 VI 3.元数据管理工具.37 4.主数据管理工具.38 5.数据质量管理工具.39 6.数据安全管理工具.40 7.数据生命周期管理工具.41(四)成功要素.42 1.明确责权利标,有效推进管理.42 2.合理引进技术,提升治理能力.43 3.着眼业务应用,释放数据价值.43 4.加强数据合规,注重风险风控.44 5.持续迭代完善,形成良性闭环.44 四、总结与展望.46 附录一:术语.48 附录二:数据资产管理的实践案例.51(一)中国电信集团公司大数据资产管理案例.51(二)中国移动省公司大数据资产管理案例.59(三)中国保信保险业务数据资产管理案例.65(四)基于数据模型的证券期货行业数据资产管理案例.70(五)“云上贵州”政务数据资产管理案例.74(六)某省政务大数据资产管理案例.78(七)某大型医药公司数据资产管理案例.86(八)某大型钢铁集团公司数据资产管理案例.90(九)湖北省物价数据资产管理案例.94 VII 图图 表表 目目 录录 表 1 数据资产价值评估典型方法比较.20 表 2 数据资产管理组织架构角色职责.25 表 3 不同组织方式的数据资产管理典型实践模式.34 表 4 不同建设策略的数据资产管理典型实践模式.34 图 1 数据资产管理在大数据体系中的定位.2 图 2 大数据背景下的数据资产管理特点特征.9 图 3 数据资产管理体系架构.12 图 4 数据资产管理内容之间的关系.22 图 5 数据资产管理保障措施组织架构.24 图 6 数据认责机制.26 图 7 一种典型的制度体系架构.27 图 8 数据资产管理实施方法论.30 图 9 三段八步法.61 图 10 某省政务大数据资产汇聚架构图.80 图 11 某省政务数据汇聚主题模型.80 图 12 某省政务数据资产治理架构图.81 图 13 某省政务数据资产应用架构图.82 图 14 数据资产管理流程图.91 图 15 多元化数据集成.91 图 16 原始检测数据实时采集.92 图 17 钢材合格预测模型.92 图 18 物价大数据平台总体架构示意图.95 中国信息通信研究院&CCSA TC601 数据资产管理实践白皮书(3.0 版)(2018)1 一、数据资产管理概述 数据成为资产,已经是行业共识,甚至有人建议将数据计入资产负债表。但如果对比实物资产,对数据资产的管理,还处于非常原始的阶段。往往一个机构针对其数据资产类别和数量都缺乏全面了解,数据质量、数据安全、资产评估、资产交换交易等精细管理、价值挖掘和持续运营则更为薄弱。数据资产管理是现阶段推动大数据与实体经济深度融合、新旧动能转换、经济转向高质量发展阶段的重要工作内容。本章将阐述数据资产管理的定义与内涵,分析数据资产管理在大数据中的重要意义,并对数据资产管理在大数据发展中的趋势进行分析。(一一)数据资产管理的定义与内涵数据资产管理的定义与内涵 1.数据资产管理的概念 数据资产(Data Asset)是指由企业拥有或者控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料、电子数据等。在企业中,并非所有的数据都构成数据资产,数据资产是能够为企业产生价值的数据资源。数据资产管理(DAM,Data Asset Management)是指规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。数据资产管理是需要充分融合业务、技术和管理,来确保数据资产保值增值。数据资产管理实践白皮书(3.0 版)(2018)中国信息通信研究院&CCSA TC601 2 2.数据资产管理的内涵 数据资产管理在大数据体系中的定位如图 1 所示,它位于应用和底层平台中间。数据资产管理包括两个重要方面,一是数据资产管理的核心管理职能,二是确保这些管理职能落地实施的保障措施,包括组织架构、制度体系。数据资产管理在大数据应用体系中,处于承上启下的重要地位。对上支持以价值创造为导向的数据应用开发,对下依托大数据平台实现数据全生命周期的管理。图 1 数据资产管理在大数据体系中的定位 数据资产管理贯穿数据采集、应用和价值实现等整个生命周期全过程。企业管理数据资产就是通过对数据的生命周期的管理,提高数据资产质量,促进数据在“内增值,外增效”两方面的价值变现。数据先被规范性定义、创建或获得,然后存储、维护和使用,最终被销毁。数据的生命周期开始于数据获取之前,企业先期制定数据规划、定义数据规范,以期获得实现数据采集、交付、存储和控制所需的技术能力。数据资产管理一般来说包括统筹规划、管理实施、稽核检查和资产运营四个主要阶段,详见第三部分数据资产管理的实施要点。中国信息通信研究院&CCSA TC601 数据资产管理实践白皮书(3.0 版)(2018)3 3.数据资产管理的演变 数据管理的概念是伴随上世纪八十年代数据随机存储技术和数据库技术的使用,计算机系统中的数据可以方便地存储和访问而提出的。国际数据管理协会(DAMA,Data Management Association International)在 2009 年发布的数据管理知识体系 DMBOK1.0中定义为规划、控制和提供数据资产,发挥数据资产的价值。DAMA 数据管理体系将数据管理划分为 10 个领域,分别是数据治理、数据架构管理、数据开发、数据操作管理、数据安全管理、参考数据和主数据管理、数据仓库和商务智能管理、文档和内容管理、元数据管理和数据质量管理。2015 年,DAMA 在 DBMOK2.0 知识领域将其扩展为11 个管理职能,分别是数据架构、数据模型与设计、数据存储与操作、数据安全、数据集成与互操作性、文件和内容、参考数据和主数据、数据仓库和商务智能(BI,Business Intelligence)、元数据、数据质量等。在数据资产化背景下,数据资产管理是在数据管理基础上的进一步发展,可以视作数据管理的升级版。主要区别可以从三方面看:一是从数据管理变成数据资产管理,在数据资产管理的概念下,强调的是紧紧围绕着把数据作为一种资产,基于数据资产的价值、成本、收益开展全生命周期的管理。二是管理职能有所调整,和 2015 年 DAMA的管理职能相比,数据资产管理延用数据模型、元数据、数据质量、参考数据和主数据、数据安全等内容,整合数据架构、数据存储与操 The DAMA Guide to the Data Management Body of Knowledge 数据资产管理实践白皮书(3.0 版)(2018)中国信息通信研究院&CCSA TC601 4 作等内容,将数据标准管理、数据生命周期管理纳入管理职能,还针对当下应用场景、平台建设情况,将传统数据管理职能的具体内容进行了升级,增加了数据资产价值评估、数据资产运营流通两个管理职能。关于管理职能的描述详见第二章。三是管理要求有所升级,在“数据资源管理转向数据资产管理”的理念影响下,管理制度和组织架构也要有相应的变化,需要有更细致的管理制度和更专业的管理队伍来确保数据资产管理的流程性、严谨性和安全性。此外,业界也经常使用“数据治理”、“数据管控”等说法。(二二)数据资产管理数据资产管理是大数据是大数据时代时代的必修课的必修课 数据作为越来越重要的生产要素,将成为比土地、石油、煤矿等更为核心的生产资源,如何加工利用数据,释放数据价值,实现企业的数字化转型,是各行业和企业面临的重要课题,然而数据的价值发挥面临重重困难。企业的数据资源散落在多个业务系统中,企业主和业务人员无法及时感知到数据的分布与更新情况,也无法进一步开展对数据加工工作。数据标准不统一,数据孤岛普遍存在导致业务系统之间的数据无法共享,资源利用率降低,降低了数据的可得性。标准缺失、数据录入不规范导致数据质量差,垃圾数据增多,数据不可用。数据安全意识不够、安全防护不足导致了数据泄露事件频发,危害了企业经营和用户利益。而且数据的价值难以评估,数据服务缺乏合规性的指导,阻碍了数据在企业内外的流动。数据资产管理主要解决数据面临的诸多问题,以体系化的方式实现数据的可用、好用,充分释放数据价值,具体来看有六个方面的作用:中国信息通信研究院&CCSA TC601 数据资产管理实践白皮书(3.0 版)(2018)5 一是一是全面全面盘点数据资产。盘点数据资产。据 IDC 预测,全球数据总量预计 2020年达到 44 个 ZB,我国数据量将达到 8060 个 EB,占全球数据总量的18%。2025 年全球大数据规模将增长至 163ZB,相当于 2016 年的 10倍,数据的规模越来越庞大。随着自然语言处理、图像识别、传感器等技术的不断发展,数据的种类越来越丰富,一个机构对他掌握的数据类型,缺乏全局管理视图。因此,数据资产管理的切入点是对数据家当进行全面盘点,形成数据地图,为业务应用和数据获取夯实基础。二是二是不断不断提升数据质量。提升数据质量。早在 1957 年的时候,计算机刚刚发明的时候,大家就意识到数据对于计算机决策的影响,提出 Garbage In Garbage Out的警示。2001 年,美国公布 数据质量法案(Data Quality Act),提出提升数据质量的指导意见。2016 年,美国发布国家大数据战略,其中之一就是希望企业通过数据管理来提升数据质量,确保数据决策的可信性。糟糕的数据质量常常意味着糟糕的业务决策,将直接导致数据统计分析不准确、监管业务难、高层领导难以决策等问题。根据数据质量专家 Larry English 的统计,不良的数据质量使企业额外花费 15%到 25%的成本。数据能够被当作资产,并发挥越来越大的价值,其前提是数据质量的不断提升。三三是是实现数据互联互通实现数据互联互通。传统的信息系统建设都是烟囱式的,各个部门各自存储数据,也缺乏数据跨部门共享的管理机制。据统计,98%的企业都存在数据孤岛问题。造成数据孤岛的原因既包括技术上的,也包括标准和管理制度上的。在大数据时代,要实现数字化转 https:/en.wikipedia.org/wiki/Garbage_in,_garbage_out https:/ https:/ 数据资产管理实践白皮书(3.0 版)(2018)中国信息通信研究院&CCSA TC601 6 型,打破数据孤岛、实现数据互联互通不仅对于一个单一机构具有重要意义,对整个社会也具有深远意义。四是四是提高数据获取效率提高数据获取效率。一般来说,数据分析人员 80%的精力都花在了数据准备上。业务人员可能会有突发的数据使用需求,希望快速地获取真实、完整和规范的数据,但是由于数据孤岛、数据质量不高、缺乏平台和工具等原因,业务人员无法及时有效获取数据。让数据随时快速有效就绪,缩短数据分析人员和数据科学家的数据准备时间,就需要在技术平台、数据质量和数据共享等方面采取综合措施。五是五是保障数据安全保障数据安全合规合规。随着各个机构数据的快速累积,一旦发生数据安全事件,其危害性将越来越大。数据安全造成的风险主要包括数据泄露与数据滥用等。根据数据泄露水平指数(Breach Level Index)监测,自 2013 年以来全球数据泄露高达 130 亿条,其中很多都是由于管理制度不完善造成的。2018 年 3 月,脸书(Facebook)被曝光,将超过五千万用户信息数据提供给剑桥分析(Cambirdge Analytica)咨询公司用于定向投放广告,这起数据滥用事件在全球引起轩然大波。所以,保障安全是数据资产管理和价值开发的底线。六是六是数据价值持续释放数据价值持续释放。目前,数据的价值还没有得到充分释放,是因为大部分企业还没有建立起一个有效管理和应用数据的模式。数据资产管理是一个持续和动态的过程,应随着技术、市场、产业的变化不断迭代,使数据资产能够为数字化转型提供源源不断的动力。从企业高管到业务人员及技术人员,全员都要以持续释放数据价值为理 https:/ TC601 数据资产管理实践白皮书(3.0 版)(2018)7 念来重视数据资源管理工作。管理方面,需要建立一套符合数据驱动的组织管理制度和流程。技术方面,需要建设现代化数据平台、引入智能化技术,确保数据资产管理系统平台持续、健康地为数据资产管理体系服务。国际上提出 DataOps的理念可供借鉴。(三三)数据资产管理数据资产管理是各方关注的重要议题是各方关注的重要议题 数据资产管理不仅仅是单一机构的课题。近年来,地方政府层面越来越重视数据资源的管理,开展了很多工作。在新一轮的政府机构改革中,设置专门的数据管理机构成为热点,已有贵州、山东、重庆、福建、广东、浙江、吉林、广西等省份设置了厅局级的大数据管理局,统筹推动地方“数字政府”建设,促进政务信息资源共享协同应用。早在 2017 年 7 月,贵州省大数据发展领导小组办公室印发实施了贵州省政府数据资产管理登记暂行办法,成为全国首个出台政府数据资产管理登记办法的省份。行业层面,金融行业高度重视数据资产管理工作。2016 年 12 月30 日,中国证券业协会发布证券公司全面风险管理规范,明确指出证券公司应当建立健全数据治理和质量控制机制。2018 年 5 月,银保监会(原银监会)发布银行业金融机构数据治理指引,要求银行业应该将数据治理纳入公司治理范畴。2018 年,中国支付清算协会针对非银行支付机构数据资产管理状况开展了调研。医疗行业,2018 年 9 月,国家卫生健康委员会印发 国家健康医疗大数据标准、https:/ 的目的是创建可预测的交付和变更数据的管理职能,其利用适当的安全等级、质量要素和元数据级别自动化完成数据交付工作,以动态提高数据管理运作模式。数据资产管理实践白皮书(3.0 版)(2018)中国信息通信研究院&CCSA TC601 8 安全和服务管理办法(试行)的通知,充分发挥健康医疗大数据作为国家重要基础性战略资源的作用。在工业领域,在工业和信息化部信息化与软件服务业司指导下,工业互联网产业联盟(AII)联合中国信息通信研究院发布了中国工业企业数据资产管理调查报告(2018)。国家层面,数据合规性与数据跨境流动成为各国关注重点。2017年 6 月 1 日正式生效的中华人民共和国网络安全法第三十七条规定:“关键信息基础设施的运营者在中华人民共和国境内运营中收集和产生的个人信息和重要数据应当在境内存储。因业务需要,确需向境外提供的,应当按照国家网信部门会同国务院有关部门制定的办法进行安全评估”。2018 年 5 月 25 日,一般数据保护条例(GDPR)正式在欧盟实施。各国对于数据跨境流动的关注则包含了数据主权、隐私保护、法律适用与管辖、乃至国际贸易规则等内容。中国信息通信研究院&CCSA TC601 数据资产管理实践白皮书(3.0 版)(2018)9(四四)变革中的数据资产管理变革中的数据资产管理 随着大数据的迅猛发展,数据资产管理相对传统的数据管理是正正在变革的,逐渐呈现一些新特点,可以从数据对象、处理架构、组织职能、管理手段和应用范围五个方面来认识,如图 2 所示。图 2 大数据背景下的数据资产管理特点特征 1.数据对象纷繁复杂 数据作为数据资产管理的对象,体现出数据规模海量庞大、数据格式种类繁杂以及数据来源各式各样等特征。在数据量方面,单一机构的数据规模由以前的 GB 级上升到 TB 级,甚至 PB 级、EB 级,数据增速快。在数据格式种类方面,除传统的结构化数据之外,文本数据、图像数据、语音数据、视频数据等半结构化数据或非结构化数据数据资产管理实践白皮书(3.0 版)(2018)中国信息通信研究院&CCSA TC601 10 占比越来越大,种类日益丰富。在数据来源方面,数据既包括内部数据,也包括来自第三方的外部数据,既包括传统业务处理采集的业务数据,也包括手机终端、传感器、机器设备、网站网络、日志等技术产生的数据。数据资产呈现数据对象海量、多样、多元化等特点。2.处理架构更新换代 处理架构的更新换代体现在两个方面。一方面是底层架构,数据处理的底层架构快速的向分布式系统迁移。以 Hadoop、Spark 等分布式技术和组件为核心的“计算&存储混搭”的数据处理架构,能够支持批量和实时的数据加载以及灵活的业务需求。另一方面是数据的预处理流程正在从传统的 ETL 结构向 ELT 转变。传统的数据集成处理架构是 ETL 结构,这是构建数据仓库的重要一环,即用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。而大数据背景下的架构体系是 ELT结构,其根据上层的应用需求,随时从数据湖中抽取数据建模分析。3.组织职能升级变迁 传统的管理制度体系中,数据管理职能主要由 IT 部门来负责,是 IT 部门的一项工作,业务部门配合 IT 部门执行数据管理,提出需求。随着数据分析与业务融合越来越深入,业务部门逐步成为大数据应用的主角,因而数据资产管理在企业中扮演越来越重要的角色。出 数据湖(Data Lake):数据湖是一种在系统或存储库中以自然格式存储数据的方法。通常以对象块或文件等模式和结构形式匹配数据。数据湖的主要目的是对企业中所有数据进行统一存储,从原始数据转换为用于报告、可视化和机器学习等各种转换后的数据。数据湖能够存储结构化数据,半结构化数据以及非结构化数据。来源:维基百科 中国信息通信研究院&CCSA TC601 数据资产管理实践白皮书(3.0 版)(2018)11 现了越来越多的企业设置专门的“数据管理”职能部门或首席数据官(CDO,Chief Data Officer)岗位。在这种变迁背景下,数据管理的组织架构也面临革新的需求。4.管理手段自动智能 依靠“手工人力”的电子表格数据治理模式即将被“自动智能”的“专业工具”取代,越来越多的数据管理员、业务分析师和数据领导者采用“平台工具”来梳理元数据、主数据,构建模型和管控质量。随着机器学习、深度学习技术的成熟,相关专项解决方案和平台工具系统的技术局限性如效率低、差错率高、扩展性差等将被一一攻破,能够有效地解放人力,提高效率和精度。5.应用范围不断扩大 数据的应用范围在不断扩大,由传统的支持管理需要的战略决策分析为主,发展为支撑业务一线业务场景的战术性决策。数据资产的意义价值也从对内强化能力扩展到了对外合作开放上,从而实现数据资产保值到增值的跨越。战略决策分析一般包括管理优化、研判决策、风险合规、业务拓展、管控成本等。由原来的只应用于领导决策场景扩展到部门级业务分析使用。战术性决策包括智能推荐、精准营销、分析报告以及风险防范等。在跨企业的业务合作中,数据不可避免的也会流通到上下游的合作伙伴。从使用对象来看,数据资产的使用者不仅包括企业决策人员,还包括运维用户、业务管理人员、数据分析人员、数据科学家等各种角色。数据应用范围越广,就越需要智数据资产管理实践白皮书(3.0 版)(2018)中国信息通信研究院&CCSA TC601 12 能化的数据资产管理技术及完备的管理制度作为支撑,从而实现数据精细化管控和数据价值最大化。二、数据资产管理的主要内容 数据资产管理框架如图 3 所示,包含 8 个管理职能和 5 个保障措施。管理职能是指落实数据资产管理的一系列具体行为,保障措施是为了支持管理职能实现的一些辅助工作。本章主要描述具体的管理职能和保障措施的详细内容。图 3 数据资产管理体系架构(一一)管理职能管理职能 数据资产管理的管理职能包括数据标准管理、数据模型管理、元数据管理、主数据管理、数据质量管理、数据安全管理、数据价值管理以及数据共享管理等 8 个方面,详细阐述如下。1.数据标准管理 数据标准是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。数据标准一般包括三个要素:标准分类、标准信息项(标准内容)和相关公共代码(如国别代码、邮政编码)。数据标准中国信息通信研究院&CCSA TC601 数据资产管理实践白皮书(3.0 版)(2018)13 通常可分为基础类数据标准和指标类数据标准。基础类数据标准一般包括数据维度标准、主数据标准、逻辑数据模型标准、物理数据模型标准、元数据标准、公共代码标准等。指标类数据标准一般分为基础指标标准和计算指标(又称组合指标)标准。基础指标一般不含维度信息,且具有特定业务和经济含义,计算指标通常由两个以上基础指标计算得出。数据标准管理是指数据标准的制定和实施的一系列活动,关键活动包括:理解数据标准化需求;构建数据标准体系和规范;规划制定数据标准化的实施路线和方案;制定数据标准管理办法和实施流程要求;建设数据标准管理工具,推动数据标准的执行落地。评估数据标准化工作的开展情况 数据标准管理的目标是通过统一的数据标准制定和发布,结合制度约束、系统控制等手段,实现企业大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理,为数据资产管理活动提供参考依据。2.数据模型管理 数据模型是现实世界数据特征的抽象,用于描述一组数据的概念和定义。数据模型从抽象层次上描述了数据的静态特征、动态行为和约束条件。数据模型所描述的内容有三部分:数据结构、数据操作(其数据资产管理实践白皮书(3.0 版)(2018)中国信息通信研究院&CCSA TC601 14 中 ER 图数据模型中无数据操作)和数据约束,形成数据结构的基本蓝图,也是企业数据资产的战略地图。数据模型按不同的应用层次分成概念数据模型、逻辑数据模型、物理数据模型三种类型。概念模型:是一种面向用户、面向客观世界的模型,主要用来描述现实世界的概念化结构,与具体的数据库管理系统(DBMS,Database Management System)无关;逻辑模型:是一种以概念模型的框架为基础,根据业务条线、业务事项、业务流程、业务场景的需要,设计的面向业务实现的数据模型。逻辑模型可用于指导在不同的 DBMS系统中实现。逻辑数据模型包括网状数据模型、层次数据模型等;物理模型:是一种面向计算机物理表示的模型,描述了数据在储存介质上的组织结构。物理模型的设计应基于逻辑模型的成果,以保证实现业务需求。它不但与具体的 DBMS有关,而且还与操作系统和硬件有关,同时考虑系统性能的相关要求。数据模型管理是指在信息系统设计时,参考业务模型,使用标准化用语、单词等数据要素来设计企业数据模型,并在信息系统建设和运行维护过程中,严格按照数据模型管理制度,审核和管理新建数据模型,数据模型的标准化管理和统一管控,有利于指导企业数据整合,提高信息系统数据质量。数据模型管理包括对数据模型的设计、数据模型和数据标准词典的同步、数据模型审核发布、数据模型差异对比、中国信息通信研究院&CCSA TC601 数据资产管理实践白皮书(3.0 版)(2018)15 版本管理等。数据模型管理的关键活动包括:定义和分析企业数据需求;定义标准化的业务用语、单词、域、编码等;设计标准化数据模型;制定数据模型管理办法和实施流程要求;建设数据模型管理工具,统一管控企业数据模型。数据模型是数据资产管理的基础,一个完整、可扩展、稳定的数据模型对于数据资产管理的成功起着重要的作用。通过数据模型管理可以清楚地表达企业内部各种业务主体之间的数据相关性,使不同部门的业务人员、应用开发人员和系统管理人员获得关于企业内部业务数据的统一完整视图。3.元数据管理 元数据(Metadata)是描述数据的数据。元数据按用途不同分为技术元数据、业务元数据和管理元数据。技术元数据(Technical Metadata):描述数据系统中技术领域相关概念、关系和规则的数据;包括数据平台内对象和数据结构的定义、源数据到目的数据的映射、数据转换的描述等;业务元数据(Business Metadata):描述数据系统中业务领域相关概念、关系和规则的数据;包括业务术语、信息分类、指标、统计口径等;管理元数据(Management Metadata):描述数据系统数据资产管理实践白皮书(3.0 版)(2018)中国信息通信研究院&CCSA TC601 16 中管理领域相关概念、关系、规则的数据,主要包括人员角色、岗位职责、管理流程等信息。元数据管理(Meta Data Management)是数据资产管理的重要基础,是为获得高质量的、整合的元数据而进行的规划、实施与控制行为。元数据管理的内容可以从以下六个角度进行概括,即“向前看”:“我”是谁加工出来的;“向后看”:“我”又支持了谁的加工;“看历史”:过去的“我”长什么样子;“看本体”:“我”的定义和格式是什么;“向上看”:“我”的父节点是谁;“向下看”:“我”的子节点是谁。元数据管理的关键活动包括:理解企业元数据管理需求;开发和维护元数据标准;建设元数据管理工具;创建、采集、整合元数据;管理元数据存储库;分发和使用元数据。元数据分析(血缘分析、影响分析、数据地图等)通过元数据管理活动,可以使企业数据信息的描述和分类实现格式统一,有助于理解数据的真实含义,为数据资源的管理和数据应用奠定了基础。4.主数据管理 主数据(Master Data)是是指用来描述企业核心业务实体的数据,是企业核心业务对象、交易业务的执行主体。是在整个价值链上中国信息通信研究院&CCSA TC601 数据资产管理实践白皮书(3.0 版)(2018)17 被重复、共享应用于多个业务流程的、跨越各个业务部门、各个系统之间共享的、高价值的基础数据,是各业务应用和各系统之间进行信息交互的基础。从业务角度,主数据是相对“固定”的,变化缓慢。主数据是企业信息系统的神经中枢,是业务运行和决策分析的基础。例如供应商、客户、企业组织机构和员工、产品、渠道、科目 COA、BOM 等。主数据管理(MDM,Master Data Management)是一系列规则、应用和技术,用以协调和管理与企业的核心业务实体相关的系统记录数据。主数据管理的关键活动包括:理解主数据的整合需求;识别主数据的来源;定义和维护数据整合架构;实施主数据解决方案;定义和维护数据匹配规则;根据业务规则和数据质量标准对收集到的主数据进行加工清理 建立主数据创建、变更的流程审批机制 实现各个关联系统与主数据存储库数据同步 方便修改、监控、更新关联系统主数据变化 主数据管理通过对主数据值进行控制,使得企业可以跨系统的使用一致的和共享的主数据,提供来自权威数据源的协调一致的高质量主数据,降低成本和复杂度,从而支撑跨部门、跨系统数据融合应用。数据资产管理实践白皮书(3.0 版)(2018)中国信息通信研究院&CCSA TC601 18 5.数据质量管理 数据质量是保证数据应用的基础。衡量数据质量的指标体系有很多,几个典型的指标有:完整性(数据是否缺失)、规范性(数据是否按照要求的规则存储)、一致性(数据的值是否存在信息含义上的冲突)、准确性(数据是否错误)、唯一性(数据是否是重复的)、时效性(数据是否按照时间的要求进行上传)。数据质量是描述数据价值含量的指标,就像铁矿石的质量,矿石的质量高,则炼出来的钢材就会多;反之,矿石的质量低,不但练出来的钢材少了,同时也增加了提炼的成本。数据质量管理是指运用相关技术来衡量、提高和确保数据质量的规划、实施与控制等一系列活动。数据质量管理工作中的关键活动包括:开发和提升数据质量意识;定义数据质量需求;剖析、分析和评估数据质量;定义数据质量测量指标;定义数据质量业务规则;测试和验证数据质量需求;确定与评估数据质量服务水平;持续测量和监控数据质量;管理数据质量问题;分析产生数据质量问题的根本原因 中国信息通信研究院&CCSA TC601 数据资产管理实践白皮书(3.0 版)(2018)19 制定数据质量改善方案 清洗和纠正数据质量缺陷;设计并实施数据质量管理工具;监控数据质量管理操作程序和绩效。通过开展数据质量管理工作,企业可以获得干净、结构清晰的数据,是企业开发大数据产品、提供对外数据服务、发挥大数据价值的必要前提,也是企业开展数据资产管理的重要目标。6.数据安全管理 数据安全管理是指对数据设定安全等级,保证其被适当地使用。企业通过数据安全管理,规划、开发和执行安全政策与措施,提供适当的身份以确认、授权、访问与审计等功能。数据安全管理的关键活动包括:理解数据安全需求及监管要求;定义业务敏感数据对象 定义数据安全策略;定义数据安全标准 定义数据安全控制及措施;管理用户、密码和用户组成员;管理数据访问视图与权限;监控用户身份认证和访问行为;定义数据安全强度,划分信息等级;部署数据安全防控系统或工具;数据资产管理实践白皮书(3.0 版)(2018)中国信息通信研究院&CCSA TC601 20 审计数据安全。数据安全管理的目标是建立完善的体系化的安全策略措施,全方位进行安全管控,通过多种手段确保数据资产在“存、管、用”等各个环节中的安全,做到“事前可管、事中可控、事后可查”。7.数据价值管理 数据价值管理是对数据内在价值的度量,可以从数据成本和数据应用价值两方面来开展。数据成本一般包括采集获取和存储的费用(人工费用、IT 设备等直接费用和间接费用等)和运维费用(业务操作费、技术操作费等)。数据应用价值主要考虑数据资产的分类、使用频次、使用对象、使用效果和共享流通等因素。当前,对于数据资产评估的研究还处于早期阶段,评估方法手段还不成熟。可能的方法包括市场法、成本法和收益法三种,三种方法的优缺点如表 1 所示。以收益法为例,将企业数据资产未来可能产生的收益折现为现金流进行计算。对数据资产价值的估算可以帮助企业更准确的掌握信息化投资收益,也是数据交易流通的前提之一。表 1 数据资产价值评估典型方法比较 成本法成本法 收益法收益法 市场法市场法 优点优点 容易把握和操作 能真实反映价值,易被双方接受 能反映资产目前市场状况,易被双方接受 缺点缺点 对价值的估算往往偏低 预测难度大、偏主观 对市场环境要求高、评估难度大 适用场景适用场景 第三方机构,不以交易为目的,如政务数据 适