大数据标准化白皮书(2018版).pdf

大数据标准化白皮书（2018 版）编写单位：中国电子技术标准化研究院 全国信息技术标准化技术委员会大数据标准工作组 二零一八年三月 大数据标准化白皮书（2018 版）顾问指导组 梅 宏 谢少锋 戴 红 赵 波 林 宁 李冠宇 孙文龙 商 超 刘大山 傅永宝 侯建仁 全国信息技术标准化技术委员会大数据标准工作组 组 长：梅 宏 副组长：孙文龙 杜小勇 吴建明 闵万里 秘书长：吴东亚 联络员：刘大山 傅永宝 侯建仁 编写单位（排名不分先后）中国电子技术标准化研究院 勤智数码科技股份有限公司 神州数码系统集成服务有限公司 北京大学 华为技术有限公司 浪潮软件集团有限公司 美林数据技术股份有限公司 陕西省信息化工程研究院 北京东方国信科技股份有限公司 湖北省标准化与质量研究院 中电长城网际系统应用有限公司 交通运输部科学研究院 中国科学院信息工程研究所（信息安全国家重点实验室）江苏省经济和信息化委员会 成都市标准化研究院 中兴通讯股份有限公司 北京市金杜律师事务所 成都四方伟业软件股份有限公司 重庆大数据研究院有限公司 江苏中堃数据技术有限公司 深圳市华傲数据技术有限公司 北京软件和信息服务交易所有限公司 星环信息科技（上海）有限公司 九次方大数据信息集团有限公司 湖北省楚天云有限公司 交通运输部科学研究院 编写组（排名不分先后）代 红 吴东亚 董 建 张 群 刘宇峰 李 正 张慧敏 马珊珊 光 亮 尹 卓 黄先芝 于 洋 马红霞 张 勇 张永丽 谢秋琪 闵京华 郭亚茹 刘 莎 马洪杰 李佳承 王 东 卫凤林 叶润国 宁宣凤 周 刚 刘 斌 魏 清 何运昌 于铁强 周洪明 胡 荣 夏 天 杨 坤 赵 茅 张 巍 赵俊峰 I 目 录 1 前言.1 1.1 研究背景.1 1.2 研究目标及意义.2 2 相关政策法规.3 2.1 国外政策.3 2.1.1 美国大数据政策.3 2.1.2 欧盟大数据政策.4 2.1.3 英国大数据政策.5 2.1.4 法国大数据政策.5 2.1.5 日本大数据政策.6 2.1.6 印度大数据政策.7 2.1.7 澳大利亚大数据政策.7 2.2 国内政策.8 2.2.1 国家和行业政策.8 2.2.2 国家大数据综合试验区.10 2.2.3 地方政策.13 2.3 安全隐私法律法规.15 2.3.1 国内外立法现状.16 2.3.2 大数据立法趋势和对产业的影响.19 3 大数据发展现状和趋势分析.21 3.1 大数据核心产业链.21 3.1.1 大数据产业生态商业角色构成.21 3.1.2 大数据产业生态商业模式分析.23 3.2 重点领域应用.24 3.2.1 社会管理与公共服务.24 3.2.2 农业.31 3.2.3 制造业.32 3.2.4 电力及水务领域.33 3.2.5 通信与电子商务.35 3.2.6 交通运输领域.37 3.2.7 邮政领域.38 3.2.8 金融领域.39 3.2.9 科学研究.40 3.2.10 教育领域.41 3.2.11 卫生领域.43 II 3.2.12 文化领域.44 3.3 大数据发展趋势分析.44 4 大数据参考架构.47 4.1 参考架构.47 4.2 参考架构中涉及的相关内容.49 4.2.1 系统协调者.49 4.2.2 数据提供者.49 4.2.3 大数据应用提供者.50 4.2.4 大数据框架提供者.52 4.2.5 数据消费者.54 4.2.6 安全和隐私.54 4.2.7 管理角色.57 5 大数据标准化现状.59 5.1 国外标准化现状.59 5.1.1 ISO/IEC JTC 1.59 5.1.2 ITU-T.61 5.1.3 IEEE BDGMM.62 5.1.4 NIST.63 5.2 国内标准化现状.64 5.2.1 国家标准现状.64 5.2.2 行业及地方标准现状.66 6 大数据标准体系.68 6.1 大数据标准体系框架.68 6.2 标准明细表.70 6.3 重点标准描述.75 7 我国大数据标准化工作建议.77 7.1 完善大数据标准体系建设.77 7.2 加强大数据标准的宣传推广工作.77 7.3 加强大数据重点标准应用示范工作.77 7.4 加强大数据标准化在数据治理领域的推进作用.78 7.5 加快大数据标准化人才队伍的培养.78 7.6 加快我国大数据标准的国际化步伐.78 8 附件：成功案例.79 1 1 前言前言 1.11.1 研究背景研究背景 全球已步入大数据时代，互联网上的数据量每两年会翻一番。截止到 2013年，全球数据量为 4.3 泽字节，2020 年有望达到 40 泽字节。如果将数据视为一种生产资料，大数据将是下一个创新、竞争、生产力提高的前沿，是信息时代新的财富，价值堪比石油。大数据所能带来的巨大商业价值，被认为将引领一场足以与 20 世纪计算机革命匹敌的巨大变革。当前，世界各国政府和国际组织都认识到了大数据的重要作用，将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，世界工业发达国家纷纷制定相关政策，积极推动大数据相关技术的研发与落实。我国正处于数字经济发展的转型时期，信息的公开、共享与服务成为时代发展的主题。信息逐渐成为与物质和能源同等重要的资源，以开发和利用信息资源为目的的经济活动迅速扩大，逐渐占据或超越工业活动在国民经济活动中的地位。大数据的出现是跨学科技术与应用发展的结果。对于大数据，自然科学家强调在网络虚拟环境下对于密集型数据的研究方法，社会科学家则看重密集型数据后面隐藏的价值与推动社会发展的模式。目前大数据在支撑履行政府职能、保障公共安全、实施社会治理、支持重大决策和改进公共服务等方面发挥出越来越重要的作用。党中央、国务院高度重视大数据发展，将大数据上升为我国国家战略之一。党的十九大明确提出“推动互联网、大数据、人工智能和实体经济深度融合”。国务院促进大数据发展行动纲要（国发201550 号）明确指出要“建立标准规范体系”。工信部 2017 年初发布的 大数据产业发展规划（20162020 年）（工信部规2016412）中部署了“推进大数据标准体系建设，加强大数据标准化顶层设计，逐步完善标准体系，发挥标准化对产业发展的重要支撑作用”的重点任务。2017 年 5 月 14 日，习近平在“一带一路”国际合作高峰论坛上发表讲话“要坚持创新驱动发展，加强在数字经济、人工智能、纳米技术、量子计算机等前沿领域合作，推动大数据、云计算、智慧城市建设，连接成 21 世纪的数字2 丝绸之路。”2017 年 12 月 8 日习近平在中共中央政治局第二次集体学习时强调“实施国家大数据战略加快建设数字中国”。2016 年，在工信部信软司和国标委工业二部的指导下，中国电子技术标准化研究院组织国内相关产、学、研单位的专家针对大数据应用、产业、技术与标准化需求进行了问卷调研。通过对调研数据的分析，初步形成了对于大数据应用、技术、产业发展以及标准化需求的分析成果。作为业界共同研究的基础，由 30家单位共同编制形成并发布了大数据标准化白皮书2016 版，得到了业界广泛关注。2018 版白皮书在 2016 版的基础上更新了大数据政策，分析了大数据发展的最新趋势和重点领域的应用实践，完善了大数据标准体系，给出了最新的大数据标准化工作建议，大数据标准相关成果的推进在本版本中也有所体现。1.21.2 研究目标及意义研究目标及意义 本白皮书介绍了国内、国外主要国家在大数据领域的发展战略、发展现状和趋势，描述了大数据的核心产业链以及大数据重点领域的应用实践,力图从应用、技术、产业、标准等角度，勾画出大数据发展的整体轮廓；从数据生存周期的角度提出大数据参考架构；同时抛开其他影响因素，从数据自身的角度提出在不断创新应用与服务模式下的大数据标准体系及大数据标准化路线；最后提出了我国大数据标准化工作建议。本白皮书立足于大数据产业发展的社会转型历史时期所具有的政策、经济与文化等特点,分析处于初期发展阶段的大数据产业对于经济、社会的作用和影响，旨在与业界分享我们在大数据领域的研究成果和实践经验,呼吁社会各界共同关注大数据的政策研究、技术投入、标准建设与服务应用，共同推动大数据的发展，提升社会整体决策与服务管理能力。3 2 相关政策法规相关政策法规 2.12.1 国外政策国外政策 2.1.1 美国大数据政策美国大数据政策 2009 年 5 月，美国政府推出 Data.gov，这是为了增加政府资料透明度而设立的一系列网站。宣布实施“开放政府计划”（OpenGovernmentInitiative），这项计划提出利用整体、开放的网络平台，公开政府信息、工作程序和决策过程，以鼓励公众交流和评估，增进政府信息的可及性，强化政府责任，提高政府效率，增进与企业及各级政府间的合作，推动政府管理向开放、协同、合作迈进。联邦政府同时开通了旗舰级项目“一站式”政府数据下载网站 Data.gov，只要不涉及隐私和国家安全的相关数据，均需全部在该网站公开发布。Data.gov 的上线意味着美国政府数据仓库的正式建立，标志着美国政府信息进一步公开与透明。2012 年 3 月，美国白宫科技政策办公室发布大数据研究和发展计划，成立“大数据高级指导小组”，旨在大力提升美国从海量复杂的数据集合中获取知识和洞见的能力。具体实现三个目标：（1）开发能对大量数据进行收集、存储、维护、管理、分析和共享的最先进的核心技术；（2）利用这些技术加快科学和工程学领域探索发现的步伐，加强国家安全，转变现有的教学方式；（3）扩大从事大数据技术开发和应用的人员数量。2013 年 11 月，美国信息技术与创新基金会发布支持数据驱动型创新的技术与政策。建议世界各国的政策制定者应采取措施，鼓励公共部门和私营部门开展数据驱动型创新。指出“数据驱动型创新”作为崭新命题，所面临的包括新概念、新技术的挑战；并就政府如何支持数据型驱动的创新提出了建议：一是政府应大力培养所需的有技能的劳动力；二是政府要推动数据相关技术的研发。2014 年 5 月，美国总统行政办公室发布大数据：把握机遇，保存价值。对美国大数据应用与管理的现状、政策框架和改进建议进行了集中阐述；并就保护个人隐私的价值、数字时代负责任的教育创新、大数据与歧视、执法与安全保4 护、数据公共资源化提出建议。2016 年 5 月，美国总统科技顾问委员会发布了 NITRD 编写的联邦大数据研究和开发战略计划，该计划在已有基础上提出美国下一步的大数据七大发展战略，代表大数据研究和开发（RD）的关键领域。包括在科学，医学和安全的各个方面促进人们的理解；确保国家在研发上的持续领导；提高国家应对社会压力的能力以及通过研究和开发面向国家和世界的环境问题。2.1.2 欧盟大数据政策欧盟大数据政策 2014 年欧盟委员会发布了数据驱动经济战略，聚焦深入研究基于大数据价值链的创新机制，提出大力推动“数据价值链战略计划”，通过一个以数据为核心的连贯性欧盟生态体系，让数据价值链的不同阶段产生价值。数据价值链的概念为数据的生命周期，从数据产生、验证以及进一步加工后，以新的创新产品和服务形式出现的利用与再利用。2015 年欧盟大数据价值联盟正式发布了欧盟大数据价值战略研究和创新议程（以下简称为议程），设定了欧盟国家和区域层面的发展目标，以实现未来欧洲在世界创造大数据价值中的领先地位。议程建议建立欧盟大数据契约的合同制公私伙伴(cPPP)，以在欧盟 2020 地平线(Horizon 2020)、各国和地区计划中推行议程，增强泛欧的研究与创新工作，形成清晰的研究、技术发展和投资战略。议程从七个方面指出了在欧盟建立良好的大数据生态系统所需要解决的主要挑战。议程对大数据发展目标的预期影响进行了研究，设定了关键绩效指标，以评估预期影响。2017 年欧盟委员会发布打造欧洲数据经济报告，对数据驱动型经济的潜力、面临的障碍、解决方案等进行了分析总结。报告指出，大数据是经济增长、就业和社会进步的重要资源，2015 年欧盟数据经济的价值是 2720 亿欧元，接近于欧盟地区生产总值的 1.9