油气行业数字化能力-数据能力分析报告2020(1).pdf

北京中油瑞飞信息技术有限责任公司数字化能力中心走 向 油 气 数 字 世 界发布单位 数 据 能 力分 析 报 告（简版）油气行业数 字 化 能 力目录 1.1.数字化能力图谱.5 1.1.1.IDC 数字化平台能力图谱.5 1.1.2.Gartner 数字平台能力图谱.15 1.1.3.典型厂商数字平台能力图谱.18 1.1.4.大数据能力图谱全景.23 1.1.5.中国大数据市场分析.24 1.1.6.中国大数据生态体系.26 1.1.7.大数据能力应用场景.28 2.数据技术趋势.30 2.1.技术成熟度曲线.30 2.1.1.数据中台.31 2.1.2.增强数据和分析.32 2.2.优先级矩阵.36 2.3.元数据管理魔力象限.40 2.4.主数据管理魔力象限.41 2.5.数据质量象限.42 2.6.数据与分析服务魔力象限.44 2.7.数据中枢、数据湖与数据仓库.47 3.数据基础设施.49 3.1.数据库及数据仓库.49 3.2.数据湖.52 3.3.数据中台.53 4.数据采集能力.53 4.1.数据集成工具.53 4.2.数据同步工具.54 5.数据存储能力.55 6.数据管理能力.55 6.1.数据标准管理.56 6.2.数据模型管理.56 6.3.元数据管理.58 6.4.主数据管理.59 6.5.数据质量管理.60 6.6.数据安全管理.61 6.7.数据价值管理.62 6.8.数据共享管理.64 7.数据处理能力.65 7.1.离线处理.65 7.2.实时处理.65 7.3.数据模型.65 7.4.数据挖掘.65 8.数据服务能力.66 9.数据能力生态.67 9.1.技术生态.67 9.2.商业生态.67 10.数据能力规划与实施.67 10.1.数据能力规划.67 10.1.1.瑞飞公司数字化平台能力规划.67 10.1.2.瑞飞公司数据能力规划.68 10.1.3.瑞飞公司数据能力应用场景.69 10.2.数据能力实施.70 10.2.1.数据能力实施方案.70 10.2.2.大数据平台.71 10.2.3.数据仓库.71 10.2.4.数据治理平台.71 10.2.5.数据中台.71 10.2.6.数据应用.71 11.附录：术语.71 1.1.数字化能力图谱 1.1.1.IDC 数字化平台能力图谱 IDC 将“未来企业”定义为数字化转型 2.0 阶段的目标，其核心就是能够实现规模化的倍增创新。这些企业在数字化的道路上坚定前行，实现规模化的数字运营，数字化的创新速度比传统业务高出个数量级。企业作为转型的主体必须充分认识到转型过程的期性、持续性和复杂性。从商业模式、企业内部管理、数字化技术的应与实践等战略维度，覆盖从研发、制造、营销到管理架构和运营理念的全更新，将数字化转型这关键任务从实验到实践、从局部到全局、从浅尝辄止到深入践行，不断地朝着未来企业的方向迈进。IDC“未来企业”研究认为，数字化技术将重新定义企业的业务流程、客户体验、产品和服务、商业模式。而成为未来企业的关键在于打造企业自身面向未来的 5 大关键维度，全面推进向未来的经营策略。围绕业务流程、产品服务、用户体验、工作资源、商业模式、管理与信任等六方便的创新将进步优化企业在数据经济时代的持续增模式、用数字化产品服务创造新的业绩增点。新的工作作模式将连接企业与企业之间、企业不同部之间、企业与员、企业与顾客及合作伙伴之间等涉及企业内外部的切经营活动。通过大数据和智能化技术大大提升市场洞察能力，寻找到新的商业机会，优化商业运营模式，完成胸有成竹的商业模式创新。基于数字技术的未来企业将建立与传统企业截然不同的管理和信任机制，创建独具数字经济时代的企业文化。面对客户的新变化、技术的新架构、行业的新态以及企业组织的新变化，IDC 认为洞察客户能力、智能化组织能力、坚实的技术能力和强大的生态能力是企业数字化创新的内生能力，这些能力的构建需要企业对策略、员、流程、技术、治理和数据等各方面有纯熟的把控。图 1：未来企业应该具备的四大能力，IDC,2020（一）客户能力 超凡的体验需求、弹性的运营需求和可靠的信任需求是数字化转型 2.0 时代的客户需求新变化。随着数字原生代的加，数字化、个性化、快速化和全景化的需求奔涌而至，客户需求正在转变为千千和一人千面的个性化需求之间。因此企业必须具备深了解和洞察客户的能，真正以客户的需求为出发点。（二）组织能力 应对未来企业的竞争，企业必须建立个智能化的组织架构和管理体系，以适应新时代的动态工作模式。企业的创新思维通过强的软件系统进行重新定义和落地实现，形成企业组织的新能力。智能组织的能是企业从组织层面迎接客户、市场变化、参与市场竞争的软实力。（三）技术能力 企业的 IT 技术架构需要得到全新改造和升级，利弹性数字基础架构和连接内外应用的数字化体验提升企业的数字化管理平。技术和数据是企业的活力源，新的技术架构和数据治理能力将持企业更高效的运营，创造更多利润增点。企业认识到企业业绩和 IT 技术架构之间的密切关系，着重建立坚实的数字底座。（四）生态能力 未来企业采用种“由外及内”的方法，通过打造利益相关者的生态系统（例如：客户，合作伙伴，员工和社区等），建立泛的连接，使其产品及业务模式实现动态发展。企业运营是一个系统化体系，企业的运营成败将取决于处于什么样的生态系统中。无论是产品生产的上下游合作伙伴，还是在整个产业生态中的定位，或者是企业发展的金融支持资源。相应的，未来企业会有效、充分地参与共享经济，搭建数据系统，使数据产经济效益，打造基 于平台的盈利模型，有效评估险和回报，高效优化产品，使其更符合实际需求，实现动态定价。因此生态系统的能是一种全局化的能力。洞察客户能、智能化组织能力、技术架构能力和生态系统能力的构建离不开技术的深度赋能。通过对云计算、大数据、AI 等数字化转型关键技术的融合使用，企业在以云为基础、以智能为核的数字化转型平台上，以统一的数字化平台实现和规划创新，才能真正构建出数字经济时代市场亟需的企业核能力。通过统一的数字技术平台，在内部外实现数据交换共享、产生基于数据的洞察，构建敏捷弹性的基础架构体系支撑，为企业的四大关键能力的构建提供坚定的数字化底座，同时面向外部伙伴以数字化能实现规模化效益输出。图 2：四大能力需要数字平台使能与支撑，IDC，2020（一）智能核心 基于数据管理、分析、认知、智能和机器学习的智能云核。智能核将帮助未来企业建提升企业和员的智能化运营管理和协同能。图 3：数字技术平台智能核心，IDC，2020 （二）集成与编排服务 基于云的 API 策略，协调整个态系统的数据交换:基于云的 API 策略，开放应程序编程接，持云端的可扩展性，与态体系内的合作伙伴在数据的发现和获取，数据价值开发与实现，知识的整合与作流的协同通合作，实现有效的信息与数据转型。图 4：数字技术平台集成与编排服务，IDC，2020（三）开发员服务 开发者将围绕企业数字化转型中的技术需求与业务需要，在产品层开发和集成更加丰富的产品；在业态层，企业与业开发者起构建基于业特性的解决案，为企业深耕业集聚专业的量。数字技术平台围绕云计算的开源态系统的形成，能够为开发员服务于企业的态创新提供更多的可能。数字平台的开发员服务应为企业的商业创新从APP 的现代化、云部署的位置的式、开发模式、代码迁移等提供基础的服务。图 5：数字技术平台开发人员服务，IDC,2020（四）内外部参与服务 以数字技术平台为基础融合应能有效提升客体验技术，充分持向客和态系统的商业模式，从系统的集成到更好地基于统系统的深度参与，协调企业内部的各参与和互联互通，企业外部信息和资源及时有效交换，提升客洞察能和更好地进态系统建设。图 6：数字技术平台内外部参与服务，IDC，2020 在企业数字技术平台的持下，企业获得内部和外部相关数据，不断提升客洞察能，利智能核技术，提升企业数据管理、数据认知和智能、机器学习能，提升组织管理的智能化平，通过内外参与服务，加强向客营销和态系统的协同能建设。基于云的 API 战略的集成与编排服务让企业建的技术架构，跨越态系统合作伙伴进数据交互，撑未来企业的数字化运营底座。创新平台的定义，商业创新平台（BIP，Business Innovation Platform）是指基于数字技术平台，利新代数字化和智能化技术，以服务于企业的商业流程、体验、产品和服务、商业模式、作资源以及管理与信任创新，为企业业务和管理实现可持续发展与增的综合服务平台。商业创新平台是在数字化技术平台上以服务于商业创新为第标、聚焦企业数字化创新策略，为企业的商业创新提供服务的专平台。图 7：数字技术平台与商业创新平台 BIP，IDC,2020 图 8：商业创新平台，IDC,2020（一）以云为基础底座 云服务是数字化的支柱技术之一，计算和社会化是云服务的重要特征。云原生则是一套构建和运应程序的技术体系和方法论。云原生表应程序从设计之初即考虑到云的环境，原生为云设计，在云上以最佳姿势运，充分利和发挥云平台的弹性和分布式优势。（二）以数据为产要素 与企业经营相关的数据种类越来越多，数据量越来越，数据已经成为企业产的关键要素，商业创新平台以数字为产要素，在平台实现数据资源的交换和获取，产洞察，为企业的创新提供不可估量的产价值。（三）以智能为加速引擎 商业自动化、智能化将成为未来企业经营的常态。经过工智能武装的企业将会对市场和运营管理的变化做出快速反应，使其竞争同行对客户、竞争对手、规则制定者、合作伙伴的反应速度更快，赢得更的竞争优势。商业创新平台注企业创新所需的智能化能力，以 AI 赋能为关键的技术驱动点，服务于企业进智能化转型。（四）具备广泛的连接能力 5G、WiFi6 等通信技术的发展，将进步提升互联和物联传输速度和连接数量。商业技术平台以连接为触覆盖更的连接、共享、可协同，将链接的价值链在网-端-平台-应用中有效协同，将会迎来波商业模式创新的潮，商业价值会幅提。企业的商业创新和其所在的态系统密切相关，基于定规则的开放共赢是未来企业的运作模式，商业创新平台 BIP 也必然满企业态化发展的要求。因此商业创新平台应该能够帮助企业在进商业创新时将不同平台有效连接，此连接不仅是技术层的连接，更是态量的强效聚合。（五）提供安全信任的保障 任何商业运作的基础保障就是安全和信任。在数字经济时代，网络信息安全一直是企业和生态系统合作过程中最为关注的话题。商业技术平台在服务于企业的商业创新的同时必须构建安全可信任的平台环境和能力，信任力不但保护企业基本的运营安全，更是推动业务发展的潜在力量。信任的建能够产生新的业务价值，推动企业自身和生态伙伴的持续创新，商业技术平台应服务于企业内部 IT险、企业与外部共享 IT 资源的险以及企业数字活动的声誉和企业整体声誉。任何商业运作的基础保障就是安全和信任。在数字经济时代，网络信息安全一直是企业和生态系统合作过程中最为关注的话题。商业技术平台在服务于企业的商业创新的同时必须构建安全可信任的平台环境和能力，信任力不但保护企业基本的运营安全，更是推动业务发展的潜在力量。信任的建能够产生新的业务价值，推动企业自身和生态伙伴的持续创新，商业技术平台应服务于企业内部 IT险、企业与外部共享 IT 资源的险以及企业数字活动的声誉和企业整体声誉。用友商业创新平台 YonBIP，用搭积木的方式助企业数字化转型，为有效服务于企业的数字化转型和商业创新，用友商业创新平台 YonBIP 运数字化创新技术来帮助企业突破发展障碍，助力实现商业创新，完成向成为未来企业这一目标的关键转变。YonBIP 搭载着云平台，凝练中台思想（技术中台、数据中台、业务中台等），为企业在数字化转型中提供各个业务场景中的 SaaS 服务，如下图所示：图 9：用友商业创新平台 YouBIP 架构图，用友，2020 1.1.2.Gartner 数字平台能力图谱1 Gartner 数字业务技术平台，抽象服务主体与平台能力如下图所示：1 Gartner,A Digital Business Technology Platform Is Fundamental to Scaling Digital Business,2020 图 10：数字商业技术平台，Gartner，2017 Gartner 数字业务包括以下领域的技术平台：（1）信息系统平台：支持企业资源规划（ERP）和核心系统。（2）客户体验平台：包含面向客户的主要元素，如客户和消费者门户、多渠道商务和客户应用。（3）数据和分析平台：包含信息管理和分析能力。数据管理程序和分析应用程序为数据驱动的决策提供燃料，以及算法自动发现和操作。（4）物联网（IoT）平台：连接用于监控、优化的物理资产，控制和资产化。功能包括连接、分析和与核心的集成以及操作技术（OT）系统。（5）生态系统平台：支持外部生态系统的创建和连接，市场和社区。API 管理、控制和安全是主要因素。Gartner 数字业务技术平台，抽下业务能力与技术能力如下图所示：图 11：完整商业技术平台，Gartner，2017 许多公司在选择、部署和管理方面都有一个单一战略应用，业务能力是企业整合资源、能力的方式，为客户提供一致价值的信息、流程及其环境，以及需要采取哪些不同的应对措施战略挑战和机遇。Gartner 定义了三个类别或层次来区分不同的业务能力，公司需要管理以有效地交付业务战略，并帮助 IT 部门制定更合适的应用战略：记录系统：通常存在于业务能力中，明确关注标准化和/或运营效率，这些通常取决于监管/合规性要求。差异化系统：通常与实现独特性的业务能力相关公司流程或行业特定能力，这些能力维持公司的竞争力优势。创新系统：建立在临时基础上的新业务能力，以解决新兴的商业需求，商业机会，甚至新的商业模式，这些提供一个实验性的环境来测试新的想法并确定公司的下一个竞争优势。Gartner 分层应用战略，如下图所示：图 12：业务能力的三个层次，Gartner,2017 Gartner 分段业务能力示例，如下图所示：图 13：业务能力示例，Gartner，2017 1.1.3.典型厂商数字平台能力图谱2 业界数字化转型针对数字化能力众说纷纭，其中部分数字化转型厂商如云徙科技布局的数舰、数盈两大数智产品矩阵可供参考，包括数字中台、SaaS 新营销中台等数字 2 云徙科技,产品介绍，2020 商业云服务，以“业务+数据”双中台为核心技术，驱动企业数字化转型，详细如下图所示：图 14：数舰技术平台，云溪科技，2020 数舰技术平台 i-DE Tech 是基于云原生架构体系打造的服务企业数字中台建设的全景化平台基座。提供包含研发服务、大前端、网关、多云适配器、混合云管理以及开放平台等多个领域的技术能力和工具集，为企业数智化转型提效赋能。图 15：数舰数据中台，云溪科技，2020 数舰数据中台 i-DE Data 是基于大数据和人工智能技术打造的一站式数据整合能力平台和智能应用平台。集数据采集、融通、聚合、算法学习、管理、服务等功能于一体；并整合了新零售领域的常用数据资源、数据模型、标签体系与多种数据智能应用。图 16：数舰业务中台，云溪科技，2020 数舰业务中台 i-DE Biz 是基于云原生技术，以共享的商业能力域呈现的持续演进的企业级业务能力共享服务平台，提供了丰富的共享服务、体系化地建设企业能力域的方法和机制，并通过业务能力的配置、编排、扩展，支撑数字化应用的快速迭代创新，助力企业数智化转型。图 17：数舰全域会员，云溪科技，2020 数舰全域会员i-CDP致力于全域会员的生命周期管理，为企业提供忠诚度计划、会员360、会员全局档案等功能，帮助企业实现泛会员的高效管理。图 18：数舰全触点营销，云溪科技，2020 数舰全触点营销 i-Marketing 致力于客户全生命周期的数字化营销，为企业提供精准圈人、营销画布、生命周期营销引擎、效果监控等功能，帮助企业快速搭建精准化、自动化的营销能力。图 19：数舰全渠道交易，云溪科技，2020 数舰 全渠道交易 i-Commerce 致力于为企业提供丰富的交易触点和场景，以及 BBC、B2C、B2B、社区团购、微分销、直播等多样性的交易模式，帮助企业自建符合本身业务特点的商城体系，并通过全渠道运营平台，统一管控自建商城、第三方平台、线下门店的商品、订单、库存，实现完整的交易闭环。图 20：数舰全链路服务，云溪科技，2020 数舰 全链路服务 i-Service 是全链路数智客户服务平台，为企业快速构建数智化客户服务体系。提供全渠道在线客服、热线客服、AI 客服、智能工单和服务大脑五位一体的全场景全链路客户服务形态及服务能力。1.1.4.大数据能力图谱全景 在基础设施，云计算，人工智能，开源以及我们的经济和生活的整体数字化的不同进步交织在一起的推动下，数字世界“数据化”持续加速。围绕新一代收集，处理和分析海量数据的工具的出现，目前大数据技术已广为人知并已大规模部署，并且开始通过数据科学，机器学习和 AI 将智能应用到业务场景中，大数据平台及人工智能能力全景如下图所示：图 21：大数据平台及人工智能能力全景图谱，firstmark，2018 通过大数据平台及人工智能能力全景图谱分析，包括数据源与 API、数据资源、数据开源（大数据框架、数据流、数据访问与数据库、数据编排与管理、流数据与消息、统计工具和开发语言、人工智能运维与基础设施、人工智能、机器学习与深度学习、搜索、日志与监控、数据可视化、合作、数据安全）、跨基础设施分析、数据基础设施（私有 Hadoop、公有 Hadoop、流与内容数据库、NoSQL 数据库、NewSQL 数据库、图数据库、MPP 数据仓库、云数据仓库、无服务器框架、数据交换、数据集成、数据治理、数据管理与监控、数据存储、数据集群服务、数据产生与标签、人工智能运维、GPU 数据库与云、数据相关硬件）、数据分析与机器智能（数据分析平台、数据科学平台、BI 平台、数据可视化平台、机器学习、计算机视觉、水平 AI、语音与自然语言处理、搜索、日志分析、社交分析、Web与移动商业分析）、企业数据应用（销售、市场-B2B、市场-B2C、客户体验与服务、企业生产力、人力资本、法律、监管科技、合作关系、财务、后端-自动化与 RPA、数据安全）、企业行业应用（广告、教育、房地产、政府、智能、金融投资、金融贷款、保险、卫生健康、生命科学、运输、农业、商业、工业、其他）等。1.1.5.中国大数据市场分析 大数据在中国发展至今已有 10 年时间，技术趋于成熟，已经走过了概念推广、技术创新，来到了用落地的阶段。IDC 预测，中国大数据解决方案市场 2018-2023 年复合增长率达 17.3%，其中软件市场复合增长率为 20%。基础工具市场格局初见雏形，越来越多的企业开始提供整体行业解决方案，2018 年新成立的大数据公司中超过 70%的公司是面向垂直行业提供大数据解决方案的厂商。从技术子市场角度来看，市场份额最高的是关系型数据库管理工具，占大数据基础平台市场的 85.8%，复合增长率最高的是分布式管理平台，达到 50.4%；在分析工具与平台中商业分析市场份额最高占 63.5%，复合增长率最高的是高级分析预测，达到 29.2%。3 从应用行业角度来看，近几年大数据在各行各业都可以看到不少落地案例，尤其是在信息化水平较高的行业。金融行业是大数据应用最多的行业，国有银行和股份制银行的总行均建设 3 IDC，中国大数据市场生态体系研究，2019 了大数据平台，但大型银行地域覆盖面广、跨度大、不同机构所在地经济发展水平、消费者习俗等差异较大，总行很难高效贴进各地各具特色又瞬息万变的市场变化，因此，大型银行的一级分行建设大数据平台已成趋势，这种模式可以帮助分行更好地满足市场需求。在政府行业，受政府组织架构和“互联网+”政策的驱动，政府大力推进大数据建设，最近 1-2 年，面向百姓的政务大数据应用的出现，促使政务大数据上云。从总体来说，大数据的应用发展的确颇见成效，但让人惊艳的大数据应用还未诞生。这主要是因为数据仍有壁垒，没有完全打通，数据的价值还没有充分发挥出来。一方面需要各部门间加大开放数据的力度，另一方面也需要完善政策，保护公民的个人信息安全。值得注意的是数据空间在未来 5 年将保持高速增长。IDC 预测，2018 年-2023 年全球数据空间五年复合增长率（CAGR）达 25.8%，其中，2023 年将有 102.06ZB 的新生数据，而 2018 年只有 32.6ZB。4 消费者数据的 CAGR 为 22.1%，企业为 28.8%。在实时分析、物联网（IoT）、5G 等多方技术驱动下，企业产生的数据量将持续超越消费者数据，到 2023 年全球数据的 43.4%将由设备边缘或核心业务产生，实时数据将达到 25.1ZB。5未来五年全球数据空间的增加将加速企业对数据管理的需求，虽然娱乐相关的数据占有很大比例，但其增长速度正被与生产相关的数据所超越，这些与生产相关的数据将有助于提高我们个人生活和业务工作流的效率。在数据爆发的背景下，数据治理对企业数字化转型起到关键作用，因为数据治理涉及组织中跨功能和跨业务的所有决策机制。数据智能在提供数据支持和数据治理应用方面至关重要，因为它为企业提供了在最佳时间内将正确的数据交付给正确的对象所需的知识。数据智 5 IDC，中国大数据市场生态体系研究，2019 能也在帮助专业人士在工作中变得更高效、更有效，在可靠数据的支持下做出更好的数据驱动决策。根据 IDC 的调研，在数据分析与洞察过程中 80%的时间花在数据发现、准备和保护上，只有 20%的时间花在实际分析和洞察上。数据智能能改变这一比例，帮助用户更容易找到数据、更好地理解数据，从而获得更多的时间来执行分析。1.1.6.中国大数据生态体系 按照大数据解决方案划分，包括：以提供多种海量数据资源的数据层；以提供服务器、存储、网络和通用基础平台的基础设施层；以提供数据采集、数据整合、数据治理、数据安全、数据交换与共享工具的数据管理层；以通过商业智能（BI）、高级分析、可视化的分析工具/平台层和“AI+”行业的应用层，中国大数据生态体系如下图所示：图 22：中国大数据生态体系，IDC，2019（一）数据资源（数据即服务市场）主要由以数据交易为核心业务，对外提供数据服务的企业组成。这些企业在整个大数据市场产业链的上游，对企业的技术要求较低，一部分企业通过自身的数据抓取工具获取数据，一部分以众包的形式获取数据。这些企业对外提供的数据以应用程序编程接口（API）或数据包的形式为主。（二）大数据硬件设施 在数字化转型浪潮下，敏捷开发需要更加灵活的 IT 计算，更灵活的数据中心与服务交付模式。这一趋势推动未来数据中心的建设和重大改造，随着中国接受云服务的用户人数的增长以及相应迁移支持服务体系的日益完善，云服务厂商已经成为大数据硬件设施的主要供应商。IDC 预测中国互联网数据中心服务市场的 2017-2022 年的复合增长率将达 27.1%。大数据硬件主要包括存储、服务器和网络设施。硬件厂商既包括传统的硬件厂商，例如 Dell、思科、浪潮等；也有互联网公司，例如亚马逊、阿里、腾讯等；还有新创立的公司，例如新华三等。（三）大数据基础平台 传统数据管理系统市场近年来增速放缓，一方面由于动态数据库市场的冲击，另一方面由于开源技术带来的免费和低价竞争，但传统数据库市场仍在大数据软件市场中占有较大比重。基础平台包括传统关系型数据库、数仓，也包括分布式数据库管理系统和底层大数据基础架构，如 Hadoop、Spark 等。这些企业拥有较好的技术能力，大量的大数据人才，但由于技术门槛较高，以大厂为主，创业公司较少，星环作为创业公司在此领域表现亮眼。大数据集成与管理：包括数据采集、数据治理、数据资源管理和数据共享。其中数据治理包 括数据清洗、整合、质量控制，元数据管理，主数据管理，数据标准管理等。数据采集与治 理是企业建立大数据平台的基础，也是最为耗时耗力的环节。大数据分析工具/平台：主要由商业智能（BI）、数据可视化、高级预测分析、空间及位置 分析组成。根据 IDC 的数据显示 BI 具有较大的市场规模，未来随着机器学习/深度学习的发展、算力的提升，高级分析将有较大的发展空间。大数据+行业：面向行业提供专业的大数据产品或解决方案，产品/方案覆盖的行业有金融、政府、电信、交通、医疗、零售和制造等。这些公司有较为丰富的行业专业知识，对行业理解深刻，了解客户痛点与需求。1.1.7.大数据能力应用场景 业界数据能力应用场景，主要包括以下几点：（1）数据填报、统计报表、BI 分析及数据可视化 这是针对企业数据应用最广泛的场景。（2）全文搜索 针对企业内容的多种数据进行存储，全文索引，提供企业内外部数据全文智能搜索能力，供数据应用调用，应用也非常广泛。（3）用户运营 针对用户进行人群画像、分群，这是用于精准营销、供应商评价及人才共享应用的前提，目前在互联网企业针对消费者画像应用非常广泛。针对业务进行用户行为分析，提供用户运营管理平台，满足用户全生命周期的运营工作。（4）精准营销和个性化推荐 针对用户实现千人千面的个性化推荐，互联网企业针对消费者的精准营销和个性化推荐应用非常广泛。（5）信用与风控预测分析 针对用户实现信用评估和建立风控模型，目前在金融行业和互联网金融针对消费者信用卡、贷款应用非常广泛。（6）商业分析 针对商家提供商业分析，例如阿里巴巴的生意参谋等数据应用等。（7）提供人工智能的原材料 针对人工智能应用场景提供用于机器学习和深度学习的数据原材料，实现分析、洞察与预测。2.数据技术趋势 2.1.技术成熟度曲线 Gartner 关于中国 ICT 发布了 2020 年技术成熟度曲线6，如下图所示：图 23：中国 ICT 2020 年技术成熟度曲线，Gartner，2020 数字化转型仍然是 2020 年的重中之重，企业正在关注三个领域：（1）数字业务，大多数计划都涉及增加收入的应用程序，包括实时商务和数字商务平台。（2）现代基础设施平台，企业正在从面向技术的方法转变为面向服务的方法，例如容器即服务，DevOps 和多云。（3）新兴技术，区块链，5G 和窄带物联网（NB-IoT）等新技术引起了人们的兴趣。6 Gartner，技术成熟度曲线和魔力象限，2020 与数据有关的主要是数据中台、增强数据和分析两方面。2.1.1.数据中台 数据中台（Data Middle Office）是一种组织策略，它使组织可以有效地使前台中的数据用户使用统一的视图使用后台中生成的数据来做出决策。建立数据中台的最简单方法是，公司如何管理可组合和可重用的数据与分析功能，这些功能可提供独特的数字业务，并通过其技术栈将它们连接到整个价值链。由于市场的炒作以及什么是数据中间办公室以及如何交付它，数据中间办公室越来越接近虚假预期的高峰。它是由阿里巴巴集团（Alibaba Group）推出的，许多互联网公司都遵循自己的定义和产品。缺乏关于如何在自己的业务环境中构建可重复使用的数据分析服务功能的想法的组织将很难有效地采用它。数据中台的建立的棘手部分不仅是技术，而且还包括人员和流程，这对于组织策略很重要。许多数据集成工具和分析工具可以满足将数据虚拟化，微服务，目录，语义功能，集成平台即服务（iPaaS），数据准备和可视数据发现相结合的需求。但是，中国大多数组织缺乏数据素养，这些工具无法吸引更广泛的公民数据用户。最后，一次性实现完整的数据分析服务架构是不现实的。组织分阶段进行，推动一系列相关的用例在业务的一部分中扩展，然后再将精力转向下一组业务。许多公司采用数据中台的原因是为了减少其数据分析体系结构中的冗余，在不同系统之间架起数据孤岛，并推动可重用的数据和分析功能。但是，引入新技术以采用新技术会给他们带来另一层复杂性，并且通常与业务成果之间存在松散的联系。它导致更多的冗余和孤岛。超大规模云供应商拥有多合一的解决方案，但未能提供行业范围内的支持，无法引起数据分析服务功能的可重用性。主要建议是，数据中台业务更接近组织的数据和分析部署，但是存在一些差距和潜在的问题。希望采用数据中台的 CDO 和数据及分析领导者应：（1）了解数据中心办公室的建立需要业务与 IT 之间的持续协作，并随着业务需求的增长而不断完善。（2）创建一个混合组织模型，其特征是由一个集中的团队与遍布整个组织的许多分散的业务团队一起工作，以定义和建立业务环境中数据和分析功能的可重用性。（3）以业务驱动的数据和分析能力建设为指导原则，对现有数据和分析体系结构进行补充，而不是对其进行重构。（4）使用 Gartner 的数据和分析基础架构模型（DAIM）来确定现有架构上的过度投资的差距或领域。（5）投资以 ML 为基础的数据目录，以简化并在某些情况下使发现，盘点，概要分析，标记和创建分布式数据与孤立数据资产之间的语义关系的过程自动化。（6）了解现代数据管理需要在收集数据（需要时将其存入数据仓库等数据仓库）与连接数据（通过数据虚拟化技术）之间取得平衡。评估供应商补充组织现有数据管理投资的能力。（7）使用增强分析来启用更多自助服务分析用户。通过对话分析，数据讲故事和可视数据发现等更易于使用的方式来丰富数据中间办公室的输出。2.1.2.增强数据和分析 增强数据和分析结合了机器学习（ML）和人工智能（AI），可在统一平台上提供数据管理和分析功能。通过将 ML 和 AI 应用于现有的运营和使用情况统计数据，它可以自动化数据管理和分析中的工作负载，从而更有效地采用数据和分析。它进一步使更多的用户能够以更少的时间，技能和当前手动方法的解释偏差在组织中获得更深入的见解。ML 和 AI 的使用被视为增加了数据和分析工作，而不是取代它。中国地区的整体数据素养仍然很低。企业正在寻找易于使用的功能来支持数据管理和分析的多合一解决方案。随着 ML 和 AI 可用性的提高，供应商将现代 ML 和 AI 作为增强功能集成到数据管理和分析中。为了减少手动工作量并弥补人们技术能力的不足，人们越来越关注并采用增强功能。随着本地超大规模云供应商的快速增长，越来越多的公司正在云上部署这些功能。从数据管理的角度来看，目前正在以数据集成，数据质量，元数据管理。此外，它们在 DBMS 软件中实现，以调整和优化产品的使用，建议和实现新的设计，方案和查询，并推断数据的语义和关联性，以建议结构改进。从分析的角度来看，它们的功能目前正用于数据准备，自动查找和可视化相关结果的自然语言以及自动化高级分析建模的关键方面。没有一个平台可以完成所有工作，但是供应商不断扩展其堆栈中的增强功能，并在统一平台中提供它们。模式和查询，并推断数据的语义和关联，以建议进行结构改进。从分析的角度来看，它们的功能目前正用于数据准备，自动查找和可视化相关结果的自然语言以及自动化高级分析建模的关键方面。没有一个平台可以完成所有工作，但是供应商不断扩展其堆栈中的增强功能，并在统一平台中提供它们。模式和查询，并推断数据的语义和关联，以建议进行结构改进。从分析的角度来看，它们的功能目前正用于数据准备，自动查找和可视化相关结果的自然语言以及自动化高级分析建模的关键方面。没有一个平台可以完成所有工作，但是供应商不断扩展其堆栈中的增强功能，并在统一平台中提供它们。建议大多数组织从数据管理功能入手，并逐渐添加分析功能以建立支持其业务的综合平台。首席信息官以及数据和分析领导者应：（1）作为数字转换战略的一部分，在数据管理和分析上采用增强的功能，以使流程自动化并为更广泛的用户提供更高级的见解。试行证明价值并建立信任。（2）将增强功能作为新购买数据和分析产品的“必须”选择标准。（3）审核增强数据和分析的结果，以评估引入错误和降低性能的风险。（4）投资图形，可解释的人工智能等基础技术，以利用增强数据和分析的力量。（5）评估供应商利用增强的数据管理功能来支持管道分析的能力。Gartner 关于数据管理发布了 2020 年技术成熟度曲线，如下图所示：图 24：数据管理技术成熟度曲线，Gartner，2020 从以上曲线分析数据湖、主数据管理、多模型数据库、数据集成贡酒、逻辑数据仓库、大数据分析已经开始成熟并应用广泛。Gartner 关于数据和分析治理与主数据管理发布了 2020 年技术成熟度曲线，如下图所示：图 25：数据和分析治理与主数据管理成熟度曲线，Gartner，2020 从以上曲线分析数据和分析治理、元数据管理、应用数据管理、主数据管理、产品主数据、客户主数据已经开始成熟并应用广泛。Gartner 关于数据安全发布了 2020 年技术成熟度曲线，如下图所示：图 26：数据安全成熟度曲线，Gartner，2020 从以上曲线分析云数据防护网关、数据访问治理、数据库加密、数据库审计防护、企业数字权限管理已经开始成熟并应用广泛。2.2.优先级矩阵 Gartner 关于中国 ICT 优先级矩阵，如下图所示：图 27：中国 ICT 优先级矩阵，Gartner，2020 从以上矩阵分析企业应重点建设数据中台、增强数据和分析。Gartner 关于数据管理优先级矩阵，如下图所示：图 28：数据管理优先级矩阵，Gartner，2020 从以上矩阵分析事务性内存数据库、区块链、事件流处理处于变革期，数据管理关注的高优先级主要是数据集成工具、数据虚拟化、数据库审计与防护、文档存储、内存数据库分析、内存数据网格、逻辑数据仓库，并且 Hadoop、Spark、数据库加密、多模型数据库、宽列数据库进入研究和试点阶段。Gartner 关于数据和分析治理与主数据管理优先级矩阵，如下图所示：图 29：数据和分析治理与主数据管理优先级矩阵，Gartner，2020 Gartner 关于数据安全发布了 2020 年优先级矩阵，如下图所示：图 30：数据安全优先级矩阵，Gartner，2020 从以上矩阵分析云访问安全代理、数据违规响应、数据库审计与防护、企业数字权限管理是主要关注点，并且数据库加密和动态数据加密进入研究和试点阶段。2.3.元数据管理魔力象限 Gartner 元数据管理魔力象限，如下图所示：图 31：元数据管理魔力象限，Gartner，2020 如上图所示，Informatica 属于领导者，Informatica 是全球领先的数据管理软件提供商。Gartner 魔力象限位于领导者地位还有数据集成工具、数据质量工具、元数据管理、主数据管理、企业级集成平台即服务。元数据管理已经从专注于报告，清单和静态影响分析转向了智能优化，数据发现和用例分析。2.4.主数据管理魔力象限 Gartner 主数据管理魔力象限，如下图所示：图 31：主数据管理魔力象限，Gartner，2020 2.5.数据质量象限 Gartner 数据质量 2020 年魔力象限，如下图所示：图 32：数据质量魔力象限，Gartner，2020 Gartner 认为数据质量解决方案市场的重点发生了以下变化：（1）自动化：嵌入式 AI 被用于减少手动任务并推动更好的自动化，特别是在传统上需要大量手动任务的区域。（2）集成：与元数据管理，数据集成，数据准备和数据治理解决方案集成，作为端到端数据管理解决方案。（3）可扩展性：跨单一数据质量平台跨异构数据源和环境扩展了数据质量功能。（4）可扩展性：可 扩展到广泛的数据源，数据量，用例和等待时间。（5）简便性：基于角色的 UI 和工作流，集中设计并部署任何方法，并简化了许可模型。2.6.数据与分析服务魔力象限 Gartner 数据与分析服务 2020 年魔力象限，如下图所示：图 33：数据与分析服务，Gartner，2020 数据与分析服务包括三种类别：（1）通过利用数据资产创造价值。（2）管理数据以确保以可信的方式使用和共享数据。（3）在企业级别建立集成的数据基础。领域数据和分析领导者提高了组织效率，并使用数据与分析服务转变了业务流程，所有数据和分析领导者都需要引导他们各自的组织朝着不同的连续决策方式发展。数据和分析领导者必须意识到以下关键特征：（1）商业价值和获利机会推动数据与分析服务计划 提到技术的第一个关键因素是人工智能和数