大数据工程师必读手册.pdf

阿里云实时计算阿里巴巴大数据计算DataWorks 开发者交流钉钉群扫码关注阿里技术扫一扫二维码图案，关注我吧开篇 4AI 加持的阿里云飞天大数据平台技术揭秘4计算存储引擎 19飞天大数据平台计算引擎 MaxCompute 最新特性19飞天大数据平台实时计算 FlinkonKubernetes 最新特性36飞天大数据平台 E-MapReduce4.0 最新特性43大数据&AI 开发平台 55飞天大数据平台智能开发云平台 DataWorks 最新特性55飞天大数据平台机器学习 PAI 最新特性77搜索与推荐 88飞天大数据平台 OpenSearch 最新特性88飞天大数据平台 Elasticsearch 最新特性101飞天大数据平台智能推荐 AIRec 最新特性110目录AI 加持的阿里云飞天大数据平台技术揭秘摘要：2019 云栖大会大数据&AI 专场，阿里云智能计算平台事业部研究员关涛、资深专家徐晟来为我们分享AI 加持的阿里云飞天大数据平台技术揭秘。本文主要讲了三大部分，一是原创技术优化+系统融合，打破了数据增长和成本增长的线性关系，二是从云原生大数据平台到全域云数仓，阿里开始从原生系统走入到全域系统模式，三是大数据与 AI 双生系统，讲如何更好的支撑 AI 系统以及通过 AI 系统来优化大数据系统。说到阿里巴巴大数据，不得不提到的是 10 年前王坚博士率领建构的飞天大数据平台，十年磨一剑，今天飞天大数据平台已是阿里巴巴 10 年大平台建设最佳实践的结晶，是阿里大数据生产的基石。飞天大数据平台在阿里巴巴集团内每天有数万名数据和算法开发工程师在使用，承载了阿里 99%的数据业务构建。同时也已经广泛应用于城市大脑、数字政府、电力、金融、新零售、智能制造、智慧农业等各领域的大数据建设。大家知道飞天大数据平台是从 2009 年发展到今天的系统。飞天平台从发展的角度来讲经历了 2 个阶段，第一个阶段是从 2009 年到 2015 年，那个阶段我们主要解决的是稳定性问题、可用的问题和异用的问题，从这个角度，到 2015 年的时候我们完成了一个非常有名的项目叫登月，登月就是把阿里巴巴所有的数据都融合在一起关涛阿里云智能计算平台事业部研究员徐晟阿里云智能计算平台事业部资深技术专家开篇AI 加持的阿里云飞天大数据平台技术揭秘AI 加持的阿里云飞天大数据平台技术揭秘天平台在 2015 年后就是围绕这三个关键性的问题来做工作的。原创技术优化+系统融合当阿里巴巴的大数据走过 10 万台规模的时候，我们已经走入到技术的无人区，这样的挑战绝大多数公司不一定能遇到，但是对于阿里巴巴这样的体量来讲，这个挑战是一直摆在我们面前的。大家可以看到，2015 年的时候，我们整个的体系建立起来之后，就开始做各种各样的 Benchmark，比如 2015 年 100TB 的 Sorting，2016 年我们做 Cloud-Sort，去看性价比，2017 年我们选择了 Bigbench。如图是我们最新发布的数据，在2017、2018 和 2019 年，每年都有一倍的性能提升，同时我们在 30TB 的规模上比第二名的产品有一倍的性能增长，并且有一半的成本节省，这是我们的计算力持续上升的优化趋势。AI 加持的阿里云飞天大数据平台技术揭秘AI 加持的阿里云飞天大数据平台技术揭秘但是从另外一个层面上来讲，单一的算子和部分的算子组合很难满足部分的场景需求，所以我们就提到灵活的算子组合。举几个数字，我们在 Join 上有 4 种模式，有 3 种 Shuffling 模式提供，有 3 种作业运行模式，有多种硬件支持和多种存储介质支持。图右是怎样去动态判别 Join 模式，使得运算效率更高。通过这种动态的算子组合，是我们优化的第二个维度。从引擎优化到自学习调优是我们在最近 1 年多的时间里花精力比较多的，我们在考虑如何用人工智能及自学习技术来做大数据系统，大家可以想象学骑自行车，刚开始骑得不好，速度比较慢甚至有的时候会摔倒，通过慢慢的学习，人的能力会越来越好。对于一个系统而言，我们是否可以用同样的方式来做？当一个全新的作业提交到这个系统时，系统对作业的优化是比较保守的，比如稍微多给一点资源，那么我选择的执行计划会相对比较保守一点，使得至少能够跑过去，当跑过之后就能够搜集到信AI 加持的阿里云飞天大数据平台技术揭秘AI 加持的阿里云飞天大数据平台技术揭秘计算引擎对大家来说看不见摸不着，我们要去用它肯定希望用最简单的方式，先来看一下 Maxcompute 计算引擎。首先我们需要有用户，用户怎么来使用？需要资源隔离，也就是说每个用户在系统上面使用的时候会对应着账号，账号会对应着权限，这样就把整套东西串联起来。今天我的用户怎么用？用哪些部分？这是第一部分。第二部分是开发，开发有 IDE，IDE 用来写代码，写完代码之后提交，提交之后存在一个调度的问题，这么多的资源任务顺序是什么？谁先谁后，出了问题要不要中断，这些都由调度系统来管，我们的这些任务就有可能在不同的地方来运行，可以通过数据集成把它拉到不同的区域，让这些数据能够在整个的平台上跑起来，我们所有的任务跑起来之后我们需要有一个监控，同时我们的 operation 也需要自动化、运维化，再往下我们会进行数据的分析或者 BI 报表之类的，我们也不能够忘记 machinelearning 也是在我们的平台上集成起来的。最后，最重要的就是数据安全，这一块整个东西构起一个大数据引擎的外沿+大数据引擎本身，这一套我们称之为单引擎的完备大数据系统，这一套系统我们在 2017 年的时候就具备了。2018 年的时候我们做什么？2018 年我们在单引擎的基础上对接到多引擎，我们整个开发链路要让它闭环化，数据集成可以把数据在不同的数据源之间进行拖动，我们把数据开发完之后，传统的方式是再用数据引擎把它拖走，而我们做的事情是希望这个数据是云上的服务，这个服务能够直接对用户提供想要的数据，而不需要把数AI 加持的阿里云飞天大数据平台技术揭秘AI 加持的阿里云飞天大数据平台技术揭秘云原生平台到全域云数仓我们整个平台都是云原生的，云原生有哪些技术呢？飞天大数据平台在 10 年前就坚持云原生的数据，云原生意味着三件事情，第一开箱即用、不用不花钱，这个和传统的买硬件方式有非常大的不同；第二我们具备了秒级自适应的弹性扩展，用多少买多少；第三因为是云上的框架，我们很多运维和安全的东西由云自动来完成了，所以是安全免运维的。从系统架构上讲，飞天大数据包括传统的 CPU、GPU 集群，以及平头哥芯片集群，再往上是我们的伏羲智能调度系统和元数据系统，再往上我们提供了多种计算能力，我们最重要的目标就是通过云原生设计把 10 万台在物理上分布在不同地域的服务器让用户觉得像一台计算机。我们今天已经达到了 10 年前的设计要求，具备了更强的服务扩展能力，能够支撑 5 到 10年的数据进步的发展。我们充分利用云原生设计的理念，支持大数据和机器学习的快速大规模弹性负载需求。我们支撑 0 100 倍的弹性扩容能力，去年开始，双十一 60%的数据处理量来自于大数据平台的处理能力，当双 11 巅峰来的时候，我们把大数据的资源弹回来让给在线系统去处理问题。从另外一个角度来讲，我们具备弹性能力，相比物理的 IDC 模式，我们有 80%成本的节省，按作业的计费模式，我们提供秒级弹性伸缩的同时，不使用不收费。相比自建 IDC，综合成本只有 1/5。除了坚持原生之外，我们最近发现，随着人工智能的发展，语音视图的数据越来越多了，处理的能力就要加AI 加持的阿里云飞天大数据平台技术揭秘AI 加持的阿里云飞天大数据平台技术揭秘如图为飞天大数据的产品架构，下面是存储计算引擎，可以看到我们除了计算引擎自带的存储之外还有其它开放的 OSS，还有 IOT 端采集的数据和数据库的数据，所有数据进行全域数据集成，集成后进行统一的元数据管理，统一的混合任务调度，再往上是开发层和数据综合治理层，通过这种方式，我们立体化的把整个大数据圈起来管理。大数据与 AI 双生系统提到了大数据我们肯定会想到 AI，AI 和大数据是双生的，对于 AI 来说它是需要大数据来 empower 的，也就说 bigdataforAI。下面可以通过一个 demo 来看我们怎么来做这件事情。对于 AI 的开发工程师来说，他们比较常用的方式是用交互式的notebook 来进行 AI 的开发，因为它比较直观，但是如何把大数据也进行交互式开发，并且和 AI 来绑定，下面来看一下这个简单的例子。AI 加持的阿里云飞天大数据平台技术揭秘AI 加持的阿里云飞天大数据平台技术揭秘大数据和 AI 是双生系统，AI 是一个工具层，可以优化所有的事情。我们希望飞天的大数据平台能够赋能给 AI。我们在最开始的时候希望 build 一个可用的系统，能够面临双 11 的弹性负载仍然是可用的。通过这些年的努力，我们追求极致的性能，我们能够打破数据的增长和成本增长的线性关系，我们也希望它是一个智能的，我们希望更多的数据开发工程师来支持它，我们需要更复杂的人力投入来理解他，我们希望有更强的大数据来优化大数据系统。AI 加持的阿里云飞天大数据平台技术揭秘AI 加持的阿里云飞天大数据平台技术揭秘这是 AutoDataWarehouse 系统架构图，从多集群的负载均衡到自动冷存，到中间的隐形作业优化，再到上层的隐私数据自动识别，这是我们和蚂蚁一起开发的技术，当隐私的数据自动显示到屏幕上来，系统会自动检测并打码。我们其中的三项技术，包括自动隐私保护，包括重复子查询自动合并优化，包括多集群的自动容灾，我们有 3 篇 paper 发表，大家有兴趣的话可以去网站上读一下相关的论文。飞天大数据平台计算引擎 MaxCompute 最新特性摘要：距离上一次 MaxCompute 新功能的线上发布已经过去了大约一个季度的时间，而在这一段时间里，MaxCompute 不断地在增加新的功能和特性，比如参数化视图、UDF 支持动态参数、支持分区裁剪、生成建表 DDL 语句功能等功能都已经得到了广大开发者的广泛使用。那么，近期 MaxCompute 究竟还有哪些新特性呢？本文就为大家揭晓答案。MaxCompute 与阿里云大数据产品解决方案在介绍 MaxCompute 新功能前，我们先快速对阿里云的大数据产品解决方案进行介绍，以便不熟悉 MaxCompute 的朋友能快速建立认知。阿里云大数据解决方案中包含了数据接入、数据存储及处理分析、数据服务以及在线应用等这样的几个维度。通常的情况下，基于 MaxCompute 和阿里云大数据解决方案搭建的系统会通过 DataWorks 实现离线多源异构数据的同步，并向MaxCompute 大数据平台加载数据。与此同时，借助于 DTS 日志服务、Kafka 消息队列服务实现对实时数据的收集。之后，通过流式计算服务实现对于数据的实时计算和分析，并将数据投递到实时在线的服务或者回流到统一的数据仓库服务中去。数曲宁阿里云智能计算平台事业部产品专家计算存储引擎20飞天大数据平台计算引擎 MaxCompute 最新特性据落盘保留下来之后，将进行数据仓库相关的处理分析，加工成为可以被业务消费、高质量的数据集。同时，利用机器学习平台可以开展包含数据准备、模型训练、模型部署在线推理在内的完整智能应用。在数据服务(dataserving)维度，阿里云大数据产品解决方案中也提供了多种的服务，包括了关系型数据库、分析型数据库、ES 等，这些服务能够帮助用户加速在面向在线应用场景下的数据消费。同时，阿里云大数据产品解决方案还能够与阿里云线上的 QuickBI、DataV 以及第三方客户自行购买的 BI 等工具进行结合。在云上大数据场景下，DataWorks 则承担的是整体的数据开发、编排调度以及数据管理的职能。What s New？MaxCompute 产品近期发布预览本次分享面对的主要群体是对于阿里云 MaxCompute 产品有所了解并且有一定使用经验的客户，因此所介绍的内容会比较细致，但