阿里云实时计算阿里巴巴大数据计算DataWorks开发者交流钉钉群扫码关注阿里技术扫一扫二维码图案，关注我吧开篇4AI加持的阿里云飞天大数据平台技术揭秘4计算存储引擎19飞天大数据平台计算引擎MaxCompute最新特性19飞天大数据平台实时计算FlinkonKubernetes最新特性36飞天大数据平台E-MapReduce4.0最新特性43大数据&AI开发平台55飞天大数据平台智能开发云平台DataWorks最新特性55飞天大数据平台机器学习PAI最新特性77搜索与推荐88飞天大数据平台OpenSearch最新特性88飞天大数据平台Elasticsearch最新特性101飞天大数据平台智能推荐AIRec最新特性110目录AI加持的阿里云飞天大数据平台技术揭秘摘要：2019云栖大会大数据&AI专场，阿里云智能计算平台事业部研究员关涛、资深专家徐晟来为我们分享《AI加持的阿里云飞天大数据平台技术揭秘》。本文主要讲了三大部分，一是原创技术优化+系统融合，打破了数据增长和成本增长的线性关系，二是从云原生大数据平台到全域云数仓，阿里开始从原生系统走入到全域系统模式，三是大数据与AI双生系统，讲如何更好的支撑AI系统以及通过AI系统来优化大数据系统。说到阿里巴巴大数据，不得不提到的是10年前王坚博士率领建构的飞天大数据平台，十年磨一剑，今天飞天大数据平台已是阿里巴巴10年大平台建设最佳实践的结晶，是阿里大数据生产的基石。飞天大数据平台在阿里巴巴集团内每天有数万名数据和算法开发工程师在使用，承载了阿里99%的数据业务构建。同时也已经广泛应用于城市大脑、数字政府、电力、金融、新零售、智能制造、智慧农业等各领域的大数据建设。大家知道飞天大数据平台是从2009年发展到今天的系统。飞天平台从发展的角度来讲经历了2个阶段，第一个阶段是从2009年到2015年，那个阶段我们主要解决的是稳定性问题、可用的问题和异用的问题，从这个角度，到2015年的时候我们完成了一个非常有名的项目叫登月，登月就是把阿里巴巴所有的数据都融合在一起关涛阿里云智能计算平台事业部研究员徐晟阿里云智能计算平台事业部资深技术专家开篇AI加持的阿里云飞天大数据平台技术揭秘<5放到那个平台上，我们构建了中台体系，在那个时候阿里巴巴的数据进入到腾飞的过程，每月大概是几百个PB的数据涌入到这样的平台里来，那个时候的数据比较小，大概是数千台的服务器、几百个基架的状态。当时每个月就会有那么多的服务器开始摆进来，从2015年开始，也就是从海量的数据爆炸开始，系统走过这个稳定时期之后，后续的关键问题是...
