阿里云实时计算MaxCompute开发者交流钉钉群DataWorks开发者交流钉钉群扫码关注阿里技术扫一扫二维码图案，关注我吧直播行业混合云模式下MaxCompute+Hadoop混搭大数据架构实践4多媒体行业基于MaxCompute的媒体大数据开放平台建设10基于实时计算（flink）打造舆情分析平台——新华智云16新零售行业MaxCompute助力衣二三构建智能化运营工具22物联网行业塑云科技：性能突破，基于KafKa+OTS+MaxCompute完成了一次物联网系统技术重构29金融科技行业交易数据清算从8小时缩至1.5小时，飞天大数据平台MaxCompute解决余额宝算力难题33社交行业小打卡：基于MaxCompute+PAI的推荐算法实践37小打卡：快速部署大数据计算平台实践42基于MaxCompute搭建社交好友推荐系统49发光的二次元——克拉克拉上云实践58家居服务行业万师傅大数据体系实践案例68互联网行业基于实时计算（Flink）的商场实时客流分析系统——上海鸥新74泛娱乐行业基于MaxCompute构建Noxmobi全球化精准营销系统78目录混合云模式下MaxCompute+Hadoop混搭大数据架构实践张龙斗鱼大数据高级专家简介：2019杭州云栖大会大数据企业级服务专场，由斗鱼大数据高级专家张龙带来以“混合云模式下MaxCompute+Hadoop混搭大数据架构实践”为题的演讲。本文讲述了从ApacheHadoop阶段到ClouderaCDH阶段斗鱼大数据架构的发展历程。提出了上云过程中斗鱼遇到的问题和跳战，包括数据安全、数据同步以及迁移任务。概括了混合云模式给斗鱼带来资源效率更高和资源成本更低的变化。斗鱼大数据架构发展历程在2014年中期，斗鱼就开始使用大数据，最开始使用的是简单的HBase和Hadoop。在2015年，开始使用CDH运维大数据集群，主要针对可视化运维。在2017年的下半年，斗鱼开始接触阿里云大数据的一些产品，并且与其他产品做了对比。最终选择了阿里云的MaxCompute。ApacheHadoop阶段由于业务场景比较简单，组件较少，并且使用的人也少，但可以灵活的操作，同斗鱼<5时集群规模较小，运维要求低，可以自由的利用开源，培养了许多人才。但在发展过程中也遇到了一些阻碍，例如：组件增多，运维成本高，业务增长快，集群扩容操作繁琐，人员增加，数据安全要求高，物理机操作，环境安全难保障。ClouderaCDH阶段斗鱼为何选择ClouderaCDH？原因主要有：首先，它能满足业务发展需要，多组件运维成本低，集群扩容操作简单，数据安全及环境安全有保障。其次，CDH在国内被广泛使用。最主要的一点是斗鱼的团队内部有CDH人才。ClouderaCDH给...
