欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟收稿日期：２０２２０５２７作者简介：马兆辉（１９９７），男，在读研究生。研究方向：大数据和信息处理。通信作者：温秀梅（１９７２），女，教授。研究方向：大数据和信息处理。犱狅犻：１０．３９６９／ｊ．ｉｓｓｎ．１００８４１８５．２０２３．０２．０３８Ｓｐａｒｋ平台下的ＲＤＤ研究与应用马兆辉１赵睿哲１温秀梅１，２（１．河北建筑工程学院，河北张家口０７５０００；２．张家口市大数据技术创新中心，河北张家口０７５０００）摘要：大数据时代下，计算海量数据的需求日益加剧，Ｓｐａｒｋ是专门用于计算大规模数据量的并行计算框架，但在实际应用中使用较少。首先对Ｓｐａｒｋ平台下ＲＤＤ（ＲｅｓｉｌｉｅｎｔＤｉｓｔｒｉｂｕｔｅｄＤａｔａｓｅｔ）的基本概念进行介绍；其次对Ｓｐａｒｋ与ＲＤＤ的关系进行描述：Ｓｐａｒｋ的核心是建立在抽象的弹性分布数据集ＲＤＤ之上的，Ｓｐａｒｋ可以将数据处理成为弹性分布数据集ＲＤＤ，再通过ＲＤＤ的转换接口和动作操作得到最终数据；最后在Ｓｐａｒｋ平台实现电商用户页面单跳转化率统计实验和电商热门品类中Ｔｏｐ１０活跃Ｓｅｓｓｉｏｎ统计实验，实现在实际生活中的应用，达到更快处理大规模数据的目的。关键词：大数据；Ｓｐａｒｋ；ＲＤＤ；电商中图分类号：犜犘３文献标识码：犃０引言Ｓｐａｒｋ基于ＲＤＤ实现了一体化、多元化的大数据处理体系，强大的计算能力以及高度集成化的特点使得Ｓｐａｒｋ在大数据计算领域具有得天独厚的优势．在Ｓｐａｒｋ出现之前，Ｈａｄｏｏｐ平台下的ＭａｐＲｅｄｕｃｅ框架是最热门的大数据计算框架，但是ＭａｐＲｅｄｕｃｅ框架仍暴露出很多缺点，其中最主要的是迭代计算的中间结果会不停写入磁盘，造成了数据复制严重、磁盘开销大等问题．同Ｓｐａｒｋ框架相比，ＭａｐＲｅｄｕｃｅ框架表达能力有限，不得不借助第三方工具去完成更为复杂的任务．Ｓｐａｒｋ框架是为了解决这些问题而设计的，Ｓｐａｒｋ框架不仅拥有更丰富的函数，可以对更为复杂的海量数据进行快速操作，而且可以将中间结果存入内存，通过ＲＤＤ之间存在的依赖关系形成ＤＡＧ图进行转换操作，实现流水线进程，使用户不必再担心底层数据的特性，减少了磁盘的开销，提升了运行速度，提高了容错性，同时还开发出完整的Ｓｐ...
