本栏目责任编辑:代影网络通信与安全ComputerKnowledgeandTechnology电脑知识与技术第19卷第3期(2023年1月)基于Hadoop的云盘存储系统设计与实现徐翔,张光亚(广东海洋大学教育信息中心,广东湛江524088)摘要:云存储目前已被广泛地应用于多个领域。通过数据的远程存储与备份,用户可远程随处办公。Hadoop作为分布式文件系统具有高扩展性、高吞吐量和存储海量数据等特性。文章提出了一种基于Hadoop存储平台的云盘系统的设计思路,研究利用HDFS作为云盘存储平台的可行性,搭建了以SpringBoot框架为基础的后台服务器并对接Hadoop集群系统,解决云盘系统在存储性能上、存储安全性上所遇到的问题,为同类系统的开发提供了重要参考。关键词:Hadoop;HDFS;云盘;分布式存储中图分类号:TP317文献标识码:A文章编号:1009-3044(2023)03-0078-04开放科学(资源服务)标识码(OSID):1引言随着目前互联网产业的飞速发展,以及通讯设备应用的普及,计算机在人们日常生活中发挥着越来越重要的作用,信息的处理、传输和采集已然成为现代信息技术的三大基石[1]。在未来,随着大数据、物联网、人工智能、5G等技术的不断突破与发展,全球的数据量将越来越大,信息的存储和管理变得复杂,单机硬盘存储已满足不了用户的文件存储和管理需要。为了适应目前信息化社会对于支持网络和多种数据信息的应用软件的要求,以网络存储为核心的个人云盘存储系统应运而生。云盘存储相对于传统的实体磁盘来说更方便快捷,用户不需要把储存重要资料的实体磁盘带在身上,而可以通过互联网轻松地从云端读取自己所存储的信息,解决了单机硬盘存储量少、管理效率低、网络传输能力差等有关于文件存储的问题。在云存储服务面向用户使用之前,用户数据的存储存在一定的局限性,例如当用户需要向个人存储系统中存储海量数据文件时,因系统本身没有实现大数据文件优化存储处理的方案,原本的系统存储性能将会很大程度地降低。此时即使对存储服务器进行扩展升级,存储性能也不会有明显的提升。因此,相对于传统的存储服务,云存储无论是对于需要更大存储空间的个人,还是对于寻求高效异地数据备份解决方案的企业都越来越受欢迎。云存储提供了一种以安全可靠的方式存储和迁移数据的方式,它允许个人和企业将他们的文件存储在云服务提供商处,以便他们能够在网络设备上对个人文件进行访问。基于Hadoop[2-4]的HDFS是谷歌文件系统的开源实现项目,项目成立之后便逐渐成为各个企业或机构的云存储...