Hadoop核心技术的课程设计_李广林.pdf

Application 创新应用316 电子技术 第 52 卷 第 2 期（总第 555 期）2023 年 2 月程思政方面进行了Hadoop课程改革研究8。但是在新技术背景下，将云计算融入Hadoop教学当中的改革探索却鲜有提及。据中国信息通信研究院云计算白皮书（2022）年显示，全球公有云市场规模达到3 307亿美元，增速32.5%，而我国云计算市场规模达3 229亿云，较2020年增长54.4%。越来越多的企业上云，云计算已成为企业数字化转型的重要基础。所以本文将以柳州职业技术学院为例，结合云计算特点对Hadoop核心技术课程内容和教学方法进行改革探索，以便培养出满足社会新技术需求的高素质技能人才。2 Hadoop核心技术课程 课程内容现状。柳州职业技术学院的Hadoop核心技术是大数据技术与应用专业的专业核心课程，授课对象是大二下学期的大数据专业学生。这门课主要介绍Hadoop的两大核心组件：HDFS（Hadoop Distributed File System）和MapReduce，涵盖Hadoop集群安装、海量数据存储、海量离线数据并行处理等内容。学习Hadoop的前提条件是掌握linux操作系统的基础知识和java程序设计。当前Hadoop核心技术的课程内容章节体系如表1所示。课程内容改革设计。云计算是一种崭新的分布式计算模式，能够给用户提供可靠的、自定义0 引言随着工业革命的发展，世界诞生出一批云计算、大数据、物联网、区块连、人工智能等为代表的新兴技术，为适应以新技术为核心的新经济、新业态的变化，国内外先后出台了一系列的相关政策和行动计划1。新经济的发展离不开大量熟练掌握新技术的高素质产业人才，职业教育必须紧跟世界发展步伐，时刻关注如何培养应对新经济、新业态、新技术需求的优秀产业大军2，加快推进人才培养方案、专业与课程设置、教师队伍建设等多个方面的变革。1 研究背景Hadoop核心技术作为高职大数据技术与应用专业的核心课程，对其进行教学改革并融入新技术是大环境下的客观要求。该课程的改革探索有很多，如周晴红主要从课程设计思想、重难点及教学方式方面进行Hadoop大数据开发技术课程实践教学探索3；梁晶主要从实践教学环节进行Hadoop大数据开发课程实践教学研究4；王科主要从教学设计与实施方案进行实战HADOOP课程教学研究和探索5；周少珂从实训课、建设课程教学资源库、赛教融合、赛证学时置换等方面探索Hadoop课程教学改革6；余燕萍则提出大数据实训室建设方案和Hadoop“基础+应用”课程内容框架7；宋柯萱从课基金项目：柳州职业技术学院2021年建设项目。作者简介：李广林，柳州职业技术学院，工程师，硕士；研究方向：大数据技术。刘朋，柳州职业技术学院，讲师，硕士；研究方向：嵌入式系统、工业物联网。收稿日期：2022-09-30；修回日期：2023-02-12。摘要：阐述大数据技术与应用专业的Hadoop核心技术课程，课程内容现状、改革设计、教学方法的优化，融入云计算内容，扩展学生知识面，探讨混合式教学法和分层教学法。关键词：大数据技术，Hadoop核心技术，云计算，混合式教学法，分层教学法。中图分类号：TP311.5-4文章编号：1000-0755(2023)02-0316-03文献引用格式：李广林，刘朋.Hadoop核心技术的课程设计J.电子技术,2023,52(02):316-318.Hadoop核心技术的课程设计李广林，刘朋（柳州职业技术学院，广西 545006）Abstract This paper describes the Hadoop core technology course of big data technology and application specialty,the current situation of course content,reform design,optimization of teaching methods,integration of cloud computing content,expansion of students knowledge,and discussion of hybrid teaching method and hierarchical teaching method.Index Terms big data technology,Hadoop core technology,cloud computing,hybrid teaching method,hierarchical teaching method.Design of Hadoop Core Technology CourseLI Guanglin,LIU Peng(Liuzhou Vocational and Technical College,Guangxi 545006,China.)Application 创新应用电子技术 第 52 卷 第 2 期（总第 555 期）2023 年 2 月 317的、最大化资源利用的服务9。云计算的定义众说纷纭，“一千个人眼中有一千个哈姆雷特”，但不管人们怎么定义，云计算都具有资源池化、弹性可伸缩、安全可靠等特点。结合云计算的特点，在原有课程内容基础上，融入了云计算等相关知识，设计出面向高职大数据专业学生的Hadoop核心技术专业核心课。具体调整的内容主要体现在以下两个方面：（1）“Hadoop安装与配置”章节融入了云计算，新增内容包括云计算概述、腾讯云的云产品与服务介绍、腾讯云的云服务器购买与使用、腾讯云的安全组介绍与使用、基于腾讯云的Hadoop伪分布式安装，而原有基于VMWare虚拟机进行的Hadoop伪分布式安装内容则移除掉。（2）调整了部分章节的学时安排。由于新增了云计算的内容，故“Hadoop安装与配置”章节由原来的25学时调整为30学时，新增5学时，而相应的，“Hive安装与基本使用”章节有原来的13学时调整为了8学时，减少5学时，因此在总学时不变的情况下，合理融入云计算内容，扩展学生知识面。其中，基于腾讯云的Hadoop伪分布式安装是课程内容建设的关键和重点，且基于腾讯云的Hadoop伪分布式安装与原有的安装方式有比较大的不同，具体操作如下。（1）在腾讯云官网注册腾讯云账号，然后登录购买一台有效时长是一个月的低配的Centos7系统的云服务器，当然，如果资金比较充裕，也可以购买高配的云服务器。（2）登录云服务器。常见的登录方式有两种，第一种方式是通过腾讯云官网提供的控制台的登录功能。第二种方式是通过云服务器的公网IP，用SSH图形界面客户端进行远程登录。第一种方式使用起来不灵活，不够方便，所以一般采用第二种方式登录方式。（3）执行systemctl status firewalld命令查看防火墙状态，如果防火墙运行，则执行systemctlstopfirewalld命令关闭防火墙，最后执行systemctldisabledfirewalld命令禁止防火墙开机自起。（4）通过hostnamectl命令设置主机名。在/etc/hosts文件中设置主机名和IP的映射。（5）通过SSH图形界面客户端的sftp功能，将JDK1.8上传到云服务器并解压，然后配置JAVA_HOME、PATH等环境变量，完成JDK1.8安装；（6）通过SSH图形界面客户端的sftp功能将hadoop安装包上传到云服务器并解压，然后修改配置文件，配置PATH、HADOOP_HOME等环境变量，完成Hadoop安装；（7）执行hdfsnamenode-format命令对HDFS进行格式化。（8）执行start-dfs.sh命令启动HDFS组件，HDFS启动成功后，在执行start-yarn.sh命令启动YARN组件。（9）执行jps查看Hadoop的几个后台进程：NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager是否运行起来.（10）通过公网IP访问云服务器的8088端口，和50070端口，验证集群是否部署成功。前者是YARN资源调度管理器的管理页面，后者是HDFS管理页面。另外，在基于腾讯云进行安装Hadoop时，还有一些问题是需要注意的，具体如下。（1）通过SSH图形界面客户端远程登录到云服务器时，必须使用公网IP，不能使用内网IP，否则由于网络无法联通而导致无法正常登录。（2）配置主机名和IP的映射时，配置的IP是内网IP，不能配置公网IP。配置公网IP，可能会导致Hadoop组件之间通信失败。表1 Hadoop核心技术课程的内容章节体系Application 创新应用318 电子技术 第 52 卷 第 2 期（总第 555 期）2023 年 2 月（3）通过/etc/profile配置环境变量时，配置完成后，需要执行source/etc/profile使环境变量生效。（4）只有在首次启动Hadoop集群前才需要进行HDFS格式化，以后再运行Hadoop集群时，不允许再进行HDFS格式化。（5）Hadoop正确安装并启动后，无法通过公网IP访问8088端口或者50070端口时，可能的原因是腾讯云安全组默认屏蔽了这些端口。解决办法是登录腾讯云控制台，对云服务器绑定安全组，并新增入站规则。添加规则后，再次访问就没问题了。如果还是无法访问，就要进一步分析是安全组规则添加有问题，还是Hadoop集群本身配置有问题；（6）由于YARN管理页面和HDFS管理页面默认是任何人都可以访问，开放安全组入站策略后，存在严重安全风险，所以还需要借助nginx代理，配置用户名密码认证，只有认证通过的用户才允许访问这两个管理页面。3 教学方法的优化Hadoop核心技术课程原来采用的课程教学方法主要是讲授法、演示法和练习法。在实践中，存在一些问题。（1）讲授理论之后或者演示项目案例代码之后，由于同学之间的基础各不相同，就导致部分同学能跟上教学进度，但另一部分同学可能完全不知所云。（2）有些同学可能更倾向于自主学习，不喜欢听老师讲太多，容易导致这部分同学忽略了老师课堂上补充的一些比较重要的知识，不利于他们能力的进一步提升。（3）有部分同学课堂认真听讲，按时完成教学案例代码的编写、运行、部署等任务，但仅仅是照葫芦画瓢，涉及案例里的一些原理，或者目的、作用不求甚解。针对教法方面可能存在的问题，做出如下优化探索。3.1 混合式教学法为了弥补线下教学无法重播、时间空间受限等不足，提供线上视频供学生课前预习、课后复习以及重难点回放，尽可能帮助在线下教学时很难跟上教学进度的学生。特别是云计算部分，比较新，且是原有教材上没有的内容，通过新增线上课程和线上视频的方式，丰富学生的学习方式，发挥他们的能动性，提升他们的学习效率。与此同时，线下教学时，结合线上课程的内容以及学生学习的情况，关注重难点，在实际操作演示中，指导学生逐一完成既定目标。3.2 分层教学法因材施教是教学中重要的教学基本原则，分层教学的底层本质其实就是因材施教，所以根据不同层次的学生，指定不同的教学策略很有必要。例如针对基础稍微差点的学生，在教案设计时，就应该考虑一些比较有意思的故事、场景，吸引他们，并由浅入深，使他们尽可能多地体验成功解决问题时的那种喜悦，激发他们的学习热情，且引导他们在线上进一步学习重难点知识。又例如，针对基础差、基础一般、基础很好这三个层次的学生，在设计课堂练习或者课后作业时，需要分别设计易、中、难三个难度的题目，基础差点的同学做简单的题目，基础一般的做中等难度，基础很好的做比较困难的题目，当然，同时要鼓励基础差、基础一般的同学，尽可能去完成后面的中、难题目。另外，对于不求甚解的这部分学生，需要调整课堂练习或者课后作业的检查方式，通过提问一些问题或者让学生讲一下解决思路或者背后工作原理的方式来判断学生是否完成了练习或作业。4 结语新经济、新技术、新业态对职业教育提出了新的要求。本文从课程内容和教学方法两个方面，进行了在新