任务117： spark集群环境安装.doc

我写的每一个字都要认真读，不然就掉坑里   3台linux虚拟机, 注意注意注意：：：：最好都是centos，我挑战了一下两个centos一个ubuntu,结果ubuntu上的worker死活起不来。耗费了好长时间才起来，这里是坑，切记切记！！   1、安装配置JDK1.8 2、安装配置scala 3、下载spark(注意注意注意，下载和解压的目录位置要一样，如果不这样做，那么要配置spark home) wget   4、修改主机名 ，配置hosts vim /etc/sysconfig/network 把内容写进去 HOSTNAME=spark-master 然后重启，生效。   重启后输入hostname ,检查是否与自己设置的一致   vim /etc/hosts 格式： ip 主机名 192.168.1.12 spark-master 192.168.1.7 spark-slave1 192.168.1.27 spark-slave2     5、配置用户 useradd spark passwd spark 回车后添加密码 6、master做免登陆:要切换到spark用户下执行 主机登陆到另外两个从机上需要免密，所以主机配置即可 生成秘钥：ssh-keygen -t rsa 然后一直回车 无秘登陆设置：ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.1.7   以下是所有服务器都要操作,并且都要用sprak用户操作，只有再解决权限问题的时候才到root下   7、 复制文件 cp spark-2.4.0-bin-hadoop2.7/conf/spark-env.sh.template spark-env.sh 创建文件夹 修改 vim spark-2.4.0-bin-hadoop2.7/conf/spark-env.sh   添加 export JAVA_HOME=/home/jdk1.8.0_181 这里是你自己的jdk home export SPARK_MASTER_IP=192.168.1.12 这里是主机的ip   8、 复制conf下的slaves文件 cp slaves.template slaves 添加 /data/service/bigdata/spark/conf/slaves文件 添加主机名称 : vim slaves spark-master spark-slave1 spark-slave2     9、启动服务 注意关闭防火墙，不然连不上 命令： systemctl stop firewalld cd spark/sbin/ start-all.sh 启动所有服务 这个命令会自动启动在slave配置下的worker服务 （如果这里启动有问题，可手动输入一下密码解决，也可以看一下免密配置）   start-slave.sh spark://主机名称:7077 单独启动某一个worker spark://主机名称:7077 是master的连接地址   启动成功访问 master的ip:8080