spark集群使用hadoop用户运行,集群机器如下:
| 1 | DEV-HADOOP-01 | 192.168.9.110 | Master |
| 2 | DEV-HADOOP-02 | 192.168.9.111 | Worker |
| 3 | DEV-HADOOP-03 | 192.168.9.112 | Worker |
现在需要添加一台192.168.9.113 机器名DEV-HADOOP-04的节点作为Worker.需要执行一下操作:
配置Master到新增节点hadoop用户的无密码登录
每个节点添加的/etc/hosts
安装JDK1.8.0_60
安装scala
从Master拷贝scala scp -r scala-2.11.7 root@192.168.9.113:/data/server/
设置环境变量 /etc/profile
export SCALA_HOME=/usr/scala/scala-2.11.7
使配置生效 source /etc/profile
更改scala-2.11.7的用户和组 chown -R hadoop:hadoop scala-2.11.7
安装spark
从Master拷贝spark scp -r spark-1.5.0-bin-hadoop2.6 root@192.168.9.113:/data/server/
配置环境变量 /etc/profile
export SPARK_HOME=/data/server/spark-1.5.0-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
使配置生效 source /etc/profile
修改集群的slaves配置文件,新增新增节点DEV-HADOOP-03
启动新增节点
sbin/start-slave.sh spark://DEV-HADOOP-01:7077
新增节点启动验证
执行jps命令,slave可以看到Worker进程
查看Spark UI
看到Workers中有新增节点
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
