Hadoop热添加删除节点的步骤

这篇文章主要讲解了“Hadoop热添加删除节点的步骤”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Hadoop热添加删除节点的步骤”吧！

添加节点

1.修改host 
  和普通的datanode一样。添加namenode的ip
2.修改namenode的配置文件conf/slaves 
  添加新增节点的ip或host
3.在新节点的机器上，启动服务 

[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker(hadoop1)
[root@slave-004 hadoop]# ./bin/yarn-daemon.sh start nodemanager(hadoop2)

4.均衡block 

[root@slave-004 hadoop]# ./bin/start-balancer.sh

1）如果不balance，那么cluster会把新的数据都存放在新的node上，这样会降低mapred的工作效率 
2）设置平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长 

[root@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5

3）设置balance的带宽(hdfs-site)，默认只有1M/s

 
 　　dfs.balance.bandwidthPerSec  
 　　1048576  
 　　  
 　　　　Specifies the maximum amount of bandwidth that each datanode   
 　　　　can utilize for the balancing purpose in term of   
 　　　　the number of bytes per second.   
 　　

注意： 
1. 必须确保slave的firewall已关闭; 
2. 确保新的slave的ip已经添加到master及其他slaves的/etc/hosts中，反之也要将master及其他slave的ip添加到新的slave的/etc/hosts中
3.如果start-balancer.sh运行完了仍然没有反应的话，就把-threshold尽量调小，越小越均衡所耗时间也就越小

start-balancer.sh -threshold 1

Hbase

如果还有hbase在上面运行则需要部署hbase的hserver
5.在hbasemaster上修改regionservers
vim /home/hadoop/hbase/conf/regionservers
加入新节点
vim /home/hadoop/hbase/conf/hbase-site.xml
hbase.zookeeper.quorum属性加入新节点
6.复制上面两个文件到各个节点
7.在新节点上启动hbase regionserver
  hbase-daemon.sh start regionserver
8.在hbasemaster启动hbase shell
用status命令确认一下集群情况

删除节点

1.集群配置 
   修改conf/hdfs-site.xml文件

   
 　　dfs.hosts.exclude  
 　　/data/soft/hadoop/conf/excludes  
 　　Names a file that contains a list of hosts that are   
 　　not permitted to connect to the namenode.  The full pathname of the   
 　　file must be specified.  If the value is empty, no hosts are   
 　　excluded.

编辑conf/mapred-site.xml文件，增加如下配置：
<property>
          <name>mapred.hosts.exclude</name>
          <value>/opt/hadoop_conf/exclude_node</value>
</property>

2确定要下架的机器 
dfs.hosts.exclude定义的文件内容为,每个需要下线的机器，一行一个。这个将阻止他们去连接Namenode。如： 

slave-003  
slave-004

  3.强制重新加载配置 

[root@master hadoop]# ./bin/hadoop dfsadmin  -refreshNodes

它会在后台进行Block块的移动
4.关闭节点 
等待刚刚的操作结束后，需要下架的机器就可以安全的关闭了。 

[root@master hadoop]# ./bin/ hadoop dfsadmin -report

可以查看到现在集群上连接的节点

正在执行Decommission，会显示： 
Decommission Status : Decommission in progress  

执行完毕后，会显示： 
Decommission Status : Decommissioned

 5.再次编辑excludes文件 
一旦完成了机器下架，它们就可以从excludes文件移除了 
登录要下架的机器，会发现DataNode进程没有了，但是TaskTracker依然存在，需要手工处理一下

感谢各位的阅读，以上就是“Hadoop热添加删除节点的步骤”的内容了，经过本文的学习后，相信大家对Hadoop热添加删除节点的步骤这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是亿速云，小编将为大家推送更多相关知识点的文章，欢迎关注！

亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>