hadoop如何实现datanode磁盘扩容

这篇文章将为大家详细讲解有关hadoop如何实现datanode磁盘扩容，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

Ambari HDFS Alert DataNode 磁盘空间不够，DataNode 磁盘扩容支持热插拔，我们只需要将扩容磁盘配置到dfs.datanode.data.dir即可。

步骤：

注意：如果是ambari部署的hadoop集群，则必须从ambari界面更改，直接修改文件无效，重新启动添加的就没有了

1. 修改 hdfs-site.xml 配置文件，添加新增的磁盘目录：用逗号分隔

   <property>
     <name>dfs.datanode.data.dir</name>
     <value>/hadoop/hdfs/data,/data/hadoop/hdfs</value>
   </property>

   AI代码助手复制代码

2. 修改 yarn-site.xml 配置文件，添加新增的磁盘目录：

   <property>
     <name>yarn.nodemanager.local-dirs</name>
     <value>/hadoop/yarn/local,/data/hadoop/yarn/local</value>
   </property>
   <property>
     <name>yarn.nodemanager.log-dirs</name>
     <value>/hadoop/yarn/log,/data/hadoop/yarn/log</value>
   </property>

   AI代码助手复制代码

3. 重启或刷新

• 如果只为datanode新增磁盘，可不重启datanode，使用reconfig刷新配置即可

  # 开始刷新
  # $ hdfs dfsadmin -reconfig datanode [dfs.datanode.ipc.address] start
  $ hdfs dfsadmin -reconfig datanode 10.1.xxx.xxx:8010 start
  Started reconfiguration task on node [10.1.xxx.xxx:8010]
  
  # 查看刷新进度
  #$ hdfs dfsadmin -reconfig datanode [dfs.datanode.ipc.address] status
  $ hdfs dfsadmin -reconfig datanode 10.1.xxx.xxx:8010 status
  Reconfiguring status for node [10.1.xxx.xxx:8010]: started at Fri Aug 14 09:19:34 CST 2020 and finished at Fri Aug 14 09:19:34 CST 2020.

  AI代码助手复制代码

• 如果是在ambari中修改，修改完后，按提示重启组件即可

• 如果直接hadoop集群修改，配置同步到其它节点后重启datanode和nodemanager即可。

关于“hadoop如何实现datanode磁盘扩容”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。

亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>