温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

hadoop扩充磁盘操作记录

发布时间:2020-08-01 18:10:01 来源:网络 阅读:3479 作者:majun9129 栏目:大数据

记录cloudera扩充磁盘

14台主机,每台主机增加一块2TB的硬盘

2、首先简单说明步骤

       A、分区,挂载(挂载目录(名称,路径)要一致)

       B、在挂载的分区内,建立对应的文件夹,并授权

       C、在cdhhdfs配置界面,配置新增hdfs的目录,然后部署客户端配置,滚动重启

3、操作步骤

分区(LVM逻辑卷)

       # pvcreate /dev/sdc

       # vgcreage Vgroup03 /dev/sdc

       # lvcreate –n cdh01 –L +1.8T Vgroup03

       # mkfs.ext4 /dev/mapper/Vgroup03-cdh01

挂载(一定要按照这个顺序输入)

       # mkdir /cdh01

       #mount /dev/mapper/Vgroup01-cdh01 /cdh01

开机自动挂载

#vim /etc/fstab

       插入 /dev/mapper/Vgroup03-cdh01 /cdh01 ext4 defaults 0 1

       保存,退出

建文件夹:

       # mkdir /cdh01/dfs

       #mdkir /cdh01/dfs/dn

授权:

       # chown -R hdfs:hadoop /cdh01/dfs/

----------4台主机做同样的操作,分区挂载目录要一致-----------

登陆cdh,从集群中,选择HDFS

在中间的部分选择配置选项

在左侧的菜单栏中,选择DataNode Default Group

在已经有的目录后面的“+”号点新增一个目录,然后输入我们已经挂载好的目录,保存。

选择实例选项

选中DataNode的实例,选择滚动重启

重启完毕后,到HDFS集群的界面去看下,应该已经成功了

Datanode group“高级,在右边的datanode卷选择策略中,选择可用空间,这样,后面的两个属性(“10G字节“0.75”)就会发挥作用,用于平衡各个卷中空间使用。

hadoop扩充磁盘操作记录


向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI