这篇文章主要介绍“Hadoop常用的命令汇总”,在日常操作中,相信很多人在Hadoop常用的命令汇总问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Hadoop常用的命令汇总”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
HDFS有一个默认的工作目录/user/$USER,其中$USER是你的登陆用户名。
创建并查看目录
查看所有子目录
复制本地文件到HDFS中
下载文件
查看文件
删除文件
列出正在运行的job
结束job hadoop job -kill <job_id>
检查hdfs块状态,是否损坏
检查hdfs块状态,并删除坏的块hadoop fsck / -delete
检查hdfs状态
查看是否是安全模式和进入安全模式与退出安全模式
hadoop dfsadmin –sademode get
hadoop dfsadmin –sademode enter
hadoop dfsadmin -sademode leve
并行copy
hadoop distcp hdfs://a:8020/xxx hdfs://b:8020/
添加新节点
1.在新节点安装好hadoop
2.把namenode有关配置文件复制到该节点
3.修改masters和slaves文件,增加该节点
4.设置ssh免密码登录
5.单独启动该节点上的datanode和tasktracker(hadoop-daemon.sh start datanode/tasktracker)
6.运行start-blancer.sh进行数据负载均衡
到此,关于“Hadoop常用的命令汇总”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。