这篇文章主要讲解了“怎么运行MapReduce”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“怎么运行MapReduce”吧!
代码打jar包,不要包含依赖,使用maven的默认打包工具就行
# ls hdfs的目录
hadoop dfs -ls /user/hadoop/
# 删除output 目录
hadoop dfs rm -f -r /user/hadoop/output
# 新建input
hadoop dfs -mkdir -p /user/hadoop/input
# 从本地文件系统copy 数据到hdfs
hadoop dfs -put input_bak/sample.txt /user/hadoop/input
# 运行 mapreduce
hadoop jar hadoopdemo.jar MaxTemperature input/sample.txt output
# 查看结果
hadoop dfs -get /usr/hadoop/output /home/hadoop/
cd /home/hadoop/output
more part-r-00000
##采坑
hadoop 2.x hadoop 3.x API变化大,不兼容
hadoop 配置 mapred-site.xml
数据文件要上传到hdfs
额,hdfs 常用命令
(1)查看帮助
hdfs dfs -help
(2)查看当前目录信息
hdfs dfs -ls /
(3)上传文件
hdfs dfs -put /本地路径 /hdfs路径
(4)剪切文件
hdfs dfs -moveFromLocal a.txt /aa.txt
(5)下载文件到本地
hdfs dfs -get /hdfs路径 /本地路径
(6)合并下载
hdfs dfs -getmerge /hdfs路径文件夹 /合并后的文件
(7)创建文件夹
hdfs dfs -mkdir /hello
(8)创建多级文件夹
hdfs dfs -mkdir -p /hello/world
(9)移动hdfs文件
hdfs dfs -mv /hdfs路径 /hdfs路径
(10)复制hdfs文件
hdfs dfs -cp /hdfs路径 /hdfs路径
(11)删除hdfs文件
hdfs dfs -rm /aa.txt
(12)删除hdfs文件夹
hdfs dfs -rm -r /hello
(13)查看hdfs中的文件
hdfs dfs -cat /文件
hdfs dfs -tail -f /文件
(14)查看文件夹中有多少个文件
hdfs dfs -count /文件夹
(15)查看hdfs的总空间
hdfs dfs -df /
hdfs dfs -df -h /
(16)修改副本数
hdfs dfs -setrep 1 /a.txt
感谢各位的阅读,以上就是“怎么运行MapReduce”的内容了,经过本文的学习后,相信大家对怎么运行MapReduce这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!
亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。
原文链接:https://my.oschina.net/mrq/blog/3098663