这篇文章主要为大家展示了“hadoop问题有哪些”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“hadoop问题有哪些”这篇文章吧。
1、hadoop重启不能找到namenode，可能原因是没有指定临时存储目录，默认会存储到root根目录下的tmp文件中，重启后会消失，所以在core-site.xml文件中加入临时文件配置即可！
2、hadoop格式化会询问yes or no，yes大写！
3、配置SSH时，每台机器都需要配置自己的为密码，master与slaves互相持有其公钥！
4、hadoop命令操作Java，
bin/hadoop fs -ls,
将文件放到hadoop文件下，bin/hadoop fs -put ../input ./in
删除文件 bin/hadoop fs -rmr file,并没有物理删除，只是放在回收站中，里面可以设置时间阈值，超过阈值删除。
恢复与清空 bin/hadoop fs -move file
快照：
5、修改hdfs源码实现，namenode多点，这样一个namenode宕机不至于造成损失！《HDFS高可用》
6、HDFS思想是硬件设备坏掉是常态，解决这个的方法就是冗余！
7、datanode一次写入不能修改！
8、心跳机制：datanode向namenode定期发送信号，告诉namenode我还活着！
9、设置hadoop-classpath! hadoop环境变量！
10、分片问题，分片只能非常完全接近block。
性能调优
11、combiner 预处理过程，减少带宽，传输速度快！可以优化在此。
12、处理小文件，将小文件合成大文件。
13、减少map阶段的输出。
14、maperd-site.xml设置JVM重用。
15、如果maperd任务还未完成就出现故障，jobtracker会要求其他节点重新执行该maperd任务。
16、如果reduce任务还未完成就出现故障，jobtracker会要求其他节点继续执行reduce任务。
以上是“hadoop问题有哪些”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注亿速云行业资讯频道！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
