本篇内容主要讲解“Hadoop的参数怎么调优”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“Hadoop的参数怎么调优”吧!
1、搭建集群之前，在hdfs-site.xml中提前配置好多目录
2、dfs.nammenode.handler.count=20*log2(集群总数量)，是namenode线程池，处理datanode的心跳、客户端请求等
3、editslog存储路径dfs.nammenode.edits.dir 和 dfs.nammenode.name.dir 分开配置
4、yarn物理内存默认8g，任务如果卡死可以调低下，不会动态分配，yarn.nodemanager.resource.memory-mb
5、mr的参数优化，环形缓冲区大小io.sort.mb 默认100M ，可根据集群性能调整；溢写文件百分比io.sort.spill.percent 默认80%，可根据集群性能调至90%~95%，以及map任务个数和reduce拉取个数的调整。
到此，相信大家对“Hadoop的参数怎么调优”有了更深的了解，不妨来实际操作一番吧！这里是亿速云网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
