本篇文章为大家展示了怎么进行hadoop性能调优 ，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。
增大同时打开文件描述符和网络连接上限
操作系统的默认连接数上限为128 (sysctl -a | grep net.core.somaxconn),/etc/sysctl.conf 添加 net.core.somaxconn=32767
linux默认打开文件描述符数量为183731 ,同样在sysctl.conf中添加fs.file-max=800000
执行systcl -a 查看 systcl -p来刷新配置
关闭swap分区
在MR分布式环境中.用户完全可以通过控制每个作业处理的数据量和每个任务运行过程中用到的各个缓冲区大小,避免使用swap分区.
设置合理的预读取缓冲区大小
磁盘IO性能滞后于CPU和内存,设置预读可以较少磁盘寻道和应用程序IO等待时间,使用linux blockdev 设置读取缓冲区大小.
文件系统配置
开启linux的noatime属性.(/etc/fstab)
IO调度器选择
参考 Hadoop Performance Tuning Guide
磁盘块配置
以前博文分析shuffle过程已经提过怎么配置 mapreduce.cluster.local.dir 将tmp文件写到其他本地硬盘,可以提升IO
选择合适的压缩算法
mapreduce.map.output.compress=true
mapreduce.map.output.compress.codec=XXCodec
修改ifile预读大小
可以根据项目需求，适当修改预读缓冲区大小mapreduce.ifile.readahead.bytes
设置Combiner
增加输入文件的副本数
上述内容就是怎么进行hadoop性能调优 ，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注亿速云行业资讯频道。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
