这篇文章主要讲解了“mapreduce性能优化的方法是什么”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“mapreduce性能优化的方法是什么”吧！
map task 个数严重影响mr的性能。网上很多资料，讲解了原理和方法，我这里不再敖述。我总结了两种修改方法，希望对大家有帮助。
方法1：修改 hdfs 的blocksize，这种方法很不可取，需要重新启动集群。关键是以前的数据依然保持者以前blocksize的大小，新数据才会是新的blocksize的大小。比如以前是128M，修改为512M。以前的数据没变化，blocksize依然是128M。
方法二：推荐方法。代码中设置，最灵活，根据不同需求，设置不一样的值。设置 mapred.min.split.size 的大小代码中添加FileInputFormat.setMinInputSplitSize，单位是字节，如我的代码：
job.setMapOutputValueClass(IntWritable.class);
job.setNumReduceTasks(1);
//设置最小分片为512M
FileInputFormat.setMinInputSplitSize(job, 1024*1024*512);
FileInputFormat.addInputPath(job, new Path("/usr/keyword/input"));
补充说明：
TextInputFormat.setMinInputSplitSize(job,1024L);//设置最小分片大小
TextInputFormat.setMaxInputSplitSize(job,1024×1024×10L);//设置最大分片大小
感谢各位的阅读，以上就是“mapreduce性能优化的方法是什么”的内容了，经过本文的学习后，相信大家对mapreduce性能优化的方法是什么这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是亿速云，小编将为大家推送更多相关知识点的文章，欢迎关注！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
