数据倾斜通常指hive根据key值hash分发到各个节点，相同的key值会分发到一个执行节点中，由于某些key值对应的数据量比其它key值的数据量大很多，导致某些执行节点的运行时间远大于其它节点，从而导致整个job执行时间较长。
在hive中执行的sql会有map和reduce两个阶段，map阶段的数据倾斜主要为数据从磁盘读入内存时、join，reduce阶段数据倾斜主要有join、group by、count distinct，针对于这些操作有不同的处理方式来避免数据倾斜。
一、map阶段
1.由于map读入数据的文件大小分布不均匀，并且小文件特别多，导致某些map读取并处理的数据特别多
这种情况可通过参数调整防止由于小文件过多导致每个map读取的数据量不均匀，mapred.max.split.size=256000000（每个map可以处理的最大文件大小，可调大该值来减少map数）
二、reduce阶段
1.join
数据表在进行join时有两种情况会出现倾斜：
（1）小表和大表join的倾斜
这种情况，可以直接使用hint（如/ + mapjoin(a) /）将小表全部加载到内存中后顺序扫描大表完成join（mapjoin有使用限制，必须是join中的从表较小时才可用，从表主要指left join中的右表，right join中的左表，小表最大为2GB）
（2）大表和大表join的倾斜
这种情况，需要具体原因具体分析：
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
