【大数据分析】Spark调优方案之数据倾斜调优

什么是“数据倾斜”

绝大多数task执行得都非常快，但会有个别task执行得很慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时。另外还有一种情况是，原本能够正常执行的Spark作业，突然报出OOM（内存溢出）异常。

发生数据倾斜现象的原因

发生数据倾斜现象的原因是，在进行shuffle类的算子时，必须将各个节点上相同的key拉取到某个节点上的一个task上来进行处理，比如按照key进行聚合或join等。此时如果某个key对应的数据量特别大，就会发生数据倾斜现象。假设大部分key对应10条数据，但是个别key却对应了100万条数据，那么大部分task可能就只会分配到10条数据，这些task可以在1秒钟内运行完。但是个别task可能分配到了100万数据，要运行一两个小时。整个Spark作业的运行进度是由运行时间最长的那个task决定的，因此出现数据倾斜现象的时候，Spark作业看起来会运行得非常缓慢，甚至可能因为某个task处理的数据量过大导致内存溢出。

解决方法

（1）使用Hive ETL预处理数据
假设Hive表中有的Key数据100万条，有的只有10条，可以使用Hive ETL预先对数据按照Key进行聚合，或者是预先和其他表进行Join，然后就可以避免在Spark层面进行这类操作。
（2）过滤少数导致倾斜的数据
比如99%的Key对应了10条数据，只有一个Key对应了100万，从而导致了数据倾斜，这种情况很有可能是数据异常，所以可以考虑把这个Key对应的数据去掉。