Spark Shuffle FetchFailedException 内存溢出 源码级分析解决
某日遇到一个数据倾斜的SQL, 首先想到的方法就是加大Partition 看看数据hash 之后会不会落得 均匀,所以就将spark.sql.shuffle.partitions从原来的500 加大到2700 .结果反而失败了, 错误如下:FetchFailed(BlockManagerId(516, nfjd-hadoop02-node352.jpushoa.com, 7337, None), shuffleId=3, mapId=59, reduceId=917, message=org.apac
原创
2020-06-18 11:53:12 ·
4458 阅读 ·
2 评论