qwet12355的博客

转载 Shuffle的过程作用详解

shuffle shuffle过程中的几个名词：shuffle：洗牌；spill：溢出；combiner：合成；merge：融入混合；copy:复制 shuffle的使用地点：发生在map task输出结果传送到reduce task 输入的阶段 使用shuffle的好处：在从map task端拉取数据到reduce task端时，减少宽带的消耗， 将数据完整的从map task端拉取数据到reduce task端 减少磁盘IO对task的影响 shuffle过程理解： 1.在map task端,输入...