qwet12355的博客

转载 Shuffle的过程作用详解

shuffleshuffle过程中的几个名词：shuffle：洗牌；spill：溢出；combiner：合成；merge：融入混合；copy:复制shuffle的使用地点：发生在map task输出结果传送到reduce task 输入的阶段使用shuffle的好处：在从map task端拉取数据到reduce task端时，减少宽带的消耗，将数据完整的从map task端拉取数据到reduce task端减少磁盘IO对task的影响shuffle过程理解：1.在map task端,输入...