本文通过图书馆管理员统计图书数量的例子，生动地解释了Hadoop的分布式文件系统HDFS及MapReduce工作原理，并对比了Spark在数据处理上的优势。
摘自网上一句精简的话就是:
我们要数图书馆里面的所有书，你数1号书架，我数2号书架，他数3号书架...这就叫Map
map：分任务
其中假如把书架比作一台普通的计算机，那么整个图书馆里面的书则是由N台不太昂贵的计算机分布来存储的，而图书馆的管理员就相当于Hadoop的HDFS【分布式文件系统】
现在我们把所有人统计的图书数加在一起，这就叫“Reduce”
reduce：对每个任务的执行情况进行汇总
合起来就是Hadoop的MapReduce【分布式大数据处理功能】！！！
但是：Spark的数据处理速度要秒杀Hadoop的MapReduce，这就厉害了！！！
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
