Dengrz的Blog

目录MR简介MR实现的操作流程作业提交流程Mapper阶段解读Reducer阶段解读数据流向分析总体处理流程分析Shuffle阶段解读MR简介一个MR作业通常会把输入的数据集切分为若干独立的数据块，先由Map任务并行处理，然后MR框架对Map的输出先进行排序，然后把结果作为Reduce任务的输入。MR框架是一种主从框架，由一个单独的JobTracker节点和多个TaskTracker节点组成。（JobTracker相当于Master，负责作业任务的调度，TaskT

一、简介好友推荐功能简单的说是这样一个需求，预测某两个人是否认识，并推荐为好友。二、思路某两个非好友的用户，他们的共同好友越多，那么他们越可能认识。比如，原始数据如下Tom Cat Hello Hadoop SpringCat Hello SpringHello Tom Netty Hadoop Cat Hadoop Tom Hello Netty Spring Spring Tom Cat HadoopNetty Hello Hadoop每一行表示某个用户的好

1 Hadoop 概述1.1 Hadoop 是什么（1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构（2）主要解决海量数据的存储和海量数据的分析计算问题（3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈1.2 Hadoop 优势（1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。（2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。（3）高效性：在MapReduce