MapReduce

分布式数据处理模型和执行环境，运行于大型商用机集群

map阶段和reduce阶段

• map阶段的输入是原始数据，每行作为一个文本值输入，该行的起始位置偏移量作为键。
• map函数的输出经由MapReduce框架处理（排序和分组）后，被送到reduce函数

常用类

MapReduceBase
Mapper
LongWritable
Text
IntWritable
Reporter
OutputCollector

Reducer

JobConf conf = new JobConf(ClazzA.class);
conf.setJobName(“The JobName”);
FileInputFormat.addInputPath(conf,new Path(args[0]));
FileOutputFormat.setOutputPath(conf,new Path(args[1]));
conf.setMapperClass(…)
conf.setReducerClass(…)
conf.setOutputKeyClass(Text.class)
conf.setOutputValueClass(IntWritable.class)
JobClient.runJob(conf);

• 打jar包
• 运行测试
• % export HADOOP_CLASSPATH=build/classes
• % hadoop ClazzA input/nnn/data.txt out

数据本地化优化

map任务将其输出写入本地硬盘，而非HDFS

排过序的map输出需要通过网络传输发送到reduce任务的节点

reduce的输出写入HDFS

如何为作业选择reduce任务的数量？

默认的MapReduce作业

多Reduce任务时，map任务都会对其输出进行分区，分区使用用户定义的分区函数控制，通常用默认的分区器，分区函数partitioner（哈希函数，高效）

混洗shuffle和排序

无reduce任务的情况，NLineInputFormat

合并函数combiner

• conf.setCombinerClass(…)

Hadoop 使用Streaming 支持其他开发语言使用Hadoop
Hadoop Pipes C++接口代称