hello

啊

Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里

NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件（edits）。当一个NameNode启动时，它首先从一个映像文件（fsimage）中读取HDFS的状态，接着应用日志文件中的edits操作。然后它将新的HDFS状态写入（fsimage）中，并使用一个空的 edits文件开始正常操作。因为NameNode只有在启动阶段才合并fsimage和edits，所以一段时间后日志文

一、执行start-dfs.sh后，datenode没有启动完全分布式模式下，一开始slaves配置如下：master.apache.orgslave1.apache.orgslave2.apache.orgmaster.apache.org既做namenode，也做datanode。后来我修改了此文件，slave1.apac

文件操作命令bin/hdfs  dfs  -mkdir    /data01bin/hdfs  dfs  -ls          /bin/hdfs dfs -put   ./test1.txt   /test  添加文件bin/hdfs dfs -text  /test/test1.txt      查看内容bin/hdfs dfs -tail   /test/te

支持32位系统， 64位系统需要编译源码一  准备阶段1、系统：CentOS 32位2、关闭防火墙和SELinux关闭防火墙service iptables statusservice iptables stopchkconfig iptables off  永久关闭禁用SELINUXvi /etc/sysconfig/sel

1.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。