凌夜知惜

hadoop-2.7.3版本1、安装java环境2、hadoop/etc/hadoop/hadoop-env.sh>> JAVA_HOME = /root/java/jdk83、在命令行输入hadoop就会有提示信息,说明最基本的环境已经安装完成4、配置namenode的节点信息 hadoop/etc/hadoop/core-site.xml<configurat...

文件读取示意图1、首先客户端通过FileSystem(就是HDFS的一个实例)的open方法打开要读取的实例2、通过RPC调用请求NameNode这个文件的起始块的信息，NameNode会向客户端返回一个带有这个文件的起始块的列表    这个列表是排好序的，即按照存在起始块的DataNode和客户端的距离(根据网络拓扑结构确定)3、客户端对最近的DataNode节点调用Read...

当面度超大规模的存储时，HDFS的namenode节点的内存可能会吃不消，所以在Hadoop 2.x版本中提供了联邦来解决这个问题解决思路是Federation允许HDFS集群添加多个Namnode来扩展集群即一个Namenode存不下太多的元数据就让多个Namenode来存储，每个Namenode只存储一部分逻辑结构如下一个Namenode存不下的元数据被分配到多个Namenod...

Hadoop的1.x版本有一个比较严重的问题就是Namenode的单点问题当nameNode挂了后整个集群就不能不能用了，为了解决这个问题在hadoop2.x版本中引入了HA的概念即高可用大致思路是多配置介个namenode，但是只有一个真正对外提供服务，即1+N个namenode节点，1个是active状态其他的都是standby状态，只有active状态的namenode对外提供服务，...

废话不多说直接看图一、hadoop的架构    1>从物理架构来看一个叫Master的机器管理者3台叫slaveX的节点    2>从逻辑的角度来看        a:HDFS 一个NameNode节点管理着3台DataNode节点        b:Yarn 一个ResourceManager管理者3台NodeManager二、各个角色的作用    N...