《Hadoop权威指南》之Federation(联邦)初体验

Hadoop的联邦机制 1.1 为什么会出现联邦？ Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。 2.1 联邦的实现 采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。 如图： 图中概念： • block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所有的pool，block pool之间的管理是独...

单NameNode的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode进程使用的内存可能会达到上百G，NameNode成为了性能的瓶颈。 因而提出了namenode水平扩展方案-- Federation。 Federation中文意思为联邦,联盟，是NameNode的Federation,也就是会有多个NameNode。 多个NameNode的情况意味着有多...

在大数据时代，随着数据量的爆炸式增长，Hadoop分布式文件系统（HDFS）面临着前所未有的扩展性挑战。传统的单一NameNode架构逐渐显露出性能瓶颈，而联邦机制（Federation）的引入为HDFS的水平扩展提供了解决方案。客户端挂载表（client.mount.table）是联邦机制中的关键配置，它定义了文件系统路径到特定NameNode的映射关系。联邦机制通过引入多个NameNode来实现水平扩展，每个NameNode管理文件系统命名空间的一部分。

在Hadoop架构中提供了三类搭建方式，第一类是给测试或开发人员使用的伪分布式或单NN节点搭建方式，第二类是用来商用化并解决NN单点故障的HA搭建方式，第三类就是这里要说的联邦模式，它本身也是一种供给商用的模式，但是它的应用在国内不多，它是用来解决HA单ActionNN压力问题的，在技术顶设上，一个Hadoop集群内部同一时间只允许存在一个生效的NN，但是当你的数据量非常庞大，庞大到你的DataNode资源已经不能用海量形容的地步时，你觉得一个NN能够提供稳定可行的元数据维护吗？

HDFS Federation通过引入多个独立的NameNode解决了这些问题，每个NameNode管理自己独立的命名空间（Namespace），这样就实现了命名空间的水平分割。每个命名空间都是一套完整的文件系统目录树，拥有自己的目录、文件和块信息。这些NameNode共享底层的DataNode存储资源，但它们之间的命名空间是逻辑上隔离的。

HDFS Federation配置示例，HDFS Federation架构，HDFS Federation好处，当前HDFS体系架构

在单NameNode 的架构中，一个NameNode 管理一个Namespace，NameNode 管理的元数据会全部加载到其内存中，而单台NameNode所在的节点的内存是有上限的，因此也会造成NameNode 的存储瓶颈；再者，所有的HDFS客户端都操作同一NameNode，文件系统的吞吐量也有上限。

https://www.cnblogs.com/qcloud1001/p/7693476.html

前言：Hadoop2.0中的联邦机制

①客户端通过调用 FileSystem 对象的 open() 方法来打开希望读取的文件，对于HDFS来说，这个对象是 DistributedFileSystem 的一个实例。②DistributedFileSystem 通过使用远程过程调用(RPC)来调用 NameNode，以确定文件起始块的位置。③对于每一个块， NameNode 返回存有该块副本的 DataNode 地址。此外，这些 DataNode 根据它们与客户端的距离来排序(根据集群的网络拓扑)。

hadoop配置 HA+联邦集群规划集群配置hostshadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlslaves启动各组件之间的关系数据访问 HA：解决了NameNode存在的单点故障问题 联邦机制：拓展了NameNode的容量，提升集群所能存储数据的上限，各个HA之间不会通信，各自负责各自的数据管理 集群规划 t1 zookeeper JournalNode NameNode zkfc DataNode Resour

HDFS联邦