数据处理-Hadoop基础概念

Hadoop的两个基础组件是HDFS和MapReduce，同时它采用了分布式集群的方法来应对大数据处理。在本篇博客我将具体阐述Hadoop的相关基础概念，以加深自己对其的理解。

Hadoop的组成

话不多说，上图

Others：包括Common, Avro, Zookeeper, HBase, Hive, Chukwa, Pig, etc.（看不懂？没关系，我也看不懂，记住主要两个组件HDFS和MapReduce）

Hadoop特性

• 高可靠性
• 高效性
• 高可扩展性
• 高容错性
• 成本低
• 运行在Linux平台上
• 支持多种编程语言

Hadoop操作模式

• 单机模式
• 伪分布模式
• 分布模式

分布式文件系统

Hadoop是一台Master多个Slaver的形式，这台Master也同样被称作NameNode(名称节点)，Slaver被称作DataNode(数据节点)。
到现在为止，可以理解为这个样子：

Hadoop的容错机制有一条是这样的：每一个数据都要备份在三个不同的DataNode上面，这样如果有一个DataNode出现了问题，还有备份。那么同样考虑到NameNode上面呢？假如NameNode出现了错误，那肯定也需要有一个NameNode的备份来替补它的位置。鉴于只存在一个NameNode，所以出现了另外一个SecondaryNameNode，作用就是NameNode的备份。

拓展阅读

https://blog.csdn.net/weixin_42837961/article/details/105493561