本文详细介绍了Hadoop的四大组件：common包含Hadoop常用的工具类，如Configuration、FileSystem等；HDFS是分布式文件系统，由NameNode和DataNode组成，提供数据存储；MapReduce是并行处理模型，用于大数据计算；YARN作为资源管理框架，负责集群资源的调度和分配。
Hadoop 的四大组件：common、HDFS、MapReduce、YARN
common(工具类)：
包括 Hadoop 常用的工具类，由原来的 Hadoopcore 部分更名而来。主要包括系统配置工具 Configuration、远程过程调用 RPC、序列化机制和 Hadoop 抽象文件系统 FileSystem 等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提供了所需的 API。
- org.apache.hadoop.conf，配置相关类。
- org.apache.hadoop.fs，Hadoop文件系统。
- org.apache.hadoop.io，Hadoop I/O系统。
- org.apache.hadoop.ipc，Hadoop远程过程。
- 其他包，org.apache.hadoop.log，日志。org.apache.hadoop.metrics，用于度量统计和分析的。org.apache.hadoop.http和org.apache.hadoop.net，Hadoop对网络层次相关的封装。org.apache.hadoop.util，Common中的公共方法类，checkSum校验和的验证方法就包含于此。
Hadoop Distributed File System(HDFS)：
Hadoop 实现了一个分布式的文件系统，HDFS 为海量的数据提供了存储。HDFS 是基于节点的形式进行构建的，里面有一个父节点 NameNode，他在机器内部提
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
