HDFS基础学习

HDFS背景介绍

            随着数据量越来越大，在一个操作系统中存不下，那么就把数据分配到更多的操作系统管理的磁盘中，但是这样不方便管理和维护，因此需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。

            分布式文件系统是一种允许文件通过网络在多台机器上分享的文件系统，可让多机器上的多用户分享文件和存储空间。分布式文件管理系统很多，HDFS只是其中一种，适用于一次写入、多次查询的情况，不支持并发写的情况，不适合小文件，因为小文件也占用一个块，小文件越多，NameNode压力越大。

1、HDFS是什么

              HDFS是Hadoop的分布式文件系统（基于Java的分布式文件系统），允许您在Hadoop集群中的多个节点上存储大量数据，因此，如果你安装Hadoop，你将HDFS作为底层存储系统来存储分布式环境中的数据。

               我们通过hadoop  shell上传的文件是存放在DataNode的block中的，通过linux  shell是看不到文件的，只能看到block。即把客户端的大文件存放到很多节点的数据块中。