HDFS文件系统之存储优化篇1

        随着业务数据规模逐渐变大，业务成本越来越高，同时HDFS本身的数据冗余多副本机制放大存储成本过高文题，且近年来各大公司都在搞降本增效，所以相关降本要求越来越高，对HDFS本身存储系统提出更多的挑战。

一. HDFS EC介绍

        首先介绍一下EC，EC是Erasure coding的简称，是一种编码容错技术。HDFS 默认的EC编码为RS-6-3-1024，若应用此编码相比默认的三副本大概可以节省一半的成本。HDFS数据的布局方式分为两种，一种是连续布局，如果出现问题EC修复粒度太大，容易造成资源瓶颈问题，第二种是条行布局，EC修复粒度较小，修复成本低。整体如下图所示：

二. HDFS EC应用

        一般的部署模式是EC数据用专门的大存储介质集群，上层用rbf统一管理，然后采用离线EC转换的方式进行EC数据落地，主要考虑点是：新产生的数据一般不是冷数据，且目前HDFS在线EC稳定性会差一些。同时为了保证数据安全需要做严格的效验和检测机制。上层可以做一套EC数据管理平台，方便业务进行接入和应用，同时也方便平台同学去管理，具体包括：冷数据分层管理ÿ