大数据资源管理方案研究

1.研究背景

在实际的大数据工程部署中，多个业务部门经常需要运行多个数据应用，在搭建Hadoop集群时，经常面临如何划分大数据集群及进行资源隔离的问题。另外，由于预算有限等原因，数据运维部门也有控制预算，减少大数据集群节点个数，同时保证重点业务性能等诉求。

现有大数据集群一般支持2种资源管理方式，包括物理多租和逻辑多租，分别介绍如下。在物理多租模式中，每个租户拥有自己的MRS集群，资源和数据物理隔离。它的特点如下：

• 租户间的资源完全物理隔离，隔离级别较高，租户间完全互不影响；但空闲资源无法供其他租户使用，存在资源浪费。
• 不同租户的数据在不同集群内，数据共享需要手工搬运数据，效率较低；
• 管理模式比较简单，对管理员技能要求相对较低；
• 运维管理工作量较大，需要维护多套集群。比如集群升级需要每个集群逐一升级。

在逻辑多租模式中，多个租户共用同一个集群，通过集群内的多租户安全体系，实现多租户之间的资源资源和权限管控。它的特点如下：

• 租户间的资源可以动态调配，A租户不使用的资源可供B租户使用，有助于提升平台的整体资源利用率；
• 不同租户间的数据在同一平台内，可通过权限放通实现数据的共享，数据免搬运;
• 对管理员技能要求高，要求熟悉各个多租户的特性与基本原理，合理进行多租户资源和权限的规划和分配；
• 运维管理工作量较小，一套集群统一管理。