- 博客(2)
- 收藏
- 关注
RSS订阅原创 基于YARN的mapreduce作业执行流程详解
相对于MapReduce1系统，YARN将jobtracker的职能划分为多个独立个体，从而改善经典MapReduce在扩展时面临的瓶颈。标基于YARN的mapreduce作业执行流程题YARN中的实体：1. 客户端：提交MapReduce作业；2. 资源管理器：协调集群上计算资源的分配。3. 节点管理器：负责启动和监视集群中机器上的计算容器（container）。4. 应用管...
2019-01-13 10:43:10
772
原创 经典MapReduce任务执行流程详解
本文主要介绍hadoop运行经典MapReduce（MapReduce1）任务过程涉及的实体及其工作原理。涉及实体客户端：提交MapReduce作业；jobtracker：它协调在集群上运行的所有作业（分配给tasktracker），是java应用程序，一个集群只有一个jobtracker。tasktracker：运行tasktracker分配的任务并定时向jobtracker...
2019-01-13 09:51:18
4198
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人