YARN调度架构中的AppMaster

最新推荐文章于 2024-12-25 18:40:55 发布
最新推荐文章于 2024-12-25 18:40:55 发布
阅读量1.1k 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bitbitbyte/article/details/106325186
版权

YARN调度架构

1590320376022

  • esourceScheduler是YARN的调度器，负责Container的分配。
  • AsyncDispatcher是单线程的事件分发器，负责向调度器发送调度事件。
  • ResourceTrackerService是资源跟踪服务，主要负责接收处理NodeManager的心跳信息。
  • ApplicationMasterService是作业的RPC服务，主要负责接收处理作业的心跳信息。
  • AppMaster是作业的程序控制器，负责跟YARN交互获取/释放资源。

AppMaster

AppMaster是一个yarn任务运行时第一个由RM启动的container，然后负责整个任务的运行，包括container的申请、启动、kill、状态检查等。ApplicationMaster属于应用程序级，其实现不是由Yarn框架提供（历史原因，yarn提供了MapReduce的AppMaster的实现），需要用户自己实现AppMaster进程的具体实现。

参考

1万台 Hadoop 集群 YARN 的调优之路

yarn任务提交过程源码分析

Spark之Yarn Cluster运行机制

lbzz
关注
【Yarn】Yarn 应用开发之Client开发、AppMaster开发
九师兄
03-01 768
在上一篇文章中【Yarn】Yarn 应用开发概述，我们学会了开发yarn程序的大概步骤。本章节我们主要学习，开发yarn程序的客户端。
YARN Application Master原理与代码实例讲解
AI天才研究院
06-19 603
1. 背景介绍 YARN（Yet Another Resource Negotiator）是Apache Hadoop的一个重要组件，它是一个分布式的资源管理系统，用于管理Hadoop集群中的资源。YARN的核心思想是将资源管理和任务调度分离开来，使得不同的应用程序可以共享集群资源，提高资源利用率。在YARN中，Application Master（
YARN源码分析(一)-----ApplicationMaster
走在前往架构师的路上
08-31 1万+
前言在之前两周主要学了HDFS中的一些模块知识,其中的许多都或多或少有我们借鉴学习的地方,现在将目光转向另外一个块,被誉为MRv2,就是yarn,在Yarn中,解决了MR中JobTracker单点的问题,将此拆分成了ResourceManager和NodeManager这样的结构,在每个节点上,还会有ApplicationMaster来管理应用程序的整个生命周期,的确在Yarn中,多了许多优秀的设
Yarn的ApplicationMaster管理
weixin_33932129的博客
08-31 356
     首先client向ResourceManager提交程序（包括ApplicationMaster程序，ApplicationMaster启动命令，用户程序）后，ResourceManager向资源调度器去申请资源，一旦申请的ApplicationMaster须要的资源，ApplicationMasterLaucher便与相应的NodeManager联系启动ApplicationM...
【十八掌●内功篇】第六掌：YARN之ApplicationMaster
鸣宇淳的专栏
12-02 2221
ApplicationMaster实际上是特定计算框架的一个实例，每种计算框架都有自己独特的ApplicationMaster，负责与ResourceManager协商资源，并和NodeManager协同来执行和监控Container。MapReduce只是可以运行在YARN上一种计算框架。 1、 AM的职能 2、 报告活跃 3、 资源需求 4、 调度 5、 启动Container
yarn源码分析之ApplicationMaster
ITBOY_ITBOX博客
06-10 492
1. ApplicationMaster // 启动进程 -- main -- new ApplicationMasterArguments(args)：参数对象的封装 // 创建应用管理器对象 -- new ApplicationMaster(amArgs, new YarnRMClient) ...
Yarn调度器的理解与优化
aliRan314的博客
02-27 905
YARN调度器，资源层的灵魂
Hadoop YARN：调度性能优化实践12
最新发布
LYLWDFGH4567的博客
12-25 856
本文主要介绍了美团点评Hadoop YARN集群公平调度器的性能优化实践。做性能优化，首先要定义宏观的性能指标，从而能够评估系统的性能。定义压测需要观察的细粒度指标，才能清晰看到系统的瓶颈。工欲善其事，必先利其器。高效的压力测试工具是性能优化必备的利器。优化算法的思路主要有：降低算法时间复杂度；减少重复计算和不必要的计算；并行化。性能优化是永无止境的，要根据真实业务来合理预估业务压力，逐步开展性能优化的工作。代码上线需谨慎，做好防御方案。
Spark源码之Spark on Yarn运行时架构
道可道非常道
03-06 1103
在当今大数据时代，数据处理和分析已成为各行各业的核心任务之一。为了有效地处理海量数据并实现高性能的分布式计算，Apache Spark作为一款强大而灵活的开源框架崭露头角。Spark的成功不仅源于其卓越的性能和易用性，更在于其开放源代码的本质，为研究者、工程师和开发者提供了深入学习的机会。Spark源码的学习可谓是解锁这一分布式计算框架内在奥秘的关键之一。理解Spark的底层实现细节，深入研究其核心组件和算法，不仅有助于更好地利用Spark提供的丰富功能，还能为解决实际业务问题提供定制化的解决方案。
Hadoop YARN：调度性能优化实践10
SVQ20241216的博客
12-25 612
本文主要介绍了美团点评Hadoop YARN集群公平调度器的性能优化实践。做性能优化，首先要定义宏观的性能指标，从而能够评估系统的性能。定义压测需要观察的细粒度指标，才能清晰看到系统的瓶颈。工欲善其事，必先利其器。高效的压力测试工具是性能优化必备的利器。优化算法的思路主要有：降低算法时间复杂度；减少重复计算和不必要的计算；并行化。性能优化是永无止境的，要根据真实业务来合理预估业务压力，逐步开展性能优化的工作。代码上线需谨慎，做好防御方案。
AppContainer-master
11-01
AppContainer-master　一键下载 　
YARN/MRv2 MRAppMaster深入剖析—ContainerLauncher分析
caodaoxi的专栏
10-23 175
ContainerLauncher负责与NodeManager通信，以启动一个container。在YARN中，运行Task所需的全部信息被封装到Container中，包括所需资源、依赖的外部文件、jar包、运行时环境变量、运行命令等。ContainerLauncher通过ContainerManager协议与NodeManager通信，该协议定义了三个RPC接口，具体如下： StartCo...
YARN中appmaster向resourcemanager申请资源的过程
weixin_39950222的博客
09-09 1276
以Hadoop任务为例: 1.当APPmaster获得任务的切片信息以后，会创建相应数量的map任务与reduer任务。这些任务会被封装成resourceRequest 列表，其中每个resourceRequest代表一个资源请求单元。 2.APPmaster向resourcemananger申请资源时会向rm发送这个resourceReqest列表。RM会...
YARN 详解 --- ResourceManager, NodeManager以及ApplicationMaster
热门推荐
.
03-18 1万+
一、什么是YARN YARN是Hadoop2.0版本新引入的资源管理系统，直接从MR1演化而来。 核心思想：将MP1中JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManager和ApplicationMaster进程来实现。 1）ResourceManager：负责整个集群的资源管理和调度。 2）ApplicationMaster：负责应用程序相......
Yarn上MRAppMaster组件详解以及任务资源申请、启动的源码分析
METON的博客
08-26 2357
MRAppMaster是MapReduce的ApplicationMaster实现，它使得MapReduce计算框架可以运行于YARN之上。在YARN中，MRAppMaster负责管理MapReduce作业的生命周期，包括创建MapReduce作业，向ResourceManager申请资源，与NodeManage通信要求其启动Container，监控作业的运行状态，当任务失败时重新启动任务等。 YARN中采用了基于事件驱动的异步并发编程模型，它通过事件将各个组件联系起来，并由一...
MRAppMaster类
鸭梨的博客
11-01 581
比较复杂,包含很多内部类 构造函数 大概意思就是需要applicationid和container id之类的 public MRAppMaster(ApplicationAttemptId applicationAttemptId, ContainerId containerId, String nmHost, int nmPort, int nmHttpPort, long appSubmitTime) { this(applicationAttemptId, cont
MRAppMaster详细分析
happy19870612's blog
11-19 1万+
一 MRAppMaster介绍 MRAppMaster是MapReduce的ApplicationMaster实现，它使得Map Reduce可以直接运行在YARN上，它主要作用在于管理作业的生命周期： 1.1作业的管理：作业的创建，初始化以及启动等 1.2向RM申请资源和再分配资源 1.3Container的启动与释放 1.4监控作业运行状态 1.5作业恢复   二 所涉及到的
Yarn
测试
12-19 1119
Yarn的基本介绍和模式： YARN的介绍Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YA...
Hadoop生态圈（四十一）- YARN应用开发详解
程序园@大Null
02-14 2051
YARN应用开发流程，客户端Client开发，AppMaster开发，YARN编程库开发应用，YARN基础库，YARN编程库，AppMaster与ResourceManager交互，AppMaster与NodeManager交互，服务库，事件库，状态机库，YARN应用客户端库，AM-RM编程库，NM编程库
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值