YARN：执行流程

YARN（Yet Another Resource Negotiator）是Hadoop 2.x版本中引入的资源管理平台，用于管理Hadoop集群的计算资源。以下是YARN执行MapReduce作业的典型流程：

1. **作业提交（Job Submission）**:

  - 用户将MapReduce作业打包成JAR文件，并提交给YARN集群。这通常通过命令行工具或编程API完成。

2. **与ResourceManager通信（Communicate with ResourceManager）**:

  - 提交的作业首先与ResourceManager（RM）通信，ResourceManager负责整个集群的资源管理和作业调度。

3. **作业接收（Job Reception）**:

  - ResourceManager接收作业，并为作业分配一个唯一的作业ID。

4. **调度作业（Scheduling Job）**:

  - ResourceManager根据集群资源和调度策略，将作业调度到相应的节点上执行。

5. **与NodeManager通信（Communicate with NodeManager）**:

  - ResourceManager与NodeManager（NM）通信，NodeManager负责管理单个节点上的资源。

6. - **启动ApplicationMaster（Start ApplicationMaster）**:

      - ResourceManager启动一个特殊的进程ApplicationMaster（AM），它是作业的控制中心。

7. **资源请求（Resource Request）**:

  - ApplicationMaster向ResourceManager请求资源，用于启动Map任务和Reduce任务。

8. **分配容器（Allocate Containers）**:

  - ResourceManager根据调度器的决策，向ApplicationMaster分配容器，容器是YARN中的资源分配单位。

9. **启动任务（Start Tasks）**:

  - ApplicationMaster在获得容器后，会指示NodeManager启动具体的Map或Reduce任务。

10. **执行任务（Execute Tasks）**:

    - 每个任务在NodeManager上执行，Map任务生成中间结果，Reduce任务处理中间结果并生成最终输出。

11. **数据本地化（Data Localization）**:

    - 为了提高效率，YARN会尽量将任务调度到存储输入数据的节点上。

12. **任务状态汇报（Task Status Report）**:

    - 任务在执行过程中，会定期向ApplicationMaster汇报状态和进度。

13. **任务完成（Task Completion）**:

    - 任务完成后，会释放容器资源，并将状态汇报给ApplicationMaster。

14. **作业完成（Job Completion）**:

    - 所有任务完成后，ApplicationMaster向ResourceManager汇报作业完成，并关闭自己。

15. **清理（Cleanup）**:

    - ResourceManager进行清理工作，包括释放作业使用的资源和删除作业的工作目录。

16. **作业结果（Job Results）**:

    - 用户可以从指定的输出目录获取作业的结果。

YARN的执行流程是高度模块化的，ApplicationMaster作为作业的协调者，负责与ResourceManager和NodeManager交互，确保作业的顺利执行。YARN的设计使得它不仅可以运行MapReduce作业，还可以运行其他类型的分布式应用程序。