- 博客(2)
- 收藏
- 关注
RSS订阅原创 HDFS架构
HDFS介绍HDFS核心由namenode和datanode构成，namenode负责集群元数据管理，datanode负责数据存储。如下官网盗图：namenode HA架构(基于Quorum Journal Manager)namenode除了写fsimage，还会刷editlog。基于JournalNodes的守护进程同步editlog.并在故障发生时从editlog中恢复。同时为了避免脑裂，还可以设置隔离机制，用于阻止inactice namenode继续工作。对于自动failover,HD
2020-12-08 19:12:00
113
原创 spark启动流程
spark概览 Spark应用程序在群集上作为独立的进程集运行,可以部署在不同环境的集群上，包括(yarn,mesos,standalone,etc…).由driver中的SparkContext对象协调,这涉及到大概以下环节用户client端提交应用程序，根据不同环境启动不同的client端。sparkContext初始化执行用户程序(job提交，RDD划分statge，生成task)资源申请executor注册makeofferexecutor执行yarn-cluste
2020-12-08 19:07:27
934
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人