一、Spark架构组成图：
待补充......
-
..............
-
..............
-
......................
Glossary
The following table summarizes terms you’ll see used to refer to cluster concepts:
| Term | Meaning |
|---|---|
| Application | 基于Spark的用户程序 (创建了一个SparkContext ) .由一个 driver 进程 和N个 executor 进程 on the cluster模式下. |
| Application jar | Spark包含的jar包 |
| Driver program | 一个Driver进程运行 main() 方法,创建一个SparkContext |
| Cluster manager | 提交集群(--master local/standalone/on yarn)模式下的资源管理(提交设置code memory....) |
| Deploy mode | 区分Driver进程在什么地方cluster or client, 主要区别 是Driver在本地还是集群的Container里 |
| Worker node | 运行Spark代码的应用程序的节点(standalone模式概念),在(on yarn)模式下是NodeManager |
| Executor | 一个Executor进程,运行在Container里,能够运行我们Task,保存数据到内存里或者磁盘上，每一个应用程序有自己独立的Executor |
| Task | 最小的工作单元,Driver发送代码到Executor然后Task执行 |
| Job | 每一个Action就会产生job(map,conllect) |
| Stage | 每个Job被拆成Task集合,遇到shuffle会stage+1 |
来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31441024/viewspace-2212637/，如需转载，请注明出处，否则将追究法律责任。
转载于:http://blog.itpub.net/31441024/viewspace-2212637/
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
