大数据处理实践探索 ---- 笔试面试题：Spark基本调优

本文链接：https://blog.csdn.net/wangyaninglm/article/details/113429277

文章大纲

spark作业配置
- 作业配置的三种方式
- spark-submit参数说明
基本资源参数调优
阿里云参数设置参考
数据倾斜调优
- 数据倾斜产生的原因现象，原因，后果
- - spark 3.0 中对数据倾斜问题的解决
参考文档

spark作业配置

作业配置的三种方式

1.读取指定配置文件，默认为conf/spark-defaults.conf。
2.在程序中的SparkConf中指定，如conf.setAppName(“myspark”)。
3.spark-submit中使用参数。
这三种方式的优先级为SparkConf>spark-submit>配置文件。可以在spark-submit中使用–verbos参数查看起作用的配置来自上述哪种方式。

spark-submit参数说明

参数	说明
–master	集群的master地址。如：spark://host:port，mesos://host:port，yarn-client，yarn-cluster，local[k]本地以k个worker线程执行，k一般为cpu的内核数，local[*]以尽可能多的线程数执行。
–deploy-mode	driver运行的模式，client或者cluster模式，默认为client
–class	应用程序的主类（