Spark HistoryServer 搭建教程

在hdfs上建立文件夹/directory hadoop fs -mkdir/directory 进入conf目录 spark-env.sh 增加以下配置 export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=7777 -Dspark.history.retainedApplications=3 -Dspark....

问题描述在Spark安装成功后，无论是通过spark-submit工具还是通过Intellij IDEA提交任务，只要在Spark应用程序运行期间，都可以通过WebUI控制台页面来查看具体的运行细节，在浏览器中通过地址：http://<driver-node>:4040即可查看当前的运行状态。但是一旦应用程序运行结束，该Web界面也就失效了，无法继续查看监控集群信息。无法回顾刚刚运行的程序细节，进而

第一步： cd /home/hadoop/apps/spark-2.3.0-bin-hadoop2.7/conf cp spark-defaults.conf.template spark-defaults.conf 在文件里面添加如下内容： spark.eventLog.enabled     true spark.eventLog.dir     hdfs://myha01/ssparklo...

如果需要在spark中配置好historyserver，则需要再修改两处设置。你可以通过http://ip地址:18080查看spark程序的运行。注：首先要手工建立日志记录文件夹，服务器不会自动建立，建立命令如下。如果通过jps能够看到HistoryServer，则说明已经启动了。

文档中提供了两种搭建方式，cloudformation和docker image。所以中国区要想查看Glue job 的 history ui 只能用docker image自建server。而文档里提供的 Dockerfile 中使用的国外镜像源，非常慢，我测试了一下按文档上的步骤搭建完成需要1个多小时。并且只能通过代理访问，不能在EC2服务器以外的浏览器访问。将获取spark jar的方式从 maven 下载换成了由本地提供。修改 docker 镜像源为国内源，加快docker构建速度。

在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark应用程序在运行完应用程序之后，将应用程序的运行信息写入指定目录，而Spark history serve

Mesos 是 Apache 下的开源分布式资源管理框架Kubernetes（k8s）是目前最为流行的容器管理工具Windows 模式：将解压缩到无中文无空格的路径中执行解压缩文件路径下bin目录中的文件，启动 Spark 本地环境编写 Scala 程序执行或在 DOS 命令行窗口中执行提交指令。

mode(SaveMode.Overwrite) // 根据需求选择保存模式。// 1. 读取数据源（这里使用CSV示例，实际可以是Hive、JDBC等）.master("local[*]") // 生产环境需修改为集群地址。// 4. 将结果写入数据库（这里以MySQL为例）// 创建SparkSession。// 3. 显示计算结果（调试用）// 停止SparkSession。// 2. 数据转换与计算。

mode("overwrite") // 模式：overwrite/append/ignore/errorIfExists。- inferSchema : 是否自动推断数据类型（适用于 CSV/JSON，需读取少量数据，影响性能）。- 对于大规模数据，建议使用分区并行写入（如 option("numPartitions", "4") ）。.option("inferSchema", "true") // 自动推断数据类型。1. 读取文件数据（文本/CSV/JSON/Parquet 等）

易用性：支持多种编程语言，如Java、Scala、Python和R等，提供丰富的API，方便开发人员进行数据处理和分析。- MLlib：机器学习库，提供了一系列的机器学习算法和工具，如分类、回归、聚类等，方便用户进行数据挖掘和分析。- GraphX：用于图计算的组件，提供了图数据的表示和操作方法，能处理复杂的图结构数据。- 实时流计算：处理实时产生的流数据，如网站日志、传感器数据等，实现实时监控和预警。- 图计算：处理社交网络、知识图谱等图结构数据，进行节点关系分析、路径查找等操作。

cache 对于重复使用的算子,进行cache做缓存使用,数据只保存在内存中,性能提升persist 性能提升checkPoint 数据容错,当数据计算的时候,机器挂了,重新追溯到checkPoint的目录下checkPoint是将RDD持久化到磁盘中,还可以切断RDD之间的依赖关系。这个函数 f 接收一个输入类型为 T 的元素，返回一个类型为 U 的元素。：对 RDD 中的每个元素应用函数 f，函数 f 返回一个可遍历的集合，然后将这些集合中的元素扁平化合并成一个新的 RDD。

yarn任务筛选spark任务，判断内存/CPU使用超过限制任务。

Apache Spark 是一个强大的大数据处理引擎，而 HBase 是一个分布式 NoSQL 数据库，适合存储海量数据。通过结合 Spark 和 HBase，可以实现高效的数据处理和分析。本文以 Spark 2.3.2 读取 HBase 1.4.8 中的 hbase_emp_table 表数据为例，展示了如何实现这一过程。首先，在 IDEA 中创建工程 SparkReadHBaseData，并在 pom.xml 中添加必要的依赖，包括 Spark、HBase 和 Hadoop 的相关库。接着，在 com.

请注意，这里并没没有单独添加spark_core的依赖，因为在spark-sql中已经包含了spark_core。tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar得到的效果如下。若已安装，需要先做卸载MySQL的操作命令是：rpm -e --nodeps mariadb-libs。（2）spark-sql_2.12 提供了 Spark SQL 的功能，用于高效的数据处理和分析。使用的命令是： mysqld --initialize --user=mysql。

开发调试、本地测试（无需真实集群资源）。：生产环境（需调度真实集群资源）。，两者的核心区别在于。