一只有梦想的咸鱼 2018-01-15 01:46 采纳率: 0%
浏览 2318
已结题

spark on yarn 如何修改yarn监控界面的user

我在做一个windows环境下的服务器用于 提交spark任务到yarn集群上的工作，但这样一来，每次提交的任务都是那台服务器的名称，如何动态修改 该值？？

  • 写回答

3条回答 默认 最新

  • 郑宗强 2018-01-15 05:30
    关注

    可以参考一下：http://blog.sina.com.cn/s/blog_4b1452dd0102wxjx.html

    评论

报告相同问题？

  • Spark on Yarn安装配置,大数据技能竞赛（容器环境）
    2024-12-05 20:58
    xfcloud的博客 Spark on Yarn模式，即把Spark作为一个客户端，将作业提交给Yarn服务，由于在生产环境中，很多时候都要与Hadoop使用同一个集群，因此采用Yarn来管理资源调度，可以有效提高资源利用率。服务端登录地址详见各任务...
  • Spark on Yarn提交任务过程
    2021-11-29 20:46
    枫_Maple的博客 这篇文章将从源码的角度向大家展示Spark是如何提交任务到Yarn上执行的，如有错误，还请各位指出。（基于Spark 3.0.0）
  • Spark的Yarn模式
    2021-01-20 12:44
    Spark的Yarn模式是将Spark应用部署在Hadoop的YARN资源管理系统上的方式，这种方式无需单独搭建Spark集群，而是利用YARN的资源管理和调度能力。YARN（Yet Another Resource Negotiator）是Hadoop 2.x版本引入的一个...
  • Spark源码之Spark on Yarn运行时架构
    2024-03-06 02:39
    Code Monkey’s Lab的博客 在当今大数据时代，数据处理和分析已成为各行各业的核心任务之一。为了有效地处理海量数据并实现高性能的分布式计算，Apache Spark作为一款强大而灵活的开源框架崭露头角。Spark的成功不仅源于其卓越的性能和易用性...
  • Spark on Yarn 环境搭建
    2023-07-02 15:16
    时下握今的博客 当Spark Application应用提交运行在YARN上时，默认情况下，每次提交应用都需要将依赖Spark相关jar包上传到YARN 集群中，为了节省提交时间和存储空间，将Spark相关jar包上传到HDFS目录中，设置属性告知Spark ...
  • spark on yarn 的执行过程以及日志分析
    2022-11-20 20:01
    骑着蜗牛向前跑的博客 spark on yarn 的执行过程以及日志分析
  • Spark on Yarn 高可用模式部署流程
    2025-05-16 18:17
    xhaoDream的博客 本文介绍了如何配置Spark和Yarn的高可用（HA）环境，以确保在大规模数据处理中避免单点故障。
  • spark 查看yarn日志_Spark on Yarn 查看日志
    2020-12-30 14:11
    兜兜船长的博客 一直一来都是直接在 Yarn 的 UI 界面上面查看 Spark 任务的日志的，感觉看少量的内容还勉强可以，但是如果内容很多，浏览器就没法看了，更没法分析。本文讲述如何使用 Yarn 自带的命令在终端查看 Spark 任务的日志，...
  • spark on Yarn测试
    2019-12-05 22:57
    郝少的博客 1、启动yarn [root@master sbin]# ./start-dfs.sh Starting namenodes on [master] master: starting namenode, logging to /opt/softWare/hadoop/hadoop-2.7.3/logs/hadoop-root-namenode-master.out slaves1: ...
  • spark 查看yarn日志_spark on yarn日志配置及webUI界面日志查看
    2020-12-30 14:10
    云崧的博客 spark 在standalone模式查看日志很方便，直接在8080端口的webui查看很方便，spark on yarn 只能在8088端口查看，而且只能在 application列表点击 Tracking UI applicationMaster查看当前运行的application日志那要看...
  • 没有解决我的问题, 去提问