CDH查询任务资源

### Cloudera CDH 中的任务资源查询方法 在Cloudera Distribution Including Apache Hadoop (CDH)环境中，任务资源的管理和监控是一个重要的环节。以下是关于如何查询和管理任务资源的具体说明。 #### 1. 资源池的概念与作用 资源池（Resource Pool）是YARN中的一个重要概念，它允许管理员定义不同的队列来分配集群资源[^2]。这些队列可以用来控制不同类型的作业所使用的CPU、内存和其他计算资源的比例。如果未正确配置资源池，则可能会遇到诸如`Cannot modify mapred.job.queue.name at runtime`之类的错误消息。 #### 2. 如何查看当前任务的资源配置 可以通过以下几种方式获取正在运行的任务及其对应的资源配置： - **使用 YARN CLI 命令** 可以利用 `yarn application -list` 或者 `yarn top` 来显示所有应用程序的状态以及它们消耗的资源情况。 ```bash yarn application -list ``` 此命令会返回一系列字段，其中包括应用ID、名称、用户、状态等信息，并附带其请求/已分配容器数量及资源大小的数据。 - **通过 ResourceManager Web UI 查看** 打开浏览器访问 `<ResourceManager_URL>:8088` 页面，在这里可以看到整个集群上提交的所有job列表连同各自占用的节点数目、VCores 和 Memory 数量等等详情。 #### 3. 配置并验证资源池设置 为了防止因缺乏适当权限而引发上述提到过的异常状况发生，应该事先做好如下准备工作: - 编辑位于 `$HADOOP_CONF_DIR/capacity-scheduler.xml` 文件内的参数项，增加新的队列或者调整现有队列属性值以便满足实际需求； ```xml <property> <name>yarn.scheduler.capacity.root.default.user-limit-factor</name> <value>1</value> </property> ``` - 确认修改后的策略生效与否可通过执行下面这条指令完成测试工作： ```bash yarn queue -showdetails default ``` 此操作能够帮助确认目标队列是否存在以及它的最大容量限制是多少等问题点所在位置。 #### 4. 利用 API 获取详细统计资料 除了图形界面之外，还可以借助 RESTful APIs 自动化收集有关性能指标方面的历史记录。例如对于 Hive on Tez 类型的工作负载而言，可以从 Ambari Metrics Service 提供的服务端口中提取到更加精细粒度级别的耗时分布图表展示出来给运维人员参考决策依据之用。 ```python import requests response = requests.get('http://<AMBARI_METRICS_HOST>:6188/ws/v1/timeline/metrics?metricNames=cpu_user&appId=<APP_ID>&precision=seconds') data = response.json() print(data) ``` 以上脚本片段示范了怎样调取特定时间段内某个进程单元下的 CPU 用户态占比趋势变化曲线图样式的JSON对象结构体形式表示法。 ---