Elasticsearch集群索引分片未分配unassigned导致集群状态红色red异常若干问题解决记录

最新推荐文章于 2024-04-28 13:35:36 发布
最新推荐文章于 2024-04-28 13:35:36 发布
阅读量6.4k 收藏 16
点赞数 1
分类专栏： ELK 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dc666/article/details/121356214
版权

一.背景

今天收到告警短信发现某个业务系统几台服务器的日志收集服务filebeat均已下线，把Filebeat都重启之后，准备到Kibana查阅业务系统的日志，检索异常条目，发现从凌晨开始的日志条目都没有，今天的索引也没有建成，查看集群监控，发现Elasticsearch集群状态为red，也无法继续使用和写入数据，于是开始着手排查故障。

二.系统环境：

所使用集群架构组件及版本信息如下：

操作系统OS版本：CentOS release 7.9.2009 (Core) 

名称  版本号
filebeat7.10.0
kafka2.4.1
zookeeper3.5.7
logstash7.5.2
elasticsearch7.5.2
kibana7.5.2

三.故障处理流程

1.首先在Kibana的控制台Dev Tools上使用

GET _cat/shards?v&s=state,prirep

查看索引的分片shard状态

发现主（state中标记为p，primary缩写）副分片（state中标记为r，replica缩写）都处于UNASSIGNED未分配的状态，所以Kibana上无法读取对应名为idr-attendance_2021.11.17以及.monitor-es-7-2021.11.16的索引上的数据

2.继续使用explain接口查看具体原因

GET /_cluster/allocation/explain
{
  "index": "idr-attendance_2021.11.17",
  "shard": 0,
  "primary": true
}

把步骤1中提到的当天出现分片分配异常索引idr-attendance_2021.11.17，和具体的分片编号0，填入到上面的参数中，由于主分片和副本都有异常，首先把primary置为true，用来查询主分片异常原因，之后置为false，用来查询副本分片异常原因，调接口查询结果如下图所示 

上图提示在Elasticsearch集群节点Elasticsearch02出现了分片分配异常的情况，节点Elasticsearch02是由于translog损坏corrupt导致的无法恢复（上图异常信息没截全），损坏原因怀疑是Filebeat服务的不正常停止导致数据流传输过程中异常中断。导致该0号分片无法分配UNASSIGNED。并且此时调用以下接口查看集群状态：

GET _cat/health?v

发现集群状态为red，无法正常使用

3.由于分片的事务日志translog出现了failed to recover from translog的问题，表示分片的事务日志已经遭到损坏，无法继续写入分片，所以需要清理已损坏的事务日志。针对三个Elasticsearch节点的集群，由于整个Elasticsearch集群已无法写入且运行清理工具需要暂停，同时避免出现脑裂等数据异常问题，所以首先停止Elasticsearch集群的所有节点

systemctl stop elasticsearch

没有部署成系统服务也可以通过kill进程的方式停止Elasticsearch服务

4.接着查询该问题索引的索引ID，即uuid，以此定位到问题节点Elasticsearch02的事务日志所在目录

GET _cat/indices/idr-attendance_2021.11.17?v

 如上图查询结果所示，查询到的idr-attendance_2021.11.17的uuid为B7svQGUgQSm0hyVWUnGAdg

5.登录到节点Elasticsearch02所在服务器，切换成启动Elasticsearch服务用户的身份，去执行清除事务日志translog的操作，否则之后重新生成的文件会出现权限不匹配导致无法写入的问题，操作步骤如下图所示

su - elk

cd /data/ELK/elasticsearch_data/data/nodes/0/indices/B7svQGUgQSm0hyVWUnGAdg/0/translog/

/data/elasticsearch/bin/elasticsearch-shard remove-corrupted-data --index idr-attendance_2021.11.17 --shard-id 0

回车后会对输入的索引和分片的事务日志tranlogs进行检索，并找出已损坏的事务日志，且由于事务日志已损坏，只能放弃部分未写入的数据换取Elasticsearch集群的正常启动，所以输入"y"确认执行清除损坏事务日志的操作，如下图

执行结果如下图所示

 6.重启Elasticsearch集群或已暂停的节点，回到kibana的Dev Tools开发者工具页面上，更改出现异常的索引idr-attendance_2021.11.17的参数"accept_data_loss"为"true"，重新启用该索引，此次操作由POST请求实现

POST  /_cluster/reroute

{

   "commands" : [

      {

          "allocate_stale_primary" : {

              "index" :"idr-attendance_2021.11.17",

              "shard" : 0,

              "node" : "rhjG2W_pStq_8zzbcwZvdA",

              "accept_data_loss" : true

           }

      }

   ]

}

返回acknowledged:true表示索引参数调整成功，如下图

 可以看到该索引分片的主分片(primary为true的一栏，表示为主分片身份)处于初始化"INITIALIZING"状态中，如下图

 而副分片(primary为false的一栏，表示为主分片身份)需等待主分片初始化完毕后，才能开始初始化，所以状态state表示为"UNASSIGNED"，如下图

 

 之后等待索引各分片恢复为"STARTED"即可，如下图

 7.最后查询Elasticsearch集群健康状态，恢复正常green，如下图

GET _cat/health?v

四.后记

1.后续又出现了索引分片未分配UNASSIGNED的错误，老方法，查询并分析后得到如下图的报错

由于Elasticsearch配置文件elasitcsearch.yml中参数cluster.routing.allocation.allow.rebalance的默认值为"indices_all_active"，即所有索引都恢复正常使用的状态后才能触发数据平衡，且当前有索引存在未分配UNASSIGNED分片的情况，导致整个Elasticsearch集群无法正常使用

2.网上方案是把出现问题的索引的副本数replica改为0，即针对该问题索引不进行索引数据冗余容灾，则避免出现Elasticsearch集群不停地等待该索引副本数据复制正常后而导致的不可用问题，在线更改索引副本数的命令如下图

curl -H 'Content-Type: application/json' -u elastic:'elastic用户密码' -XPUT http://192.168.193.155:9200/ems-nginx_2021.11.11/_settings -d '{"number_of_replicas": 0 }'

返回的结果为

{"acknowledged": true}

表示成功

之后使用

curl -XGET -u elastic:'elastic用户密码' http://192.168.193.154:9200/ems-nginx_2021.11.11/_settings

查询到该索引分片已调整为1个，符合上述副本分片数置0的调整，如下图

 3.本以为把索引分片调整为只保留1个即可恢复的时候，发现Elasticsearch日志又出现了新的报错，如下图

查找资料后发现是当前Elasticsearch集群的索引分片数达到了最大写入上限，需对集群分片上限数进行扩容，使用如下请求

curl -XPUT -H "Content-Type:application/json" -u elastic:'elastic用户密码' -d '{"persistent":{"cluster":{"max_shards_per_node":10000}}}' 'http://192.168.193.154:9200/_cluster/settings'

即可把集群索引分片上限提升到10000，然后分片数据即可正常写入

5.在故障处理过程中，可视化界面Kibana会由于Elasticsearch集群失效而无法访问，这时候在开发工具Dev Tools里执行的操作只能直接通过Elasticsearch的9200接口进行操作，详见上文中curl发起PUT请求过程，接口具体用法此处不再赘述。

6.后续经对Elasticsearch日志进行分析，发现有一处磁盘写满的报错，如下图

 于是确认系统磁盘空间，确认Elasticsearch的数据目录/data/ELK，发现当前还有1.5T的空间剩余

 于是和系统硬件管理人员确认，发现是磁盘挂载出现了问题，三个服务器节点磁盘总大小是3T，单个节点上限不超过2.5T，意思是此消彼长，并且发现三个节点的磁盘使用量都达到了1.1T，超过了实际磁盘总大小，所以会出现磁盘空间不足的错误信息。之后对磁盘进行扩容之后，重启Elasticsearch集群所有节点，索引分片数据开始正常重建，等待一段处理时间后，恢复正常使用。

解决 Elasticsearch 集群健康状态为红色以及未分配的分片问题
AlianBlank的博客
08-21 446
在本文中，我们讨论了 Elasticsearch 集群健康状态为红色并存在未分配的分片的问题。首先，我们通过检查集群的健康状态和未分配的分片来了解问题的具体情况。通过以上步骤，你可以解决 Elasticsearch 集群健康状态为红色以及未分配的分片问题，确保集群的正常运行。你可以通过解析该响应来获取未分配的分片的详细信息，包括分片的索引、分片号以及未分配的原因。首先，我们需要检查未分配的分片，以了解具体的问题。在 Elasticsearch 中，集群的健康状态是根据各个分片的状态来计算得出的。
【Elasticsearch】es 集群健康值 红色 red 分片 未分配
九师兄
06-25 6363
1.概述 转载：https://zhuanlan.zhihu.com/p/101608973 转载这篇文章是因为根据我的文章 【Elasticsearch】elasticsearch 7.x 查看分片未分配 (UNASSIGNED) 的原因 【Elasticsearch】Elasticsearch 集群健康值红色 解决方案 或者 分片 未分配 讲解了大部分分片未分配的原因，但是一步一步的排查，深入的排查，这篇文章可以弥补。 前言 可能你经历过这些Red. 。。。等等 那ES的Red是神么意思？ 这里说的r
es 通用操作
天空之城
03-02 337
集群健康检查 curl http://localhost:9200/_cluster/health?pretty { "cluster_name" : "xxxxx", "status" : "red", "timed_out" : false, "number_of_nodes" : 3, "number_of_data_nodes" : 3,
elasticsearch分片报错Unassigned
2401_84411072的博客
04-28 432
此时他会自动分配到其他节点，如果一直没有分配到其他节点，那就是其他节点有错误信息，没同步成功，我这里就一直没成功，发现是应为ik分词器报错，所以在子节点安装了ik分词器以后重启节点即可。成功的截图（我后来又将副分片设置成一就好了，设置成2仍然会出现3个未分配分片，应该和节点数量有关。它和其它框架（jquery）的区别是什么？描述下 vue 从初始化页面–修改数据–刷新页面 UI 的过程？Vue 的 nextTick 的原理是什么？组件中写 name 选项有什么作用？Vue 中 key 值的作用？
锦囊妙计解决elasticsearch集群为red状态
Angus
04-19 2871
如何是自己搭建的elasticsearch集群，其实是比较容易发生丢失分片的情况的。 1. 如果集群丢失了主分片 则直接呈现红色的健康状态 严重的会影响到对集群的写入，因为如果主分片丢了，但是集群的master节点会记着，有这个分片存在。所以写数据的时候，会报错。 2.如果是丢失副本分片， 则集群会呈现黄色的健康状态 不影响写入和查询操作。 究竟都有哪些原因导致集群丢失分片呢 针对我使用一年elasticsearch的经验，遇到过的错误，进行总结。我的elasticsearch是九...
Elasticsearch 重启后不正常，索引部分为Red
lostar01的专栏
12-31 1775
elasticsearch 重启部分索引red
Elasticsearch数据库的基本使用及ES健康状态red问题处理
2301_80895674的博客
11-22 753
我这边使用es主要是涉及了创建索引（index名称），删除索引（index名称），判断索引是否存在（index名称），查询全部索引，新增数据（索引名称，数据对象），删除数据（index名称，数据id），获取某一条数据（index名称，数据id），分页查询数据（index名称，数据id，分页参数）mappingBuilder.startObject() 是在创建索引的时候把索引中字段映射关系提前新建，不这样做的话，如果你查询的时候用了一些特定的条件的话，会报错（当新建索引，而且索引中没有添加过数据的时候）
Elasticsearch的UNASSIGNED未分配解决方案
lengyer的博客
11-18 2326
1.查看问题和原因 方法一： Linux上 curl -XGET localhost:9200/_cat/shards?h=index,shard,prirep,state,unassigned.reason| grep UNASSIGNED 方法二： Elasticsearch Head上 常见集群返回的原因： 1）INDEX_CREATED：由于创建索引的API导致未分配。 2）CLUSTER_RECOVERED：由于完全集群恢复导致未分配。 3）INDEX_REOPENED..
es集群节点数和分片数关系_elasticsearch5.x集群HA原理(shards、replicas)
weixin_28896255的博客
12-23 1798
最近在搭建es5.2的高可用集群，在这个过程中加深了对es的原理理解，基本分为四个阶段es单机—>es集群(多台机器)—>es分片和副本集分布原理—>es高可用集群1.es单机在第一个阶段基本概念的掌握还是比较熟练的，对应着关系型数据库(mysql)来理解es：文档(document)文档(document)是ElasticSearch中的存储形式。对所有使用ElasticSea...
es集群节点数和分片数关系_elasticsearch 集群启动流程
weixin_30446393的博客
12-23 618
es 的集群启动过程要经历选举主节点、主分片、数据恢复等重要阶段，理解其中原理和细节，对于解决或避免集群维护过程中可能遇到的脑裂，无主，恢复慢，丢数据等问题有重要作用。本文基于es 5.5.3版本，以通俗的语言描述流程中的原理和机制。基于版本：5.5.3相对于节点启动流程，我们通常更关注集群启动流程，这次不研究细节，说说原理和机制。集群启动整体流程：选举主节点选主是对Bully算法的改进，主要思路...
干货 | Elasticsearch 集群健康值红色终极解决方案
热门推荐
铭毅天下Elasticsearch
11-04 4万+
题记 Elasticsearch当清理缓存（ echo 3 > /proc/sys/vm/drop_caches ）的时候，出现 如下集群健康值：red，红色预警状态，同时部分分片都成为灰色。 查看Elasticsearch启动日志会发现如下： 集群服务超时连接的情况。 bserver: timeout notification from cluster service. ...
lasticsearch 集群indices 分片状态UNASSIGNED
无锋剑
01-15 224
lasticsearch 集群indices 分片状态UNASSIGNED ，集群状态为： yellow 故障现象 GET /_cat/shards/7a_cool 7a_cool 5 r STARTED 4583018 759.4mb 10.2.4.21 pt01-pte-10-2-4-21 7a_cool 17 r UNASSIGNED 1...
Elasticsearch 集群分片出现 unassigned 其中一种原因详细还原
qq_32020645的博客
11-02 2352
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。最近公司ES集群一些节点挂掉，致使一些索引的分片一直是unassigned状态，导致ES集群状态为RED，等待许久也不见好转，非常影响集群UI观感。想想什么原因，解决解决。先复原一波 ES集群中出现 分片 unassigned 的现象。如上图所示，0号主分片和0号副本分片所在的节点分别为es3、es5、es6节点，将对应这些节点上的es进程进行kill略微一等，发现test索引的2号分片会自动在es集群中自动均衡分布。
谁再问elasticsearch集群Red怎么办？把这篇笔记给他
独行侠梦的博客
01-08 2354
前言 可能你经历过这些Red. 。。。等等 那ES的Red是神么意思？ 这里说的red,是指es集群的状态，一共有三种，green、red、yellow。具体含义： 冷静分析 从上图可知，集群red是由于有主分片不可用，这种情况一般是由于节点宕机。 有什么影响呢？ 至少一个主分片（以及它的全部副本）都在缺失中。这意味着你在缺少数据：搜索只能返回部分数据，而分配到这个分片上的写入请求会返回一个...
elasticsearch unassigned
Jia__xin的博客
11-17 1322
elasticsearch unassigned1、查看目前有哪些es节点分片有问题2、重新分配副本 1、查看目前有哪些es节点分片有问题 curl -s "http://localhost:9200/_cat/shards" | grep UNASSIGNED 2、重新分配副本 curl -XPUT -H "Content-Type:application/json" "localhost:9200/index-2021-11-16/_settings" -d '{"number_of_rep
Elasticsearch：分片无法分配问题
weixin_51847688的博客
03-15 829
问题分析：从节点上的磁盘使用情况来看，节点的磁盘空间利用率超过了集群设置的低水位标记（cluster.routing.allocation.disk.watermark.low=85%），实际可用空间只有 14.18%state为unassigned代表未分配的分片。这里我选择更改es设置，更改每个节点的配置文件。1、es中创建索引时，需要说明分片和副本数。这里集群状态为黄色，说明分片出了问题。2、创建后，可以查看集群状态。1、寻找到无法分配的索引分片。2、查询分片未分配的理由。
Elasticsearch集群健康值为Red
月下犀牛
05-12 1261
Elasticsearch集群创建索引的时候，返回{“acknowledged”=>true, “shards_acknowledged”=>false}错误。集群健康值为Red。 原因是磁盘空间不够了，输入df -h命令可以看到文件系统已用超过了85%。 找到原因错误就好解决了，办法就是扩容，即虚拟机系统磁盘扩容。由于每个人的虚拟机装的不一样这里就不贴出了。 ...
Elasticsearch 查看集群状态
最新发布
05-27
### 查看 Elasticsearch 集群健康状态的方法 在 Elasticsearch 中，Cluster Health API 是用于快速获取集群整体运行状况的主要工具。通过该接口，用户能够了解集群的状态、分片分配情况以及其他重要指标。 #### 使用 Cluster Health API 获取集群健康状态 可以通过发送 HTTP GET 请求至 `_cluster/health` 端点来查询集群的健康状态。以下是具体方法： 1. **基本命令** 下面是一个基础示例，展示如何使用 `curl` 工具向 Elasticsearch 发送请求并获取集群健康信息： ```bash curl -X GET "http://localhost:9200/_cluster/health?pretty" ``` 这里的参数解释如下： - `-X GET`: 表明这是一个 HTTP GET 请求。 - `"http://localhost:9200"`: 替换为实际的 Elasticsearch 主机地址和端口号。 - `/ _cluster/health`: 调用 Cluster Health API 的路径。 - `?pretty`: 让返回的结果更加易读[^2]。 2. **高级选项** 如果需要更详细的控制，可以在 URL 后附加额外的查询参数。例如： - 添加 `level=shards` 参数可获得关于每个索引及其分片的具体信息。 ```bash curl -X GET "http://localhost:9200/_cluster/health?level=shards&pretty" ``` - 设置 `timeout` 参数指定等待响应的最大时间（单位为秒），防止长时间无响应的情况发生。 ```bash curl -X GET "http://localhost:9200/_cluster/health?timeout=3s&pretty" ``` 3. **局部模式下的状态检查** 默认情况下，集群状态请求会被转发到主节点以确保最新数据的一致性。然而，在某些场景下为了减少网络延迟或提高性能，可以选择启用局部模式 (`local=true`) 来直接访问发起请求的那个节点上的缓存版本的数据。 ```bash curl -X GET "http://localhost:9200/_cluster/health?local=true&pretty" ``` 此外还可以进一步细化所关心的内容范围，比如仅关注元数据或者路由表等方面的信息[^3]。 4. **理解返回结果中的关键字段** 成功执行上述任一命令之后将会收到一个 JSON 格式的回复，其中包含多个重要的属性描述整个系统的运作情形。下面列举几个常见的项目及其含义： - status: 整体健康度量标准，取值有三种可能性分别是 green(完全正常), yellow(存在部分问题但不影响核心功能) 和 red(严重错误影响正常使用)[^4]； - active_primary_shards: 当前活跃着多少个主要碎片实例数目; - relocating_shards: 正处于迁移过程当中的那些碎片的数量. ```json { "cluster_name": "elasticsearch", "status": "green", "timed_out": false, "number_of_nodes": 7, "number_of_data_nodes": 3, "active_primary_shards": 5, "active_shards": 10, "relocating_shards": 0, "initializing_shards": 0, "unassigned_shards": 0, "delayed_unassigned_shards": 0, "number_of_pending_tasks": 0, "number_of_in_flight_fetch": 0, "task_max_waiting_in_queue_millis": 0, "active_shards_percent_as_number": 100 } ``` 以上就是针对您提出的 “如何在 Elasticsearch 中查看集群健康状态”的解答方案说明文档内容总结完毕！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值