mysql数据,通过logstash同步到elasticsearch,数据丢失

测试同学反馈,某业务商品数据查询不到,但数据库里面存在。
我们商品数据,从es中查询的。通过logstash,将mysql里面的数据同步到es中。
查看了下es中,该数据确实不存在。

重新构建index 然后做了一次全量数据同步,发现es中的数据总量低于mysql中数据源的数据总量。

在这里插入图片描述

原因:
sql有问题。数据查询sql,未指定排序。使用的默认排序,库表使用的InnoDB引擎。
当数据发生delete、update时,排序会发生变化。
后来指定根据主键排序,数据同步正常。es中数据和mysql数据量一样

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值