- 博客(32)
- 收藏
- 关注
RSS订阅原创 Elasticsearch 分词器ngram+ik对比
,"tags": {"store": true //单独存储},"id": {},"title": {
2025-04-24 09:00:00
137
原创 Elasticsearch 索引创建及优化
es默认jvm在32G以下，启用指针压缩，使用的是32bit，如果大于32g，则禁用指针压缩，有助于提高CPU缓存的命中率，减少内存访问延迟，从而提高整体性能。8、调整refresh_interval（刷新时间），默认为1s，若调大后，会消耗更大的heap内存。默认值: true（大多数类型），某些类型如 text 默认为 false。冷热数据分离存储，热数据（比如最近 3 天或者一周的数据），其余为冷数据。（2）在查询中只检索必要的字段，使用 _source 参数限制返回字段。
2025-04-23 09:00:00
1129
原创 Elasticsearch 使用reindex进行数据同步或索引重构
version_type”: “internal”，internal表示内部的，省略version_type或version_type设置为 internal 将导致 Elasticsearch 盲目地将文档转储到目标中，覆盖任何具有相同类型和 ID 的文件。1）slices大小的设置可以手动指定，或者设置slices设置为auto，auto的含义是：针对单索引，slices大小=分片数；3）如果这个slices数字很大(例如500)，建议选择一个较低的数字，因为过大的slices 会影响性能。
2025-04-22 09:45:25
288
原创 Elasticsearch聚合操作
1、Date Histogram Aggregation：根据日期阶梯分组，例如给定阶梯为周，会自动每周分为一组。5、Stats Aggregation：同时返回avg、max、min、sum、count等。4、Range Aggregation：数值和日期的范围分组，指定开始和结束，然后按段分组。3、Terms Aggregation：根据词条内容分组，词条内容完全匹配的为一组。2、Histogram Aggregation：根据数值阶梯分组，与日期类似。1、Avg Aggregation：求平均值。
2025-04-22 09:43:22
294
原创 elasticsearch 查询检索
2、模糊查询 关键词：wildcard匹配出状态码status 以 5 开头的日志3、指定某个值 同时匹配多个字段 关键词：multi_matchquery 要查询的值fields 要匹配的字段【数组】匹配出 字段code和status 为400的所有日志4、一个字段查询多个值关键词：terms{ “字段”：[ 要匹配的多个值 ] }5、字段排序6、高量查询7、自定义高亮8、模糊查询(fuzzy)9、指定间隔分组interval:间隔，min_doc_count：过
2025-04-22 09:42:17
538
原创 docker-compose 部署nginx
在docker-compose同目录创建logs文件夹 以及certs文件夹，certs文件夹下放证书。
2024-05-13 10:16:20
1042
原创 深入了解redis
在指定的时间间隔内将内存中的数据集快照写入磁盘，它恢复时是将快照文件直接读到内存里以日志的形式来记录每个写操作（增量保存），将Redis执行过的所有写指令记录下来(读操作不记录），只许追加文件但不可以改写文件，redis 启动之初会读取该文件重新构建数据，换言之，redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。
2024-04-21 09:00:00
1158
1
原创 深入了解mysql
多版本并发控制。顾名思义，MVCC是通过数据行的多个版本管理来 实现数据库的并发控制。这项技术使得在innoDb的事务隔离级别下执行一致性读操作有了保证。换言之，就是为 了查询一些正在被另一个事务更新的行，并且可以看到它们被更新之前的值，这样在做查询的时候就不用等待另 一个事务释放锁。MVCC 没有正式的标准，在不同的DBMS 中 MVCC 的实现方式可能是不同的，也不是普遍使用的（大家可以参考相 关的DEMS 文档）。
2024-04-21 08:30:00
818
1
原创 操作mysql binlog日志
1）、按日期手动删除： purge binary logs before '2020-04-22 14:00:00';2）、按文件名删除，删除指定文件名之前的日志：purge binary logs to 'bin.000005';默认为0（为永不过期）flush logs;
2024-04-21 02:30:00
209
1
原创 windows 杀掉进程
命令：netstat -ano （本次杀掉8080 端口）命令：taskkill /f /t /pid 12176。win + r ,并输入cmd。
2024-04-20 02:45:00
399
原创 企业微信接口回调异常java.security.InvalidKeyException: Illegal key size 的解决方法（已解决）
秘钥长度，如果密钥大于128, 会抛出java.security.InvalidKeyException: Illegal key size 异常. java运行时环境默认读到的是受限的policy文件. 文件位于${java_home}/jre/lib/security, 这种限制是因为美国对软件出口的控制所造成的的.JDK1.8之后已经兼容了该问题。如果安装了JDK，还要将两个jar文件也放到%JDK_HOME%\jre\lib\security目录下覆盖原来文件。
2024-04-17 15:19:15
590
1
原创 canal数据同步
修改conf/logback.xml中的DEBUG改为WARN，提高日志等级。3、关闭tsdb，这个是时序数据库的。1、调整serverId。
2024-04-16 11:32:20
365
1
转载 Ubuntu数据安装elasticsearch
如果是win系统直接使用ftp工具进行上传，linux则使用命令进行上传。scp 要上传的文件 目标服务用户名@目标服务ip：目标服务器路径,例如。root用户启动es7.16.3被拒绝,其他版本类似.添加用户组es,及用户es 密码password。切换到用户,并执行elasticsearch。es 因为安全问题拒绝使用root用户启动。给用户es:es添加指定目录拥有权限。
2024-04-16 11:24:05
471
转载 Ubuntu安装kibana
则使用 sudo apt-get update进行更新，然后继续。注意：如果sudo apt install npm出现如下错误。ES集群只要在其中一台安装即可。
2024-04-16 11:20:16
288
原创 kafka+zookeeper环境搭建
脚本的密码路径,在export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G 后边添加。2、编辑config/server.properties文件,添加如下配置，各节点为各节点的ip。的密码路径,在export KAFKA_HEAP_OPTS="-Xmx512M后边添加。3、resources 新建 kafka_client_jaas.conf。（2）kafka_client_jaas.conf 该文件用于命令行使用。3、config下新建 服务端密码和客户端连接密码。
2024-04-16 11:17:53
450
原创 elasticsearch 环境搭建（linux）
ES分布式部署步骤-CSDN博客},"ik":{},},},"id":{},"title":{},},"author":{},"source":{},},
2024-04-16 11:17:12
1485
原创 mysql安装（centos）
export PATH=$PATH:你的MySQL解压路径/mysql-8.0.25/bin:你的MySQL解压路径/mysql-8.0.25/lib。2. chown mysql:mysql -R /data/mysqldata #chown 用户名:用户组 -R /data/mysqldata。chown -R mysql:mysql /var/lib/mysql/ #目录和my.cnf保持一致。datadir=/data/mysqldata/mysql #你自己创建的数据库文件存放路径。
2024-04-16 11:15:46
1024
原创 rabbitmq 消息队列
即为死信队列，生产者发送消息时设定过期时间的话，如果第一条消息的过期时间很长，第二条消息的过期时间很短，rabbitmq会等第一条消息过期后丢入到死信队列，然后再检查第二条消息的过期时间，从而导致过期时间短的消息晚被丢入到死信队列。广播模式，队列通过路由key将其和交换机绑定关系，生产者只需将消息发送到交换机，路由key便会将消息路由到对应的队列中，从而供消费者进行消费。正常声明交换机时，指定备份交换机，当消息不能正常到达正常交换机时，会将消息发送到备份交换机。1）消息TTL过期，即为消息存放时间过期。
2024-04-16 11:10:55
604
1
原创 heic 转png （linux）
链接：https://pan.baidu.com/s/1w-cwZzHIIG2oWN3DHGvIkQ。链接：https://pan.baidu.com/s/1t0aZg1nOPd0sxCUj0qg_9Q。
2024-04-16 11:05:03
254
原创 elasticsearch 查询聚合操作
2、模糊查询 关键词：wildcard匹配出状态码status 以 5 开头的日志3、指定某个值 同时匹配多个字段 关键词：multi_matchquery 要查询的值fields 要匹配的字段【数组】匹配出 字段code和status 为400的所有日志4、一个字段查询多个值关键词：terms{ “字段”：[ 要匹配的多个值 ] }5、多种组合查询关键词：bool must should range size sort6、es默认时间格式查询/ java时间查
2024-04-16 10:51:16
2802
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人