- 博客(65)
- 资源 (4)
- 收藏
- 关注
原创 消息中间件——RabbitMQ(七)高级特性 2
上一篇消息中间件——RabbitMQ(七)高级特性 1中我们介绍了消息如何保障100%的投递成功?幂等性概念详解在海量订单产生的业务高峰期,如何避免消息的重复消费的问题?Confirm确认消息、Return返回消息。这篇我们来介绍下下面内容。自定义消费者消息的限流(防止占用内存过多,节点宕机)消息的ACK与重回队列TTL消息死信队列我们一般就在代码中编写while循环,进行consumer.nextDelivery方法进行获取下一条消息,然后进行消费处理!
2023-11-29 17:23:34
547
原创 消息中间件——RabbitMQ(七)高级特性 1
前面我们介绍了RabbitMQ的安装、各大消息中间件的对比、AMQP核心概念、管控台的使用、快速入门RabbitMQ。本章将介绍RabbitMQ的高级特性。分两篇(上/下)进行介绍。消息如何保障100%的投递成功?幂等性概念详解在海量订单产生的业务高峰期,如何避免消息的重复消费的问题?Confirm确认消息、Return返回消息保障消息的成功发出保障MQ节点的成功接收发送端收到MQ节点(Broker)确认应答完善的消息进行补偿机制前三步不一定能保障消息能够100%投递成功。
2023-11-29 16:58:36
578
原创 消息中间件——RabbitMQ(六)理解Exchange交换机核心概念!
来了解RabbitMQ一个重要的概念:Exchange交换机RabbitMQ的概念、安装与使用、管控台操作、结合RabbitMQ的特性、Exchange、Queue、Binding、RoutingKey、Message进行核销API的讲解,通过本章的学习,希望大家对RabbitMQ有一个初步的认识。
2023-11-23 17:26:33
461
原创 消息中间件——RabbitMQ(五)快速入门生产者与消费者,SpringBoot整合RabbitMQ!
本章我们来一次快速入门RabbitMQ——生产者与消费者。需要构建一个生产端与消费端的模型。什么意思呢?我们的生产者发送一条消息,投递到RabbitMQ集群也就是Broker。我们的消费端进行监听RabbitMQ,当发现队列中有消息后,就进行消费。
2023-11-23 17:20:15
620
原创 消息中间件——RabbitMQ(四)命令行与管控台的基本操作!
RabbitMQ的安装过以及各大主流消息中间件的对比:,本章就主要来介绍下我们之前安装的管控台是如何使用以及如何通过命令行进行操作。guest注意:RabbitMQ的管理后台的端口是15672,RabbitMQ监听的端口是5672,要连接RabbitMQ为5672端口!RabbitMQ以及Erlang安装的版本号:RabbitMQ xxx、Erlang xxx。右上角可以设置页面”刷新时间”(5秒、10秒、30秒、不刷新几个选项)。选择监听的”虚拟主机”。节点的名称。登录的用户连接的属性。
2023-11-22 11:45:59
1501
1
原创 消息中间件——RabbitMQ(三)理解RabbitMQ核心概念和AMQP协议!
互联网大厂为什么选择RabbitMQ?RabbiMQ的高性能之道是如何做到的?什么是AMQP高级协议?AMQP核心概念是什么?RabbitMQ整体架构模型是什么样子的?RabbitMQ消息是如何流转的?AMQP全称:Advanced Message Queuing Protocol(高级消息队列协议)AMQP定义:是具有现代特征的二进制协议。是一个提供统一消息服务的应用层标准高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。它就类似于Java中的JMS。
2023-11-22 11:38:53
875
原创 消息中间件——RabbitMQ(二)各大主流消息中间件综合对比介绍!
消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件,如老牌的ActiveMQ、RabbitMQ,炙手可热的Kafka,阿里巴巴自主开发RocketMQ等。今天主要来介绍了下几大主流消息中间件的区别与联系。ActiveMQ是由Apache出品,ActiveMQ是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现。
2023-11-02 17:09:16
835
原创 Centos磁盘问题小纪
放个windows的图片镇楼,在给一个centos的来说明问题,咋了,好好的系统,啥也不能干了。然后就是一堆的错误,生成环境别折腾赶紧迁移备份数据,然后重新处理吧。恢复生产后再试试看看能不能恢复服务。查看分区挂载详情 rw读写权限。来先上一波命令分析下问题。
2023-10-23 16:03:39
447
原创 Es集群部署
遇到could not find java in bundled jdk at /usr/local/elasticsearch-7.7.1/jdk/bin/java,查看自己的es安装目录是否是root权限,修改授权为ES。export ES_HOME=/usr/local/elasticsearch-7.7.1 # elasticsearch所在目录。# 启动elasticsearch的账户/用户。sysctl -a|grep vm.max_map_count #重启后查看配置是否生效。
2023-10-22 09:00:00
642
1
原创 Kibana开发工具安装
tar -zxvf kibana-7.7.1-linux-x86_64.tar.gz -C /usr/local/ cd /usr/local/ mv kibana-7.7.1-linux-x86_64/ kibana-7.7.1/ #编辑配置文件,在末尾添加 vim /usr/local/kibana-7.7.1/config/kibana.yml 授权 chown -R elasticsearch. /usr/local/kibana-7.7.1//etc/init.d 下创建kibana。
2023-10-21 11:32:05
263
原创 jvm内存溢出溯源
在复杂的系统中,这往往是不可能的。你的对象集中可能仍包含了大量的实例或者在此情况下,使用参考图不可能会提供任何见解。为了便于比较内存的增长情况,可以点击”Mark Current”按钮,来将当前内存使用情况作为参照,点击后会显示“Difference”列,该列会列出对象数量的变化和变化比率;12:启动这个脚本 ./startup_jprofiler.sh ,看到下面这个命令就是启动成功了,正在等待连接你本地的客户端。从引用类型中,你就可以缩小对象集。例如,您可能知道那些引用类型是正常的,那些是不正常的。
2023-10-21 11:15:07
231
原创 Logstash、sharding-proxy组件高级配置
通过设置 -w 参数指定 pipeline worker 数量,也可直接修改配置文件 logstash.yml。这会提高 filter 和 output 的线程数,如果需要的话,将其设置为 cpu 核心数的几倍是安全的,线程在 I/O 上是空闲的。默认每个输出在一个 pipeline worker 线程上活动,可以在输出 output 中设置 workers 设置,不要将该值设置大于pipeline worker 数。
2023-09-26 08:00:00
503
2
原创 MySQL按时间拆分千万级大表
查看数据库表中是否开始循环插入数据。调用存储过程测试是否可以进行表切割。来点干货在mysql里面测试一下。添加一个循环插入的EVENT。
2023-09-24 09:00:00
304
原创 Mycat与ShardingSphere如何选择(未完待续)
1、keepalived和haproxy必须装在同一台机器上(如192.168.46.161机器上,keepalived和haproxy都要安装),keepalived负责为该服务器抢占vip(虚拟ip),抢占到vip后,对该主机的访问可以通过原来的ip(192.168.46.161)访问,也可以直接通过vip(192.168.46.180)访问。起到负载均衡的作用,同时haproxy也能检测到mycat是否存活,haproxy只会将请求转发到存活的mycat上。这里的代理服务,是单机。
2023-09-23 09:30:00
1130
原创 Elasticsearch高级聚合查询
shard_min_doc_count参数用于调节如果索引词实际上应该被添加到候选列表或者不应该被添加到min_doc_count中的分片所具有的确定性。如果您的文档包含许多低频索引词,并且您对这些索引词不感兴趣(例如,拼写错误),那么您可以设置shard_min_doc_count参数以筛选分片级别上的候选索引词,即使经过合理的确定也不会达到所需的min_doc_count。//这里会生成 min_doc_count:1 shard_min_doc_count:0。
2023-09-22 17:22:38
601
原创 Lostash同步Mysql数据到Elasticsearch(四)通过kibana辅助查看同步情况
不知是什么原因引起的,在过滤器中使用if else,找不到else相关插件,暂未找到原因,使用if取反暂时解决。创建新索引,讲数据拷贝至新索引,删除旧索引,增加分片数后,在把数据拷贝回来,使用ES内部迁移速度飞快。在数据同步时,我们需要使用一些常用查询,来确认脚本及索引情况,下面的常用命令可以帮到大家。
2023-09-20 09:00:00
168
原创 Lostash同步Mysql数据到Elasticsearch(三)Elasticsearch模板与索引设置
Logstash数据同步 Elasticsearch模板与索引设置
2023-09-19 21:17:43
546
原创 Lostash同步Mysql数据到Elasticsearch(一)服务介绍及环境配置
Logstash是一个数据流引擎:它是用于数据物流的开源流式ETL引擎,在几分钟内建立数据流管道,具有水平可扩展及韧性且具有自适应缓冲,不可知的数据源,具有200多个集成和处理器的插件生态系统,使用Elastic Stack监视和管理部署Logstash包含3个主要部分: 输入(inputs),过滤器(filters)和输出(outputs)。inputs主要用来提供接收数据的规则,比如使用采集文件内容;filters主要是对传输的数据进行过滤,比如使用grok规则进行数据过滤;
2023-09-18 09:00:00
161
原创 MySQL启动失败PID文件相关问题排查
如果你启动的这个mysql的端口已被其他服务占用,应修改对应my.cnf中的端口号为其他端口,然后重启mysql.如果在重启mysql前,已有该mysql的进程,建议kill掉再重启。如果还是无法启动,去mysql的数据存放目录进行再删除,然后启动(如果数据库不是新安装的且数据仍在使用,不建议删除ib开头的文件。首先pid文件是mysql启动后,生成的一个文件,里面记录的是mysql当前的进程号,如果创建失败,mysql就无法启动。如果授权后,仍无法启动。生成pid文件的目录mysql的权限不足。
2022-09-16 16:34:33
2517
1
原创 Linux运维之Shell脚本处理-mysql主从状态监控异常脚本处理
echo "=========异常错误无法进行自动恢复,请尽快登录处理===========" >> /home/sql_error.txt。echo "=========异常错误无法进行自动恢复,请尽快登录处理===========" >> /home/sql_error.txt。echo "=========执行自动恢复计划任务执行===========" >> /home/sql_error.txt。crontab -e #这里有什么问题记得找百度。#这里注意使用的全局变量。
2022-09-07 17:24:48
1133
原创 Centos7 安装RabbitMQ3.10.7 Erlang 25.0.3
/configure --prefix=/usr/local/erlang #这一步完了看看是否满足安装环境记得缺什么去找什么安装好了在进行下面的编译操作。# 赋予 virtual host 中所有资源的配置、写、读权限以便管理其中的资源。# 添加 admin ⽤用户,密码设置为 admin。...
2022-08-12 17:42:32
3343
9
原创 centos7-mongodb安装初始化
db.createUser({user: "test",pwd: "test",roles: [{ role: "readWrite", db: "test" }] }) #创建对test库有读写权限的账户密码。> db.createUser({user:"master",pwd:"123456",roles:[{"role":"userAdminAnyDatabase","db":"admin"}]}) #创建超级用户。##开启认证,必选先添加用户,先不开启(不用验证账号密码)...
2022-08-05 16:03:05
512
win11安装docekr、docker-compose
2023-10-24
Apache Felix 框架整理包 开箱即用
2022-07-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人