RabbitMQ

已于 2023-07-09 20:29:32 修改
阅读量836 收藏
点赞数
文章标签： java-rabbitmq rabbitmq python
于 2023-07-09 20:27:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDN1csdn1/article/details/131623651
版权

一. RabbitMQ

一种常用的消息中间件，它是一种接收数据、接收请求、存储数据、发送数据等功能的技术服务。

使用的协议是AMQP协议。

在这里插入图片描述

核心概念：
Server：又称Broker，接受客户端的连接，实现AMQP实体服务。
Connection：连接，应用程序与Broker的网络连接 TCP/IP/ 三次握手和四次挥手。
Channel：网络信道，几乎所有的操作都在Channel中进行，Channel是进行消息读写的通道，客户端可以建立各Channel，每个Channel代表一个会话任务。
Message：消息，服务与应用程序之间传送的数据，由Properties和body组成，Properties可是对消息进行修饰，比如消息的优先级，延迟等高级特性，Body则就是消息体的内容。
Virtual Host：虚拟地址，用于进行逻辑隔离，最上层的消息路由，一个虚拟主机理由可以有若干个 exhange 和 queue，同一个虚拟主机里面不能有相同名字的Exchange。
Exchange：交换机，接受消息，根据路由键发送消息到绑定的队列(==不具备消息存储的能力==)。
Bindings：Exchange和Queue之间的虚拟连接，binding中可以保护多个routing key.
Routing key：是一个路由规则，虚拟机可以用它来确定如何路由一个特定消息。
Queue：队列，也成为Message Queue 消息队列，保存消息并将它们转发给消费者。

二. 简单模式

生产者 producer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列
mq_channel.queue_declare(queue="hello")

# 3. 向队列中插入数据
mq_channel.basic_publish(exchange="",      # 交换机为空的话，就是使用默认的交换机
                         routing_key="hello",   # 指定队列
                         body="Hello World".encode("utf-8")     # 队列中插入的数据
                         )

print("Sent Hello World to MQ")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列，如果生产者已经创建好了队列的话，消费者这块就不再创建了
mq_channel.queue_declare(queue="hello")

# 3. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")

# 4. 确定监听队列参数
mq_channel.basic_consume(queue="hello", auto_ack=True, on_message_callback=call_back)
print("wait for message from MQ")

# 5. 开始正式监听
mq_channel.start_consuming()

三. 参数

3.1 应答参数 auto_ack

应答参数是消费者在消费完消息之后要进行确认。只有确认之后，队列中的数据才会被删除。
True：自动应答 。队列中已消费的数据被删除，如果回调函数逻辑处理失败，则无法重新处理数据。
False：手动应答，需要在回调函数里手动确认应答。只有手动确认之后，队列中已消费的数据才会被删除。

简单模式下生产者不变，要修改消费者consumer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列，如果生产者已经创建好了队列的话，消费者这块就不再创建了
mq_channel.queue_declare(queue="hello")

# 3. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")
    channel.basic_ack(delivery_tag=method.delivery_tag)     # 手动应答时必须手动添加确认应答

# 4. 确定监听队列参数
mq_channel.basic_consume(queue="hello",
                         auto_ack=False,     # True 为自动应答，False为手动应答，如果手动应答的话，需要在回调函数里手动添加确认应答
                         on_message_callback=call_back)

print("wait for message from MQ")

# 5. 开始正式监听
mq_channel.start_consuming()

3.2 持久化参数 durable

持久化参数是为了防止已经入队的数据因服务重启而导致数据丢失。
创建可持久化队列 + 入队数据持久化。
生产者 producer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建可持久队列
mq_channel.queue_declare(queue="hello2",
                         durable=True       # True表示创建一个可持久化的队列
                         )

# 3. 向队列中插入数据
mq_channel.basic_publish(exchange="",      # 交换机为空的话，就是使用默认的交换机
                         routing_key="hello2",   # 指定队列
                         body="Hello World persistent2".encode("utf-8"),     # 队列中插入的数据
                         properties=pika.BasicProperties(
                             delivery_mode=2        # 对入队的数据做持久化
                         )
                         )

print("Sent Hello World to MQ")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建可持久队列，如果生产者已经创建好了队列的话，消费者这块就不再创建了
mq_channel.queue_declare(queue="hello2", durable=True)

# 3. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")
    channel.basic_ack(delivery_tag=method.delivery_tag)

# 4. 确定监听队列参数
mq_channel.basic_consume(queue="hello2",
                         auto_ack=False,
                         on_message_callback=call_back)

print("wait for message from MQ")

# 5. 开始正式监听
mq_channel.start_consuming()

3.3 分发参数

多个消费者同时监听一个消息队列，那么数据是如何分发到各个消费者呢？

  • 轮询分发。不管哪个消费者处理数据快或慢，数据总是平均分发到所有消费者。
  • 公平分发。消费者处理地越快，分发给他的数据就越多，多劳多得，会造成数据倾斜。要做到公平分发，必须关闭自动应答ack，改成手动应答。
3.3.1 轮询分发

生产者 producer.py

# 简单模式

import time
import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列
mq_channel.queue_declare(queue="hello3")

# 3. 向队列中插入多条数据
for i in range(20):
    mq_channel.basic_publish(exchange="",      # 交换机为空的话，就是使用默认的交换机
                             routing_key="hello3",   # 指定队列
                             body=f"Hello World {i}".encode("utf-8")     # 队列中插入的数据
                             )
    time.sleep(1)
print("Sent Hello World to MQ")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列
mq_channel.queue_declare(queue="hello3")

# 3. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")
    channel.basic_ack(delivery_tag=method.delivery_tag)

# 4. 确定监听队列参数
mq_channel.basic_consume(queue="hello3",
                         auto_ack=False,
                         on_message_callback=call_back)

print("wait for message from MQ")

# 5. 开始正式监听
mq_channel.start_consuming()
3.3.2 公平分发

生产者 producer.py

# 简单模式

import time
import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列
mq_channel.queue_declare(queue="hello3")

# 3. 向队列中插入多条数据
for i in range(20):
    mq_channel.basic_publish(exchange="",      # 交换机为空的话，就是使用默认的交换机
                             routing_key="hello3",   # 指定队列
                             body=f"Hello World {i}".encode("utf-8")     # 队列中插入的数据
                             )
    time.sleep(1)
print("Sent Hello World to MQ")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 简单模式

import time
import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列
mq_channel.queue_declare(queue="hello3")

# 3. 确定回调函数
def call_back(channel, method, properties, body):
    time.sleep(1)
    print(f"call back receive body is {body}")
    channel.basic_ack(delivery_tag=method.delivery_tag)

# 分发策略改成公平分发，多劳多得
mq_channel.basic_qos(prefetch_count=1)      # prefetch_count=1，限制每次只发送不超过一条数据到同一个消费者

# 4. 确定监听队列参数
mq_channel.basic_consume(queue="hello3",
                         auto_ack=False,
                         on_message_callback=call_back)

print("wait for message from MQ")

# 5. 开始正式监听
mq_channel.start_consuming()

四. 交换机模式

4.1 发布订阅模式 fanout

发布订阅模式会将消息发送给所有的消费者，而消息队列中的数据被消费一次就会消失。所以在发布订阅模式下，RabbitMQ会为每个消费者创建一个队列，生产者在生产消息时，会将消息放置在所有的消息队列里。
在这里插入图片描述

生产者不再创建队列了，而是创建交换机，生产出来的数据写入到交换机里；
消费者获取交换机，并创建队列，然后将队列绑定在交换机上，监听队列消费数据。
生产者生产的数据，多个消费者都能同时消费到。

生产者 producer.py

# 发布订阅模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为fanout的交换机
mq_channel.exchange_declare(exchange="logs",    # 交换机名字
                            exchange_type="fanout"  # fanout:发布订阅类型
                            )

# 3. 向交换机中插入数据
msg = "fanout: Hello World".encode("utf-8")
mq_channel.basic_publish(exchange="logs",
                         routing_key="",
                         body=msg
                         )

print("Sent Hello World to fanout exchange")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 发布订阅模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为fanout的交换机
mq_channel.exchange_declare(exchange="logs",  # 交换机名字
                            exchange_type="fanout"  # fanout:发布订阅类型
                            )

# 3. 声明一个队列，必须由消费者创建
declare_result = mq_channel.queue_declare("", exclusive=True)   # 服务会自动创建队列
queue_name = declare_result.method.queue
print(queue_name)

# 4. 将队列绑定在交换机上
mq_channel.queue_bind(exchange="logs", queue=queue_name)

# 5. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")

# 6. 确定监听队列
mq_channel.basic_consume(queue=queue_name, auto_ack=True, on_message_callback=call_back)

# 7. 开始正式监听
mq_channel.start_consuming()

可以在pycharm里设置，开启多个实例来模拟多个消费者。
在这里插入图片描述

4.2 关键字模式

关键字模式，生产者在向交换机插入数据时候，将这条数据和一个关键字绑定在一块；消费者创建的消息队列，借助一个或者多个关键字，将消息队列和交换机绑定在一起，这样不同的消费者就可以消费不同的数据。
在这里插入图片描述

生产者和消费者的关键字要完全匹配，数据才能被消费。

生产者 producer.py

# 关键字模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为direct的交换机
mq_channel.exchange_declare(exchange="logs2",    # 交换机名字
                            exchange_type="direct"  # direct:关键字模式
                            )

# 3. 向交换机中插入数据
msg = "direct: Hello World, error".encode("utf-8")
mq_channel.basic_publish(exchange="logs2",
                         routing_key="error",   # 插入数据时要绑定关键字
                         body=msg
                         )

print("Sent Hello World to direct exchange")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 关键字模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为direct的交换机
mq_channel.exchange_declare(exchange="logs2",  # 交换机名字
                            exchange_type="direct"  # direct:关键字模式
                            )

# 3. 声明一个队列，必须由消费者创建
declare_result = mq_channel.queue_declare("", exclusive=True)   # 服务会自动创建队列
queue_name = declare_result.method.queue

# 4. 将队列绑定在交换机上，同时绑定关键字，可以是多个关键字，注意routing_key不能写一个列表，即当前这个消费者可以消费
# 关键字为"info, warn, error"的数据。
mq_channel.queue_bind(exchange="logs2",
                      queue=queue_name,
                      routing_key="info"    # 绑定info关键字
                      )
mq_channel.queue_bind(exchange="logs2", queue=queue_name, routing_key="warn")
mq_channel.queue_bind(exchange="logs2", queue=queue_name, routing_key="error")

# 5. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")

# 6. 确定监听队列
mq_channel.basic_consume(queue=queue_name, auto_ack=True, on_message_callback=call_back)

# 7. 开始正式监听
mq_channel.start_consuming()

4.3 通配符模式

通配符模式和关键字模式类似，只不过通配符模式支持正则匹配。
符号 “#”：匹配一个或者多个词。
符号 “*”：仅匹配一个词。
在这里插入图片描述
生产者 producer.py

# 通配符模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为direct的交换机
mq_channel.exchange_declare(exchange="logs3",    # 交换机名字
                            exchange_type="topic"  # topic: 通配符模式
                            )

# 3. 向交换机中插入数据
msg = "topic type: Hello World".encode("utf-8")
mq_channel.basic_publish(exchange="logs3",
                         routing_key="hehe.weather.news",   # 插入数据时要绑定正则
                         body=msg
                         )

print("Sent Hello World to direct exchange")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 通配符模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为direct的交换机
mq_channel.exchange_declare(exchange="logs3",  # 交换机名字
                            exchange_type="topic"  # topic: 通配符模式
                            )

# 3. 声明一个队列，必须由消费者创建
declare_result = mq_channel.queue_declare("", exclusive=True)  # 服务会自动创建队列
queue_name = declare_result.method.queue

# 4. 将队列绑定在交换机上
mq_channel.queue_bind(exchange="logs3", queue=queue_name, routing_key="usa.#")  # 绑定相关正则
mq_channel.queue_bind(exchange="logs3", queue=queue_name, routing_key="#.news")
mq_channel.queue_bind(exchange="logs3", queue=queue_name, routing_key="*.weather")

# 5. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")

# 6. 确定监听队列
mq_channel.basic_consume(queue=queue_name, auto_ack=True, on_message_callback=call_back)

# 7. 开始正式监听
mq_channel.start_consuming()
详解RabbitMQ核心概念及界面操作
.
04-21 1万+
详解RabbitMQ核心概念及界面操作。
详解RabbitMQ在Centos上的安装
热门推荐
.
04-21 1万+
详解RabbitMQ在Centos上的安装。
RabbitMQ安装
qq_57442639的博客
07-02 9951
rabbitmq
RabbitMQ 集群
不能再留遗憾了的博客
11-24 3396
RabbitMQ集群
RabbitMQ 命令
KingCruel的专栏
12-15 1995
【代码】RabbitMQ 命令。
【RabbitMQ】RabbitMQ持久化
wosixiaokeai的博客
08-03 2902
RabbitMQ的持久化机制是一种确保数据在RabbitMQ服务重启或异常情况下不会丢失的重要特性。RabbitMQ的持久化主要包括三个方面的内容：交换器的持久化、队列的持久化、消息的持久化。
RabbitMQ插件详解：rabbitmq_web_stomp【RabbitMQ 六】
todoitbo的博客
12-12 6849
本文着重介绍RabbitMQ中的rabbitmq_web_stomp插件，通过讲解STOMP协议和WebSocket的基础知识，深入挖掘这一插件的应用场景和使用方法。通过详细的示例和实际场景的演示，你将了解如何在分布式系统中通过Web STOMP实现高效、实时的消息传递。无论你是消息中间件的新手还是经验丰富的开发者，这篇博客都将为你揭示RabbitMQ Web STOMP的魅力。
rabbitmq 管理界面
tian830937的专栏
11-20 7236
rabbitmq概览界面以及相关参数
RabbitMQ入门
SICAUliuy的博客
04-20 2897
RabbitMQ简介 安装步骤 在centos7环境上， 因为是最小化安装，需要先yum install gcc 依赖 wget 对应的安装包 erlang、socat、rabbitmq-server 通过rpm 安装 顺序是 erlang、socat、rabbitmq-server 常用命令 # 启动 systemctl start rabbitmq-server # 添加web管理插件 rabbitmq-plugins enable rabbitmq_management # 重启 syst
RabbitMQ Server3.13.0
04-02
**RabbitMQ Server 3.13.0** RabbitMQ 是一个开源的消息代理和队列服务器，它基于AMQP（Advanced Message Queuing Protocol）协议，用于在分布式系统中高效地路由和传递消息。RabbitMQ 3.13.0 版本是其稳定版本之一...
kettle rabbitmq 插件开发
10-26
标题 "kettle rabbitmq 插件开发" 涉及的是如何在 Pentaho Kettle（也称为 Spoon）中创建和使用 RabbitMQ 插件。Kettle 是一个开源的数据集成工具，它允许用户进行数据抽取、转换和加载（ETL）操作。RabbitMQ 是一个...
RabbitMQ实战指南-rabbitmq-action.zip
11-07
**RabbitMQ实战指南** RabbitMQ是一款广泛应用的开源消息队列系统，它基于Advanced Message Queuing Protocol（AMQP）标准，提供高可用性、可靠性和可扩展性。本实战指南将带你深入理解RabbitMQ的核心概念、安装与...
rabbitMQ实战java版-rabbitMQ-demo.zip
11-07
《RabbitMQ实战Java版——基于rabbitMQ-demo.zip的详解》 在当今的分布式系统中，消息队列作为异步处理、解耦组件的关键技术，得到了广泛应用。RabbitMQ作为一款开源的消息代理和队列服务器，以其稳定性和易用性...
rabbitmq-c-master.rar_RabbitMQ c lib_cmake编译_rabbitmq_rabbitmq-c
09-23
`rabbitmq-c`是RabbitMQ的一个C语言客户端库，它使得在C程序中与RabbitMQ服务器进行交互变得更加简单。本文将详细介绍如何使用CMake编译`rabbitmq-c-master`源码，并讨论相关知识点。 首先，我们需要了解CMake，这...
Spring Boot 与 RabbitMQ 的深度集成实践（一）
qq_42190530的博客
05-18 1933
注解驱动开发、消息转换器配置、消费者监听器与事务管理。
【八股战神篇】RabbitMQ高频面试题
m0_62332728的博客
05-23 421
通过分析上千篇面经、上万道面试题，总结提炼出RabbitMQ高频面试题。
RabbitMQ 概述
2301_80313139的博客
05-24 1180
RabbitMQ概述
RabbitMQ 集群与高可用方案设计（二）
最新发布
qq_42190530的博客
05-26 963
镜像队列配置、负载均衡策略、Haproxy+Keepalive 实现高可用。
rabbitmQ
04-12
### RabbitMQ 使用指南和教程 #### 安装 RabbitMQ RabbitMQ 是一种基于 AMQP 协议的消息中间件，用于实现分布式系统的可靠消息传递。以下是安装 RabbitMQ 的基本流程： 1. **安装 Erlang** RabbitMQ 基于 Erlang...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值