RabbitMQ

一. RabbitMQ

一种常用的消息中间件,它是一种接收数据、接收请求、存储数据、发送数据等功能的技术服务。

使用的协议是AMQP协议。

在这里插入图片描述

核心概念:
Server:又称Broker,接受客户端的连接,实现AMQP实体服务。
Connection:连接,应用程序与Broker的网络连接 TCP/IP/ 三次握手和四次挥手。
Channel:网络信道,几乎所有的操作都在Channel中进行,Channel是进行消息读写的通道,客户端可以建立各Channel,每个Channel代表一个会话任务。
Message:消息,服务与应用程序之间传送的数据,由Properties和body组成,Properties可是对消息进行修饰,比如消息的优先级,延迟等高级特性,Body则就是消息体的内容。
Virtual Host:虚拟地址,用于进行逻辑隔离,最上层的消息路由,一个虚拟主机理由可以有若干个 exhange 和 queue,同一个虚拟主机里面不能有相同名字的Exchange。
Exchange:交换机,接受消息,根据路由键发送消息到绑定的队列(==不具备消息存储的能力==)。
Bindings:Exchange和Queue之间的虚拟连接,binding中可以保护多个routing key.
Routing key:是一个路由规则,虚拟机可以用它来确定如何路由一个特定消息。
Queue:队列,也成为Message Queue 消息队列,保存消息并将它们转发给消费者。

二. 简单模式

生产者 producer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列
mq_channel.queue_declare(queue="hello")

# 3. 向队列中插入数据
mq_channel.basic_publish(exchange="",      # 交换机为空的话,就是使用默认的交换机
                         routing_key="hello",   # 指定队列
                         body="Hello World".encode("utf-8")     # 队列中插入的数据
                         )

print("Sent Hello World to MQ")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列,如果生产者已经创建好了队列的话,消费者这块就不再创建了
mq_channel.queue_declare(queue="hello")

# 3. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")

# 4. 确定监听队列参数
mq_channel.basic_consume(queue="hello", auto_ack=True, on_message_callback=call_back)
print("wait for message from MQ")

# 5. 开始正式监听
mq_channel.start_consuming()

三. 参数

3.1 应答参数 auto_ack

应答参数是消费者在消费完消息之后要进行确认。只有确认之后,队列中的数据才会被删除。
True:自动应答 。队列中已消费的数据被删除,如果回调函数逻辑处理失败,则无法重新处理数据。
False:手动应答,需要在回调函数里手动确认应答。只有手动确认之后,队列中已消费的数据才会被删除。

简单模式下生产者不变,要修改消费者consumer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列,如果生产者已经创建好了队列的话,消费者这块就不再创建了
mq_channel.queue_declare(queue="hello")

# 3. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")
    channel.basic_ack(delivery_tag=method.delivery_tag)     # 手动应答时必须手动添加确认应答

# 4. 确定监听队列参数
mq_channel.basic_consume(queue="hello",
                         auto_ack=False,     # True 为自动应答,False为手动应答,如果手动应答的话,需要在回调函数里手动添加确认应答
                         on_message_callback=call_back)

print("wait for message from MQ")

# 5. 开始正式监听
mq_channel.start_consuming()

3.2 持久化参数 durable

持久化参数是为了防止已经入队的数据因服务重启而导致数据丢失。
创建可持久化队列 + 入队数据持久化
生产者 producer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建可持久队列
mq_channel.queue_declare(queue="hello2",
                         durable=True       # True表示创建一个可持久化的队列
                         )

# 3. 向队列中插入数据
mq_channel.basic_publish(exchange="",      # 交换机为空的话,就是使用默认的交换机
                         routing_key="hello2",   # 指定队列
                         body="Hello World persistent2".encode("utf-8"),     # 队列中插入的数据
                         properties=pika.BasicProperties(
                             delivery_mode=2        # 对入队的数据做持久化
                         )
                         )

print("Sent Hello World to MQ")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建可持久队列,如果生产者已经创建好了队列的话,消费者这块就不再创建了
mq_channel.queue_declare(queue="hello2", durable=True)

# 3. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")
    channel.basic_ack(delivery_tag=method.delivery_tag)

# 4. 确定监听队列参数
mq_channel.basic_consume(queue="hello2",
                         auto_ack=False,
                         on_message_callback=call_back)

print("wait for message from MQ")

# 5. 开始正式监听
mq_channel.start_consuming()

3.3 分发参数

多个消费者同时监听一个消息队列,那么数据是如何分发到各个消费者呢?

  • 轮询分发。不管哪个消费者处理数据快或慢,数据总是平均分发到所有消费者。
  • 公平分发。消费者处理地越快,分发给他的数据就越多,多劳多得,会造成数据倾斜。要做到公平分发,必须关闭自动应答ack,改成手动应答。
3.3.1 轮询分发

生产者 producer.py

# 简单模式

import time
import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列
mq_channel.queue_declare(queue="hello3")

# 3. 向队列中插入多条数据
for i in range(20):
    mq_channel.basic_publish(exchange="",      # 交换机为空的话,就是使用默认的交换机
                             routing_key="hello3",   # 指定队列
                             body=f"Hello World {i}".encode("utf-8")     # 队列中插入的数据
                             )
    time.sleep(1)
print("Sent Hello World to MQ")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 简单模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列
mq_channel.queue_declare(queue="hello3")

# 3. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")
    channel.basic_ack(delivery_tag=method.delivery_tag)

# 4. 确定监听队列参数
mq_channel.basic_consume(queue="hello3",
                         auto_ack=False,
                         on_message_callback=call_back)

print("wait for message from MQ")

# 5. 开始正式监听
mq_channel.start_consuming()
3.3.2 公平分发

生产者 producer.py

# 简单模式

import time
import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列
mq_channel.queue_declare(queue="hello3")

# 3. 向队列中插入多条数据
for i in range(20):
    mq_channel.basic_publish(exchange="",      # 交换机为空的话,就是使用默认的交换机
                             routing_key="hello3",   # 指定队列
                             body=f"Hello World {i}".encode("utf-8")     # 队列中插入的数据
                             )
    time.sleep(1)
print("Sent Hello World to MQ")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 简单模式

import time
import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 创建队列
mq_channel.queue_declare(queue="hello3")

# 3. 确定回调函数
def call_back(channel, method, properties, body):
    time.sleep(1)
    print(f"call back receive body is {body}")
    channel.basic_ack(delivery_tag=method.delivery_tag)

# 分发策略改成公平分发,多劳多得
mq_channel.basic_qos(prefetch_count=1)      # prefetch_count=1,限制每次只发送不超过一条数据到同一个消费者

# 4. 确定监听队列参数
mq_channel.basic_consume(queue="hello3",
                         auto_ack=False,
                         on_message_callback=call_back)

print("wait for message from MQ")

# 5. 开始正式监听
mq_channel.start_consuming()

四. 交换机模式

4.1 发布订阅模式 fanout

发布订阅模式会将消息发送给所有的消费者,而消息队列中的数据被消费一次就会消失。所以在发布订阅模式下,RabbitMQ会为每个消费者创建一个队列,生产者在生产消息时,会将消息放置在所有的消息队列里。
在这里插入图片描述

生产者不再创建队列了,而是创建交换机,生产出来的数据写入到交换机里;
消费者获取交换机,并创建队列,然后将队列绑定在交换机上,监听队列消费数据。
生产者生产的数据,多个消费者都能同时消费到。

生产者 producer.py

# 发布订阅模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为fanout的交换机
mq_channel.exchange_declare(exchange="logs",    # 交换机名字
                            exchange_type="fanout"  # fanout:发布订阅类型
                            )

# 3. 向交换机中插入数据
msg = "fanout: Hello World".encode("utf-8")
mq_channel.basic_publish(exchange="logs",
                         routing_key="",
                         body=msg
                         )

print("Sent Hello World to fanout exchange")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 发布订阅模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为fanout的交换机
mq_channel.exchange_declare(exchange="logs",  # 交换机名字
                            exchange_type="fanout"  # fanout:发布订阅类型
                            )

# 3. 声明一个队列,必须由消费者创建
declare_result = mq_channel.queue_declare("", exclusive=True)   # 服务会自动创建队列
queue_name = declare_result.method.queue
print(queue_name)

# 4. 将队列绑定在交换机上
mq_channel.queue_bind(exchange="logs", queue=queue_name)

# 5. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")

# 6. 确定监听队列
mq_channel.basic_consume(queue=queue_name, auto_ack=True, on_message_callback=call_back)

# 7. 开始正式监听
mq_channel.start_consuming()

可以在pycharm里设置,开启多个实例来模拟多个消费者。
在这里插入图片描述

4.2 关键字模式

关键字模式,生产者在向交换机插入数据时候,将这条数据和一个关键字绑定在一块;消费者创建的消息队列,借助一个或者多个关键字,将消息队列和交换机绑定在一起,这样不同的消费者就可以消费不同的数据。
在这里插入图片描述

生产者和消费者的关键字要完全匹配,数据才能被消费。

生产者 producer.py

# 关键字模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为direct的交换机
mq_channel.exchange_declare(exchange="logs2",    # 交换机名字
                            exchange_type="direct"  # direct:关键字模式
                            )

# 3. 向交换机中插入数据
msg = "direct: Hello World, error".encode("utf-8")
mq_channel.basic_publish(exchange="logs2",
                         routing_key="error",   # 插入数据时要绑定关键字
                         body=msg
                         )

print("Sent Hello World to direct exchange")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 关键字模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为direct的交换机
mq_channel.exchange_declare(exchange="logs2",  # 交换机名字
                            exchange_type="direct"  # direct:关键字模式
                            )

# 3. 声明一个队列,必须由消费者创建
declare_result = mq_channel.queue_declare("", exclusive=True)   # 服务会自动创建队列
queue_name = declare_result.method.queue

# 4. 将队列绑定在交换机上,同时绑定关键字,可以是多个关键字,注意routing_key不能写一个列表,即当前这个消费者可以消费
# 关键字为"info, warn, error"的数据。
mq_channel.queue_bind(exchange="logs2",
                      queue=queue_name,
                      routing_key="info"    # 绑定info关键字
                      )
mq_channel.queue_bind(exchange="logs2", queue=queue_name, routing_key="warn")
mq_channel.queue_bind(exchange="logs2", queue=queue_name, routing_key="error")

# 5. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")

# 6. 确定监听队列
mq_channel.basic_consume(queue=queue_name, auto_ack=True, on_message_callback=call_back)

# 7. 开始正式监听
mq_channel.start_consuming()

4.3 通配符模式

通配符模式和关键字模式类似,只不过通配符模式支持正则匹配。
符号 “#”:匹配一个或者多个词。
符号 “*”:仅匹配一个词。
在这里插入图片描述
生产者 producer.py

# 通配符模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为direct的交换机
mq_channel.exchange_declare(exchange="logs3",    # 交换机名字
                            exchange_type="topic"  # topic: 通配符模式
                            )

# 3. 向交换机中插入数据
msg = "topic type: Hello World".encode("utf-8")
mq_channel.basic_publish(exchange="logs3",
                         routing_key="hehe.weather.news",   # 插入数据时要绑定正则
                         body=msg
                         )

print("Sent Hello World to direct exchange")

mq_channel.close()
mq_connection.close()

消费者 consumer.py

# 通配符模式

import pika

# 1. 连接rabbitmq
mq_connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
mq_channel = mq_connection.channel()

# 2. 声明一个类型为direct的交换机
mq_channel.exchange_declare(exchange="logs3",  # 交换机名字
                            exchange_type="topic"  # topic: 通配符模式
                            )

# 3. 声明一个队列,必须由消费者创建
declare_result = mq_channel.queue_declare("", exclusive=True)  # 服务会自动创建队列
queue_name = declare_result.method.queue

# 4. 将队列绑定在交换机上
mq_channel.queue_bind(exchange="logs3", queue=queue_name, routing_key="usa.#")  # 绑定相关正则
mq_channel.queue_bind(exchange="logs3", queue=queue_name, routing_key="#.news")
mq_channel.queue_bind(exchange="logs3", queue=queue_name, routing_key="*.weather")

# 5. 确定回调函数
def call_back(channel, method, properties, body):
    print(f"call back receive body is {body}")

# 6. 确定监听队列
mq_channel.basic_consume(queue=queue_name, auto_ack=True, on_message_callback=call_back)

# 7. 开始正式监听
mq_channel.start_consuming()
### RabbitMQ 使用指南和教程 #### 安装 RabbitMQ RabbitMQ 是一种基于 AMQP 协议的消息中间件,用于实现分布式系统的可靠消息传递。以下是安装 RabbitMQ 的基本流程: 1. **安装 Erlang** RabbitMQ 基于 Erlang 编程语言开发,因此需要先安装 Erlang 运行环境。可以通过包管理器或者下载官方二进制文件完成安装。 2. **安装 RabbitMQ Server** 下载并安装 RabbitMQ Server 软件包。对于 Linux 用户,可以使用以下命令: ```bash sudo apt-get install rabbitmq-server ``` 3. **启动服务** 启动 RabbitMQ 服务后,默认监听端口为 `5672`(AMQP 协议),Web 管理界面默认运行在 `15672` 端口上。 ```bash sudo systemctl start rabbitmq-server ``` 4. **启用 Web 管理插件** 可通过以下命令启用 RabbitMQ 提供的 Web 管理工具: ```bash sudo rabbitmq-plugins enable rabbitmq_management ``` --- #### 配置用户与权限 为了安全访问 RabbitMQ 实例,通常需要创建自定义用户并分配相应权限。 - 创建新用户: ```bash rabbitmqctl add_user rabbitmq 211314 ``` 此操作会新增名为 `rabbitmq` 的用户,并将其密码设为 `211314`[^1]。 - 设置用户角色: ```bash rabbitmqctl set_user_tags rabbitmq administrator ``` 将该用户的标签设定为管理员角色,使其拥有完全控制权[^1]。 - 授予用户权限: ```bash rabbitmqctl set_permissions -p "/" rabbitmq ".*" ".*" ".*" ``` 上述命令授予用户对根虚拟主机 `/` 中所有资源的操作权限[^1]。 - 查看现有用户及其角色: ```bash rabbitmqctl list_users ``` --- #### 集群配置 RabbitMQ 支持多种集群模式来提升可用性和性能。主要分为两类:普通模式和镜像模式。 - **普通模式** 在这种模式下,各节点独立存储队列中的数据和其他元信息(如交换机)。当客户端尝试消费某个不在当前连接节点上的消息时,目标节点会被请求转发所需的数据[^2]。 - **镜像模式** 对比之下,在镜像模式中,指定队列的内容将在多个节点间保持一致副本。即使部分成员失效,剩余存活节点仍能继续提供完整的服务功能[^2]。 > 注意事项:尽管镜像模式提高了可靠性,但也带来了额外开销——网络流量增加以及写入延迟上升等问题需被充分考虑进去。 --- #### 应用集成示例 假设要在一个 JavaPython 应用程序里利用 RabbitMQ 来发送/接收消息,则可能涉及以下几个步骤: 1. **声明交换器 (Exchange)** 和绑定关系: ```java channel.exchangeDeclare(exchangeName, "direct", true); channel.queueDeclare(queueName, true, false, false, null); channel.queueBind(queueName, exchangeName, routingKey); ``` 如此一来便完成了持久化队列及路由键关联工作[^3]。 2. 发布一条测试消息至上述已建立好的通道路径之中; 3. 订阅对应主题下的事件流以便实时捕获最新动态更新情况; --- #### 总结 以上涵盖了从基础安装到高级特性使用的整个过程概述。希望这些指导能够帮助您快速掌握如何部署与维护属于自己的 RabbitMQ 平台实例! 问题
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值