消息队列系统对比分析-CSDN博客

本文链接：https://blog.csdn.net/CodeJavaPro/article/details/148846291

📕我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。

📘拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、SpringBoot、SpringMVC、SpringCloud、Mybatis、Dubbo、Zookeeper)，消息中间件底层架构原理(RabbitMQ、RocketMQ、Kafka)、Redis缓存、MySQL关系型数据库、 ElasticSearch全文搜索、MongoDB非关系型数据库、Apache ShardingSphere分库分表读写分离、设计模式、领域驱动DDD、Kubernetes容器编排等。不定期分享高并发、高可用、高性能、微服务、分布式、海量数据、性能调优、云原生、项目管理、产品思维、技术选型、架构设计、求职面试、副业思维、个人成长等内容。

🌾阅读前，快速浏览目录和章节概览可帮助了解文章结构、内容和作者的重点。了解自己希望从中获得什么样的知识或经验是非常重要的。建议在阅读时做笔记、思考问题、自我提问，以加深理解和吸收知识。阅读结束后，反思和总结所学内容，并尝试应用到现实中，有助于深化理解和应用知识。与朋友或同事分享所读内容，讨论细节并获得反馈，也有助于加深对知识的理解和吸收。💡在这个美好的时刻，笔者不再啰嗦废话，现在毫不拖延地进入文章所要讨论的主题。接下来，我将为大家呈现正文内容。

一、RabbitMQ知识体系

消息模型

RabbitMQ，作为一款遵循AMQP协议的消息队列系统，其消息模型的设计旨在实现高效、可靠的消息传递。在RabbitMQ中，消息的生产、传递和消费过程涉及多个核心组件，以下将详细阐述这些组件及其工作原理。

生产者（Producer）：生产者是消息的源头，负责将消息发送到RabbitMQ中。在实际应用中，生产者可以是任何发送消息的应用程序，如Web服务、移动应用或后台任务队列。生产者在发送消息时，需要指定消息的内容、属性（如路由键）以及其他元数据。
交换器（Exchange）：交换器是消息传递的关键组件，它接收生产者发送的消息，并根据消息的路由键或主题将消息路由到相应的队列。交换器可以是直连交换器、扇形交换器或主题交换器，每种交换器的工作机制如下：
- 直连交换器（Direct Exchange）：直连交换器根据消息的路由键将消息精确地路由到匹配键的队列。这种交换器适用于精确匹配的场景。
- 扇形交换器（Fanout Exchange）：扇形交换器将接收到的所有消息广播到所有绑定的队列。这种交换器适用于广播消息的场景。
- 主题交换器（Topic Exchange）：主题交换器根据消息的路由键中的主题将消息路由到相应的队列。主题可以是通配符模式，如“*”代表任意一个单词，“#”代表任意数量的单词。
队列（Queue）：队列是消息的存储容器，它将接收交换器路由过来的消息进行暂存。队列可以是持久化的或非持久的，持久化队列可以在服务器重启后仍然保留消息。
绑定（Binding）：绑定定义了交换器与队列之间的关系，包括路由键或主题。绑定使得交换器知道如何将消息路由到相应的队列。

消息传递

在RabbitMQ中，消息的传递过程涉及到以下几个关键步骤：

消息生产：生产者将消息发送到RabbitMQ，消息中包含消息体、路由键和其他元数据。
消息路由：RabbitMQ根据消息的路由键或主题，将消息路由到相应的交换器。
交换器处理：交换器根据绑定规则，将消息路由到对应的队列。
消息存储：队列将接收到的消息存储起来，等待消费者消费。
消息消费：消费者从队列中获取消息，并进行处理。

为了确保消息的可靠传递，RabbitMQ提供了以下机制：

消息确认机制：消费者在处理完消息后，需要向RabbitMQ发送确认信号，告知消息已经被正确处理。如果消费者在处理消息时发生异常，RabbitMQ会将消息重新发送给其他消费者。
事务消息：事务消息可以保证消息的发送、接收和处理的原子性。在事务中，消息要么全部发送成功，要么全部失败。
死信队列：当消息无法被正常消费时，如消息过期或消费者拒绝接收消息，RabbitMQ会将这些消息发送到死信队列，便于后续处理。

集群架构

RabbitMQ支持集群架构，通过以下方式实现：

镜像队列（Mirrored Queues）：镜像队列将队列在多个节点上进行镜像，提高系统的可用性。当一个节点发生故障时，其他节点可以接管该队列，确保消息不会丢失。
联邦插件（Federation Plugin）：联邦插件可以将多个RabbitMQ节点连接成一个逻辑上的集群，实现跨节点的消息路由。联邦插件允许在不同的RabbitMQ集群之间进行消息交换。
集群节点类型：RabbitMQ集群节点可以分为普通节点、磁盘节点和内存节点。普通节点用于处理消息，磁盘节点用于存储持久化队列，内存节点用于存储非持久化队列。

高级特性

RabbitMQ还提供了一些高级特性，如：

TTL消息：TTL消息设置消息的过期时间，超过TTL的消息将被自动删除。
优先级队列：优先级队列允许消息具有不同的优先级，优先级高的消息将被优先处理。
RPC模式：RabbitMQ提供RPC模式，允许客户端通过RabbitMQ调用远程服务器上的服务。

二、RocketMQ知识体系

消息类型

RocketMQ支持多种消息类型，以满足不同场景下的需求：

定时消息：定时消息在指定的时间发送，适用于定时任务调度。
事务消息：事务消息保证消息的发送、接收和处理的原子性，适用于需要确保消息一致性的场景。
延迟消息：延迟消息设置消息的延迟时间，在延迟时间到达后发送消息，适用于消息延迟发送的场景。

存储机制

RocketMQ的消息存储机制采用CommitLog设计，以下是CommitLog的关键特点：

CommitLog设计：CommitLog是RocketMQ存储消息的主日志文件，每个消息都会写入到CommitLog中。CommitLog采用顺序写磁盘的方式，提高写入性能。
消息索引：RocketMQ根据消息的Key或其他属性建立索引，便于快速检索消息。
刷盘策略：RocketMQ采用异步刷盘策略，将消息从内存刷写到磁盘。刷盘策略包括同步刷盘和异步刷盘，同步刷盘保证数据的持久性，但性能较低；异步刷盘提高性能，但可能存在数据丢失的风险。

高可用设计

RocketMQ的高可用设计包括以下方面：

主从同步：RocketMQ通过主从同步保证数据的一致性。主节点负责处理消息，从节点负责接收主节点的消息并进行同步。
Dledger选举：Dledger协议实现集群的动态扩缩容，提高系统的可扩展性。
故障转移：在主节点故障时，自动切换到从节点，确保系统的可用性。

扩展功能

RocketMQ还提供以下扩展功能：

消息轨迹：记录消息从生产到消费的全过程，便于追踪和分析。
ACL控制：通过访问控制列表（ACL）限制对消息队列的访问，提高系统的安全性。
多副本机制：提高消息队列的可用性和性能。

三、Kafka知识体系

核心组件

Kafka的核心组件包括生产者、消费者、主题、分区和副本，以下将详细阐述这些组件及其工作原理。

生产者：生产者是消息的源头，负责将消息发送到Kafka中。生产者可以将消息发送到指定的主题。
消费者：消费者从主题中消费消息，并进行处理。消费者可以订阅多个主题。
主题（Topic）：主题是消息的分类，类似于数据库中的表。每个主题可以包含多个分区。
分区（Partition）：每个主题可以包含多个分区，分区可以提高并发处理能力。每个分区包含一系列有序的消息。
副本（Replica）：每个分区可以有多个副本，副本可以提高系统的可用性。

Kafka支持以下分区策略：

轮询策略：按照轮询的方式将消息分配到不同的分区。
随机策略：随机将消息分配到不同的分区。
最少副本策略：将消息分配到副本数最少的分区。

流处理

Kafka提供流处理能力，包括以下组件：

KStream API：用于构建流处理应用程序。KStream API允许用户对数据进行实时处理和分析。
状态存储：用于存储流处理过程中的状态信息。状态存储可以提高流处理应用程序的稳定性和性能。
时间窗口：对数据进行时间窗口划分，便于进行统计和分析。

运维监控

Kafka提供以下运维监控功能：

副本同步机制：监控副本的同步状态，确保数据的一致性。
日志清理策略：清理旧的日志文件，释放磁盘空间。
JMX指标：提供JMX指标，便于监控Kafka的性能。

生态集成

Kafka与其他系统集成的能力包括以下方面：

Connect连接器：用于将Kafka与其他数据源进行集成。
Schema Registry：用于管理Kafka消息的Schema。
KSQL引擎：用于对Kafka中的数据进行查询和分析。

通过以上对RabbitMQ、RocketMQ和Kafka知识体系的详细描述，我们可以了解到这些消息队列系统在架构设计、消息传递、存储机制、高可用设计、扩展功能等方面的特点。在实际应用中，可以根据具体需求选择合适的消息队列系统，并利用其高级特性提高系统的性能和可用性。

CSDN

📥博主的人生感悟和目标

希望各位读者大大多多支持用心写文章的博主，现在时代变了，信息爆炸，酒香也怕巷子深，博主真的需要大家的帮助才能在这片海洋中继续发光发热，所以，赶紧动动你的小手，点波关注❤️，点波赞👍，点波收藏⭐，甚至点波评论✍️，都是对博主最好的支持和鼓励！

- 💂 博客主页： Java程序员廖志伟
- 👉 开源项目： Java程序员廖志伟
- 🌥 哔哩哔哩： Java程序员廖志伟
- 🎏 个人社区： Java程序员廖志伟
- 🔖 个人微信号： SeniorRD

📙经过多年在CSDN创作上千篇文章的经验积累，我已经拥有了不错的写作技巧。同时，我还与清华大学出版社签下了四本书籍的合约，并将陆续出版。这些书籍包括了基础篇、进阶篇、架构篇的📌《Java项目实战—深入理解大型互联网企业通用技术》📌，以及📚《解密程序员的思维密码--沟通、演讲、思考的实践》📚。具体出版计划会根据实际情况进行调整，希望各位读者朋友能够多多支持！