kafka学习

kafka (消息、生产者、消费者、toptic、分区、偏移量、broker、集群)

Kafka是什么？

学习Kafka的目的，为了解决高吞吐量项目的需求，Kafka号称大数据的杀手锏，这款为大数据而生的消息中间件，以其百亿级tps的吞吐量名声大噪，迅速成为大数据领域的宠儿，在数据采集、传输、存储的过程中发挥着举足轻重的作用。

1、 toptic：在生产者把消息放入kafka的时候，需要给消息分好主题，而消费者对订阅不同的主题

2、分区一个主题可以包括多个分区（Partition）

分区可以分布在不同的服务器上，这样一个主题也可以分布在不同的服务器上，会比单个服务器更强大

生产者会把消息放在相应的主题的相应的分区下面（通常有两种情况（1）生产者指定了分区，（2）通过一个分区器，根据消息里面的键），一条消息通常包括：主题、分区、键、值，这样它才能找到相应的去处

3、偏移量：消费者怎么读取数据？根据偏移量（offset）来读取

1、偏移量（offset）:第几个
2、一个分区里，每个消息的偏移量是唯一的
3、消费者只能顺序读取

4、broker 一个独立的kafka服务器被称为broker, 一个broker中有多个主题, 而每个主题中可能会有多个分区，broker接收生产者的消息，为每个消息设置相应的偏移量，然后把消息报存到磁盘里，broker也为消费者提供服务，响应消费者的请求

5、集群：多个broker就组成了kafka集群

kafka应用场景之一

消息队列的两种模型