编程者说的博客专栏

今天搭建新的kafka 集群给大数据和中台部门共用，搭建好了，内部访问测试是可以的，外部其他机器访问不通，查了下，原来是有个外部访问的参数没有配置。配置 listeners，如下看了下示例，conf文件里面是有说明的############################# Socket Server Settings ############################## The address the socket server listens on. It will get t

Kafka的消息传递：首先我们要先定义好topic，然后producer生产message，push到broker，随后consumer 从订阅的toipc中pull到消息消费。一、producer发布消息1、写入方式producer 采用 push 模式将消息发布到 broker，每条消息都被 append 到 patition 中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保...

在开始开发producer和consumer之前，先从设计的角度看一看Kafka。由于重度依赖JMS，且实现方式各异、对可伸缩架构的支持不够，LinkedIn开发了Kafka来实现对活动流数据和运营指标数据的监控，这些数据包括CPU、I/O使用数据、请求响应时间等。开发Kafka时主要目标是提供以下特性：支持自定义实现的producer和consumer的API 以低开销的网络和存储实现...

一、Kafka的优势Kafka是一个分布式、可分区、多副本、高吞吐，基于zookeeper协调的分布式消息系统。高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 可扩展性：kafka集群支持热扩展 持久性、可靠性：消息被持久化到本地磁盘，...

Kafka是最初由Linkedin公司开发，是一个分布式、可分区、多副本，基于zookeeper协调的分布式消息系统。一、Kafka是一个分布式流平台1、流处理平台的特性可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 可以储存流式的记录，并且有较好的容错性。 可以在流式记录产生时就进行处理。2、适用场景构造实时流数据管道，它可以在系统或应用之间可靠...

MQ消息中间件，这几年逐渐火爆起来，用处越来越多，消息、削峰限流等。MQ一般遵循AMQP协议。AMQP，即Advanced Message Queuing Protocol，一个提供统一消息服务的应用层标准高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件不同产品，不同的开发语言等条件的限制。当前市面上常见的MQ...