mllhxn的专栏

转:http://blog.csdn.net/stark_summer/article/details/50203133今天的文章分为两大部分，第一部分介绍一下我总结的跟性能有关的一些参数、含义以及调优策略。第二部分会给出一些我自己实践过的测试结果对照组，具体的数值和结果可能因场景、机器、环境而异，但是总体的思路和方法应该是一致的。在正式进入主题之前，介绍一下本次测

https://cwiki.apache.org/confluence/display/KAFKA/0.8.0+Producer+Example http://kafka.apache.org/08/configuration.html 因为Producer相对于consumer比较简单，直接看代码，需要注意的点配置参数，详细参考上面链接 1.1 metadata.broker.list，

Balancing leadership Whenever a broker stops or crashes leadership for that broker's partitions transfers to other replicas. This means that by default when the broker is restarted it will onl

xyz.avsc{ "namespace": "xyz.test", "type": "record", "name": "payload", "fields":[ { "name": "name", "type": "string" }, { "name": "id", "type": ["int", "null"] },

https://github.com/yahoo/kafka-manager 这个好https://github.com/smartloli/kafka-eagle 17-1-10编译的 下载地址链接：http://pan.baidu.com/s/1bo0m9Oj 密码：73ai nohup bin/kafka-manager -Dconfig.file=conf/application

一.官网内容kafka附带一个可插拔的认证，并使用zookeeper来存储所有的acl。kafka的acl在一般格式定义"Principal P is [Allowed/Denied] Operation O From Host H On Resource R”，你可以阅读更多关于KIP-11的结构，为了添加，删除或列表，你可以使用kafka认证CLI。默认情况下，如果资源

Kafka Consumer API样例Properties props = new Properties();/* 定义kakfa 服务的地址，不需要将所有broker指定上 */props.put("bootstrap.servers", "localhost:9092");/* 制定consumer group */props.put("group.id", "test");/* ...

Preferred Replica Leader Election Tool　　有了Replication机制后，每个Partition可能有多个备份。某个Partition的Replica列表叫作AR（Assigned Replicas），AR中的第一个Replica即为“Preferred Replica”。创建一个新的Topic或者给已有Topic增加Partition时，Kafka保证Pr...

1 生产者幂等性1.1 引入幂等性引入目的：生产者重复生产消息。生产者进行retry会产生重试时，会重复产生消息。有了幂等性之后，在进行retry重试时，只会生成一个消息。1.2 幂等性实现1.2.1 PID 和 Sequence Number为了实现Producer的幂等性，Kafka引入了Producer ID（即PID）和Sequence Number。PID。每个...