Flume与Kafka整合完成实时数据处理

一、整合流程图

Flume收集WEB服务器的数据信息，然后再对Flume进行串联，即对Flume进行扩展，选中一台flume，把信息sink到Kafka去，此时这台Flume的 sink就相当于是kafka的生产者，再启动一台kafka的消费者，直接对接到kafka的生产者，这样就完成了Flume到Kafka的实时数据采集。

二、Demo分析

此次，我用到的Demo案列，主要就是用一台Flume读取某个日志文件内的内容，然后串联第二台Flume，这台Flume最终把log内容先存储到内存中，再sink到Kafka的消费者里面去，这里Kafka的消费主要是以控制台的方式进行输出。当然你也可以直接通过设置kafka-channel，把内容直接写到kafka里面去。

三、定义配置文件