csdnwindnorth的博客

一、Flume 简介1.Flume 提供了一个分布式的，可靠的，对大量数据的日志高效收集，聚集，移动的服务，Flume 只能在 Unix 环境下运行。2.Flume 基于流式架构，容错性强，也结构简单。3.Flume，Kafka 用来实时数据收集，Spark，Flume 用来实时处理数据，impala 用来实时查询。二、Flume 角色1.source用于采集数据，source 是产...

案例三、Flume 与 Flume 之间数据传递，多 Flume 汇总数据到单 Flume。目标：flume-fanin-1监控某一个端口的数据流，flume-fanin-2 监控文件，flume-fanin-1 和 flume-fanin-2 将数据发送给 flume-fanin-3，flume-fanin-3 将最终数据写入到HDFS。分步实现1.创建 flume-fanin-1.co...

Flume 拦截器时间戳拦截器flume-timestamp.conf#1.定义agent名， source、channel、sink的名称a4.sources = r1a4.channels = c1a4.sinks = k1#2.具体定义sourcea4.sources.r1.type = spooldira4.sources.r1.spoolDir = /opt/wind...