Flume 扇入（fanin）扇出（fanout）案例

最新推荐文章于 2025-04-22 09:02:26 发布

晟翊zzZ

最新推荐文章于 2025-04-22 09:02:26 发布

阅读量1.5k

点赞数

分类专栏： Flume 大数据案例

本文链接：https://blog.csdn.net/csdnwindnorth/article/details/100625962

版权

本文详细介绍了两个Flume使用案例，包括多Flume实例汇总数据到单Flume（扇入）以及单Flume数据传递给多个目的地（扇出）。在扇入案例中，flume-fanin-1和flume-fanin-2分别监控不同源，数据最终由flume-fanin-3写入HDFS。扇出案例中，flume-fanout-1监控文件变动，数据同时传递给flume-fanout-2（存储到HDFS）和flume-fanout-3（输出到本地目录）。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

案例三、Flume 与 Flume 之间数据传递，多 Flume 汇总数据到单 Flume。

目标：flume-fanin-1监控某一个端口的数据流，flume-fanin-2 监控文件，flume-fanin-1 和 flume-fanin-2 将数据发送给 flume-fanin-3，flume-fanin-3 将最终数据写入到HDFS。
分步实现
1.创建 flume-fanin-1.conf，用于监控端口 55555，同时 sink 数据到 flume-fanin-3

# 1 agent
a1.sources = netcat-a1
a1.sinks = avro113
a1.channels = c1

# 2 source
a1.sources.netcat-a1.type = netcat
a1.sources.netcat-a1.bind = bigdata111
a1.sources.netcat-a1.port = 55555

#3 sink
a1.sinks.avro113.type = avro
a1.sinks.avro113.hostname = bigdata113
a1.sinks.avro113.port = 4141

# 4 channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 5 Bind
a1.sources.netcat-a1.channels = c1