本文分析了Flume的TairDirSource在文件更名后导致重复读取日志的原因，并提出了两种解决方案：一是使用不更名的日志框架避免文件重读；二是修改Flume源码，根据inode而非文件名判断文件。通过选择合适的方案，可以有效防止日志数据的重复处理。
问题描述：
在数仓项目中，使用Flume的TairDir Source监控日志文件，当文件更名之后会重新读取该文件造成重复
原因分析：
因为Flume的TairDir Souce是通过inode和file来唯一确定一个文件的，当文件的名称改变之后，就会重新读取这个文件，造成读取数据的重复。
解决方案：
方案一：
使用不更名打印日志框架（logback），每天会新生成一个日志文件，文件后面会加上当天的日期信息，所以不会重复，例如file.log.2022-04-07…
方案二：
修改源码，让TairDir Source判断文件时只看iNode的值
修改\apache-flume-1.7.0-src\flume-ng-sources\flume-taildir-source\src\main\java\org\apache\flume\source\taildir\ReliableTaildirEventReader.java Method:loadPositionFile路径下的 Method:loadPositionFile方法：
以及Method:updateTailFiles方法：
然后重新打包，上传到Flume里。
扫一扫
856
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
