原创

【Flume】flume文件监控的source组件开发,增量传输文件内容,支持断点续传功能

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://xxlcube.blog.csdn.net/article/details/44960257

基于flume-ng中原有exec的source类型,通过tail依赖于操作系统去监听文件内容变化,其次,不支持断点续传的功能,特此,自行开发了一个组件,大家可以看看,一起探讨:

https://github.com/cwtree/flume-filemonitor-source

该组件特点如下:

1、一个source对应一个文件监控

2、实时监控文件变化

3、增量传输文件内容

4、支持断点续传功能,即使flume进程挂掉,下一次重启仍然可以继续接着上次断开的地方传输

5、能自动判断是否log文件滚动了(前提,必须做好flume进程的监控,监控到进程不在了,要立即进行重启)

只需如下配置即可:

a1.sources.r1.type=org.apache.flume.chiwei.filemonitor.FileMonitorSource
a1.sources.r1.channels=c1
a1.sources.r1.file=/home/flume/example/file/bizlogic.log
a1.sources.r1.positionDir=/home/flume

望各位不吝指教!





文章最后发布于: 2015-04-09 15:02:04
展开阅读全文
0 个人打赏
私信求帮助

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 酷酷鲨 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览