三也_攻城狮

Code the Craft,Craft the Code

【Flume】flume多个输出分支的配置,多sink,多channel

这里就简单贴个配置吧,有问题欢迎留言探讨 sink的配置 ##############################define [sink] begin############################## #define the sink k1 a1.sinks.k1.type=h...

2015-02-11 09:44:49

阅读数 9010

评论数 1

【Flume】【源码分析】flume中事件Event的数据结构分析以及Event分流

前言 首先来看一下flume官网中对Event的定义 一行文本内容会被反序列化成一个event【序列化是将对象状态转换为可保持或传输的格式的过程。与序列化相对的是反序列化,它将流转换为对象。这两个过程结合起来,可以轻松地存储和传输数据】,event的最大定义为2048字节,超过,则会切割,剩下...

2015-02-12 12:46:58

阅读数 7612

评论数 2

【Flume】【源码分析】flume中ExecSource源码的详细分析——执行终端命令获取数据

我们直接看该Source的start方法吧 public void start() { logger.info("Exec source starting with command:{}", command); executor = Executors.new...

2015-02-05 10:17:06

阅读数 3491

评论数 0

【Flume】【源码分析】flumeng的事务控制的原理详解【内存通道memory channel】

flume ng中所有的事务控制都是从sink的process方法内开始的 1、获取事务 Transaction transaction = channel.getTransaction();方法定义: public Transaction getTransaction() { if (...

2015-02-06 10:36:26

阅读数 3390

评论数 0

【Flume】从flume的监控度量数据XXXCounter来看JAVA并发编程中的CAS操作

图示 如上图所示红框部分,本人在做稳定性测试的时候,当flume运行几天后,我发现这个counter值逐渐变大,到一定值后,又变小了,有一个循环的过程,故而对此产生研究的欲望,下面来看看: if (txnEventCount == 0) { sinkCounter.in...

2015-02-12 09:35:52

阅读数 2928

评论数 0

【hadoop 2.6】hadoop 2.6源码编译过程,redhat 5.8操作系统进行编译【附:软件下载】

大家在官网下载hadoop2.6安装完使用的时候,总是在控制台有这样一句  WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java class...

2015-02-04 16:53:42

阅读数 1553

评论数 0

提示
确定要删除当前文章?
取消 删除