三也_攻城狮

Code the Craft,Craft the Code

【Flume】flume ng中HDFS sink设置按天滚动,0点滚动文件,修改源码实现

HDFS sink里有个属性hdfs.rollInterval=86400,这个属性你设置了24小时滚动一次,它的确就到了24小时才滚动,但是我们的需求往往是到了0点就滚动文件了,因为离线的job因为都会放在夜里执行。 如果flume是早上9点启动的,那么要到明天早上9点,hdfs的文件才会关...

2015-04-29 13:35:35

阅读数 3908

评论数 16

【Redis】jedis客户端实现redis消息的发布订阅(实时消息中间件)

发布 package com.chiwei.redis; import java.io.BufferedReader; import java.io.InputStreamReader; import org.slf4j.Logger; import org.slf4j.LoggerFact...

2015-04-17 10:35:58

阅读数 4338

评论数 0

【Redis】redis集群与非集群环境下的jedis客户端通用开发

非集群环境下 package com.chiwei.redis; import java.util.ArrayList; import java.util.List; import org.junit.Test; import redis.clients.jedis.Jedis; im...

2015-04-16 13:04:26

阅读数 10110

评论数 2

【Flume】flume文件监控的source组件开发,增量传输文件内容,支持断点续传功能

基于flume-ng中原有exec的source类型,通过tail依赖于操作系统去监听文件内容变化,其次,不支持断点续传的功能,特此,自行开发了一个组件,大家可以看看,一起探讨: https://github.com/cwtree/flume-filemonitor-source 望各位不吝...

2015-04-09 15:02:04

阅读数 5978

评论数 9

【Redis】redis的安装、配置运行及Jedis客户端的开发使用

定义: Redis is an open source, BSD licensed, advanced key-value cache and store. It is often referred to as a data structure server since keys can c...

2015-04-01 15:40:12

阅读数 1361

评论数 0

【Storm】storm安装、配置、使用以及Storm单词计数程序的实例分析

前言:阅读笔记 storm和hadoop集群很像,hadoop运行mr,storm运行topologies。 mr和topologies最关键的不同点是:mr运行最终会结束,而topologies永远运行直到你kill。 storm集群有两种节点:master和worker。 maste...

2015-04-01 11:20:21

阅读数 1277

评论数 0

提示
确定要删除当前文章?
取消 删除