原创

【Kafka】kafka动态获取某个topic的partition信息

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://xxlcube.blog.csdn.net/article/details/80351920

无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。点这里可以跳转到教程。

现在有这样一种场景,系统启动前,预期abc topic创建了一个100个分区,大概用个一段时间,之后可能会动态新增分区数,这就要求生产者在生产数据时,能够动态实时的获取分区数,做到及时有效的哈希生效,让数据进入新增的分区,kafka的jar包里倒是有这么一个api可以做到,不过这种场景本人觉得还不如夜里做一次升级呢。

毕竟在生产数据时每次获取abc topic的分区信息是一个性能损耗,一天生产10W数据,一年就是3650W数据,可能两年才会有这种新增分区数的需求,为了一次的动态获取实时生效,浪费了几千万次的查询损耗,得不偿失啊。

获取分区数就是list.size()即可,获取总的分区数,PartitionInfo里是topic的元数据,包含如下数据:

 

 

文章最后发布于: 2018-05-17 15:50:35
展开阅读全文
0 个人打赏
私信求帮助

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 酷酷鲨 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览