文献类型：期刊文章

作　　者：王郑合[1] 王锋[1] 邓辉[1] 柳翠寅[1] 张晓丽[1]

机构地区：[1]昆明理工大学云南省计算机技术应用重点实验室,昆明650500

出　　处：《计算机应用研究》

基　　金：国家基金天文联合基金重点项目(U1231205);云南省应用基础基金重点项目(2014FA013;2013FA032)

年　　份：2017

卷　　号：34

期　　号：8

起止页码：2306-2309

语　　种：中文

收录情况：AJ、BDHX、BDHX2014、CSCD、CSCD_E2017_2018、IC、JST、RCCSE、UPD、ZGKJHX、ZMATH、核心刊

摘　　要：Kafka是一款高吞吐的分布式消息系统,在海量数据处理等多个领域被广泛使用。但现有Kafka消费者/客户端负载均衡算法存在一些不足,在处理海量数据时易产生过高开销甚至出错等问题。提出了一种优化的Kafka消费者/客户端负载均衡算法,负载均衡过程完全由作为管理者的消费者控制,其余消费者不必单独进行负载均衡,而且管理者不用重新分配每个消费者消费的分区。系统对所有消费者的运行状况进行监控,出现宕机的消费者后可及时进行负载再均衡。测试结果说明该算法能够减少Kafka消费者/客户端在负载均衡过程中的系统开销,并避免出现错误的负载均衡结果,可以有效地保障分布科学数据处理的正确性。

关 键 词：分布式消息系统  发布订阅模式  Kafka  负载均衡 系统开销 可靠性

分 类 号：TP301.6]