文献类型：期刊文章

作　　者：颜晓莲[1] 章刚[2] 邱晓红[1]

YAN Xiao-lian;ZHANG Gang;QIU Xiao-hong(School of Software Engineering(Nanchang),Jiangxi University of Science and Technology,Nanchang 330013,China;Jiangxi Peking University Science Park,Nanchang 330013,China)

机构地区：[1]江西理工大学软件工程学院(南昌),江西南昌330013 [2]江西北大科技园,江西南昌330013

出　　处：《计算机技术与发展》

基　　金：江西省教育科技项目(GJJ170571)。

年　　份：2020

卷　　号：30

期　　号：12

起止页码：88-91

语　　种：中文

收录情况：JST、RCCSE、ZGKJHX、普通刊

摘　　要：Kafka作为一种发布-订阅机制的高吞吐量分布式消息系统,广受业界关注。随着应用场景垂直化、多样化,Kafka现有的技术体系面临挑战。Partition过载问题(POP)指消息分发、消息订阅等操作引起Partition过度服务,并影响到物理载体Broker的性能。该问题是由Kafka中Partition文件配置管理的被动、僵化及孤立等不足所导致。针对此,提出一种改进型Partition过载优化算法(IPOOA)。该算法通过即时服务耗量、Partition相似度和配置文件自动修改相结合,实现消息分发预测以及消息分发与文件配置管理协同,从而可有效缓解Partition过载问题出现。实验从Kafka集群CPU使用率、Kafka服务延时率、Kafka系统收敛延时比等几个方面验证了算法的有效性及合理性。

关 键 词：分布式消息系统  Kafka  Partition过载问题  协同管理 Broker性能  

分 类 号：TP393]