文献类型：期刊文章

作　　者：李文佳[1] 史岚[1] 季航旭[1] 罗意彭[2]

LI Wen-jia;SHI Lan;JI Hang-xu;LUO Yi-peng(College of Computer Science and Engineering,Northeastern University,Shenyang 110169;School of Software,Liaoning University of Technology,Jinzhou 121000,China)

机构地区：[1]东北大学计算机科学与工程学院,辽宁沈阳110169 [2]辽宁工业大学软件学院,辽宁锦州121000

出　　处：《计算机工程与科学》

基　　金：科技部重点研发项目(2018YFB1004402)。

年　　份：2022

卷　　号：44

期　　号：7

起止页码：1141-1151

语　　种：中文

收录情况：BDHX、BDHX2020、CSCD、CSCD_E2021_2022、JST、ZGKJHX、核心刊

摘　　要：Apache Flink是现在主流的大数据分布式计算引擎之一,其中任务调度问题是分布式计算系统中的关键问题。由于集群的异构性以及不同算子复杂度不同,大数据计算系统Flink中不可避免地会出现负载不均的情况,针对这种问题,提出了基于资源反馈的负载均衡任务调度算法RFTS。通过实时资源监控、区域划分和基于人工萤火虫优化的任务调度算法3个模块,把负载过重的机器中处于等待状态的任务分配给负载较轻的机器,来实现集群的负载均衡,提高系统集群利用率和执行效率。最后通过基于TPC-C和TPC-H数据集的实验结果表明,RFTS算法从执行时间和吞吐量2个方面有效提升了Apache Flink计算系统的性能。

关 键 词：Apache Flink  基于资源反馈的负载均衡任务调度算法  实时资源监控  区域划分  人工萤火虫优化算法  

分 类 号：TP391]