文献类型：期刊文章

作　　者：李梓杨[1] 于炯[1,2] 卞琛[3] 张译天[2] 蒲勇霖[1] 王跃飞[1] 鲁亮[4]

LI Ziyang;YU Jiong;BIAN Chen;ZHANG Yitian;PU Yonglin;WANG Yuefei;LU Liang(School of Information Science and Engineering,Xinjiang University,Urumqi 830046,China;School of Software,Xinjiang University,Urumqi 830008,China;College of Internet Finance and Information Engineering,Guangdong University of Finance,Guangzhou 510521,China;School of Computer Science and Technology,Civil Aviation University of China,Tianjin 300300,China)

机构地区：[1]新疆大学信息科学与工程学院,新疆乌鲁木齐830046 [2]新疆大学软件学院,新疆乌鲁木齐830008 [3]广东金融学院互联网金融与信息工程学院,广东广州510521 [4]中国民航大学计算机科学与技术学院,天津300300

出　　处：《通信学报》

基　　金：国家自然科学基金资助项目(No.61862060,No.61462079,No.61562086,No.61562078);国家科技部科技支撑基金资助项目(No.2015BAH02F01);新疆维吾尔自治区自然科学基金资助项目(No.2017D01A20);新疆维吾尔自治区高校科研计划基金资助项目(No.XJEDU2016S106)

年　　份：2019

卷　　号：40

期　　号：8

起止页码：85-101

语　　种：中文

收录情况：BDHX、BDHX2017、CSA、CSA-PROQEUST、CSCD、CSCD2019_2020、EI、IC、INSPEC、JST、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：为了解决大数据流式计算平台中存在计算负载波动上升,但集群无法有效应对负载变化的问题,提出了基于流网络的Flink平台弹性资源调度策略(FAR-Flink)。该策略首先建立流网络模型并通过构建算法计算每条边的容量值,其次通过弹性资源调度算法确定集群性能瓶颈并制定动态资源调度计划,最后通过基于数据分簇和分桶管理的状态数据迁移算法,实施调度计划并完成节点间的高效数据迁移。实验结果表明,该策略在状态数据复杂的应用场景中有较好的优化效果,在满足计算时延约束的前提下提高了集群的吞吐量,缩短了状态数据迁移的时间。由此可见,FAR-Flink策略有效提升了集群对负载波动的响应能力。

关 键 词：流式计算  资源调度 弹性集群  负载迁移  Flink  

分 类 号：TP311]