文献类型：期刊文章

作　　者：鲁亮[1] 于炯[1] 卞琛[1] 刘月超[1] 廖彬[2] 李慧娟[3]

Lu Liang;Yu Jiong;Bian Chen;Liu Yuechao;Liao Bin;Li Huijuan(School of Information Science and Engineering , Xinjiang University , Urumqi 830046;School of Statistics and Information , Xinjiang University of Finance and Economics , Urumqi 830012;Wulumuqi Electric Power Supply Company , State Grid Corprration of China, Urumqi 830011)

机构地区：[1]新疆大学信息科学与工程学院,乌鲁木齐830046 [2]新疆财经大学统计与信息学院,乌鲁木齐830012 [3]国网乌鲁木齐供电公司,乌鲁木齐830011

出　　处：《计算机研究与发展》

基　　金：国家自然科学基金项目(61462079;61262088;61562086;61363083;61562078);新疆维吾尔自治区自然科学基金项目(2017D01A20);新疆维吾尔自治区高校科研计划基金项目(XJEDU2016S106)~~

年　　份：2018

卷　　号：55

期　　号：1

起止页码：71-92

语　　种：中文

收录情况：AJ、BDHX、BDHX2017、CSA-PROQEUST、CSCD、CSCD2017_2018、EI、IC、JST、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：Storm作为流式计算模式下最具代表性的平台之一,其默认轮询的调度机制未考虑到异构环境下不同工作节点的自身性能和负载差异,以及工作节点之间的网络传输开销和节点内部的进程与线程通信开销,无法充分发挥集群的性能.为了在各类资源约束的前提下最小化通信开销,在建立并论证Storm资源约束模型、最优通信开销模型和任务迁移模型的基础上,提出一种异构Storm环境下的任务迁移策略(task migration strategy for heterogeneous Storm cluster,TMSH-Storm),包括源节点选择算法和任务迁移算法.其中,源节点选择算法根据集群中各工作节点CPU、内存和网络带宽的负载情况以及各类资源的优先级顺序,将超出阈值的节点加入源节点集;任务迁移算法综合迁移开销、通信开销、节点资源约束以及节点和任务负载等因素,依次将源节点中的待迁移任务异步迁移至目的节点上.实验表明:相对于现有研究而言,TMSH-Storm能有效降低延迟和节点间通信开销,且执行开销较小.

关 键 词：大数据 流式计算  STORM 通信开销 任务迁移  

分 类 号：TP311]