文献类型：期刊文章

作　　者：蒲勇霖[1] 于炯[1] 鲁亮[2] 李梓杨[1] 卞琛[3] 廖彬[4]

PU Yong-Lin;YU Jiong;LU Liang;LI Zi-Yang;BIAN Chen;LIAO Bin(College of Information Science and Engineering,Xinjiang University,Urumqi 830046,China;College of Computer Science and Technology,Civil Aviation University of China,Tianjin 300300,China;College of Internet Finance and Information Engineering,Guangdong University of Finance,Guangzhou 510521,China;College of Statistics and Data Science,Xinjiang University of Finance and Economics,Urumqi 830012,China)

机构地区：[1]新疆大学信息科学与工程学院,新疆乌鲁木齐830046 [2]中国民航大学计算机科学与技术学院,天津300300 [3]广东金融学院互联网金融与信息工程学院,广东广州510521 [4]新疆财经大学统计与数据科学学院,新疆乌鲁木齐830012

出　　处：《软件学报》

基　　金：国家自然科学基金(61862060,61462079,61562086,61562078);新疆维吾尔自治区研究生科研创新项目(XJ2019G038);新疆大学博士生科技创新项目(XJUBSCX-201902)。

年　　份：2021

卷　　号：32

期　　号：8

起止页码：2557-2579

语　　种：中文

收录情况：AJ、BDHX、BDHX2020、CSCD、CSCD2021_2022、EI、IC、JST、MR、RCCSE、SCOPUS、ZGKJHX、ZMATH、核心刊

摘　　要：作为流式大数据计算的主要平台之一,Storm在设计过程中由于缺乏节能的考虑,导致其存在高能耗与低效率的问题.传统的节能策略并未考虑Storm的性能约束,可能会对集群的实时性造成影响.针对这一问题,设计了资源约束模型、最优线程重分配模型以及数据迁移模型.进一步提出了Storm平台下的线程重分配与数据迁移节能策略(energy-efficient strategy based on executor reallocation and data migration in Storm,简称ERDM),包括资源约束算法与数据迁移算法.其中,资源约束算法根据集群各工作节点CPU、内存与网络带宽的资源占用率,判断集群是否允许数据的迁移.数据迁移算法根据资源约束模型与最优线程重分配模型,设计了数据迁移的最优化方法.此外,ERDM通过分配线程减少了节点间的通信开销,并根据大数据流式计算的性能与能效评估ERDM.实验结果表明,与现有研究相比,ERDM能够有效降低节点间通信开销与能耗,并提高集群的性能.

关 键 词：大数据  流式计算  实时性  资源约束 数据迁移 能耗  

分 类 号：TP311]