文献类型：期刊文章

作　　者：张松[1] 杜庆伟[1] 孙静[2] 孙振[2]

机构地区：[1]南京航空航天大学计算机科学与技术学院 [2]中国人民解放军94860部队

出　　处：《计算机应用与软件》

基　　金：国家自然科学基金项目(61202350)

年　　份：2016

卷　　号：33

期　　号：5

起止页码：31-34

语　　种：中文

收录情况：CSA、CSA-PROQEUST、CSCD、CSCD_E2015_2016、IC、JST、ZGKJHX、普通刊

摘　　要：Hadoop平台下,数据的负载均衡对平台性能的发挥有着深远的影响。首先分析默认数据负载均衡的局限性,针对现有默认HDFS(Hadoop Distributed File System)数据负载均衡算法只考虑存储空间利用率,而未考虑节点间异构性的问题,提出一种量化异构集群数据负载均衡的数学模型。该模型根据节点的存储空间及节点性能计算得到各个节点的理论空间利用率,并根据当前集群存储空间利用率动态调整节点最大负载。实验结果表明,提出的数据负载均衡策略能够让异构集群达到更合理的均衡状态,提高集群的效率,并有效减少作业的执行时间。

关 键 词：HADOOP HDFS 数据负载均衡  异构集群

分 类 号：TP391]