登录    注册    忘记密码

期刊文章详细信息

基于调度器的Hadoop性能优化方法研究    

Research of Hadoop performance optimization based on the scheduler

  

文献类型:期刊文章

作  者:刘娟[1,2] 豆育升[2] 何晨[2] 唐红[1]

机构地区:[1]重庆邮电大学计算机学院,重庆400065 [2]重庆邮电大学高性能计算与应用研究所,重庆400065

出  处:《计算机工程与设计》

基  金:国家自然科学基金项目(21073242)

年  份:2013

卷  号:34

期  号:1

起止页码:190-194

语  种:中文

收录情况:AJ、BDHX、BDHX2011、CSA、CSA-PROQEUST、CSCD、CSCD_E2013_2014、IC、INSPEC、JST、RCCSE、ZGKJHX、核心刊

摘  要:为了提高Hadoop调度器的调度性能,缩短Hadoop集群的任务整体响应时间,提出了一种基于CPU占用率的动态调度改进算法。首先对Hadoop传统的性能优化方法进行了对比,指出其存在问题的关键是缺乏动态性和灵活性。在此基础上,深入分析Hadoop默认任务调度模型,提出了一种以CPU占用率作为负载指标,在循环分配任务时根据反馈的负载指标判断节点负载情况的算法,动态适应负载变化。实验结果表明,该算法在Hadoop集群中,能有效提高集群性能。

关 键 词:HADOOP 负载  CPU占用率 云计算 动态调度

分 类 号:TP301]

参考文献:

正在载入数据...

二级参考文献:

正在载入数据...

耦合文献:

正在载入数据...

引证文献:

正在载入数据...

二级引证文献:

正在载入数据...

同被引文献:

正在载入数据...

版权所有©重庆科技学院 重庆维普资讯有限公司 渝B2-20050021-7
 渝公网安备 50019002500408号 违法和不良信息举报中心