期刊文章详细信息
Hadoop平台的多队列作业调度优化方法研究
Research on optimization of job scheduling based on multi-queue for Hadoop platform
文献类型:期刊文章
机构地区:[1]湖北经济学院实验教学中心,武汉430205 [2]华中科技大学电子与信息工程系,武汉430074
基 金:国家科技支撑计划资助项目(2012BAH93F01);国家自然科学基金资助项目(60803005)
年 份:2014
卷 号:31
期 号:3
起止页码:705-707
语 种:中文
收录情况:AJ、BDHX、BDHX2011、CSA-PROQEUST、CSCD、CSCD2013_2014、IC、INSPEC、JST、RCCSE、UPD、ZGKJHX、ZMATH、核心刊
摘 要:对Hadoop平台的作业调度算法进行了研究,提出了支持作业类型区分的多队列调度优化算法。优化算法支持根据节点当前的负载情况分配不同类型的作业,以提高节点的资源利用率;允许作业队列的资源在闲置时被其他作业队列占用;在原作业队列需要时可以被即时回收,即回收过程支持任务抢占;采用共享队列列表和非共享队列列表的逻辑划分来防止乒乓效应。Hadoop平台的性能测试结果表明,优化算法相比系统默认算法在作业调度的执行效率、执行平稳性等方面都有了显著的提升。
关 键 词:云计算 调度优化 性能分析
分 类 号:TP312]
参考文献:
正在载入数据...
二级参考文献:
正在载入数据...
耦合文献:
正在载入数据...
引证文献:
正在载入数据...
二级引证文献:
正在载入数据...
同被引文献:
正在载入数据...