文献类型：期刊文章

作　　者：李玉林[1] 董晶[1]

机构地区：[1]华北计算技术研究所,北京100083

出　　处：《计算机工程与设计》

年　　份：2012

卷　　号：33

期　　号：8

起止页码：3110-3116

语　　种：中文

收录情况：AJ、BDHX、BDHX2011、CSA、CSA-PROQEUST、CSCD、CSCD_E2011_2012、IC、INSPEC、ZGKJHX、核心刊

摘　　要：针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了MapReduce模型中Reduce任务节点存在数据倾斜问题,提出了一种改进型的MapReduce模型MBR(Map-Balance-Reduce)模型。通过添加Balance任务,对Map任务处理完成的中间数据进行均衡操作,使得分配到Reduce任务节点的数据比较均衡,从而确保Reduce任务的完成时间基本一致。仿真实验结果表明,经过Balance任务后,Map任务产生的中间数据能够比较均衡的分配给Reduce任务节点,达到数据计算均衡的目的,在一定程度上减少了整个作业的执行时间。

关 键 词：MAPREDUCE模型 HADOOP 数据倾斜  云计算 并行编程

分 类 号：TP303]