文献类型：期刊文章

作　　者：宋杰[1] 孙宗哲[1] 毛克明[1] 鲍玉斌[2] 于戈[2]

机构地区：[1]东北大学软件学院,辽宁沈阳110819 [2]东北大学计算机科学与工程学院,辽宁沈阳110819

出　　处：《软件学报》

基　　金：国家自然科学基金(61672143;61433008;61402090;61502090)~~

年　　份：2017

卷　　号：28

期　　号：3

起止页码：514-543

语　　种：中文

收录情况：AJ、BDHX、BDHX2014、CSA、CSA-PROQEUST、CSCD、CSCD2017_2018、EI(收录号：20172303730516)、IC、INSPEC、JST、MR、RCCSE、SCOPUS、ZGKJHX、ZMATH、核心刊

摘　　要：综述了近年来基于MapReduce编程模型的大数据处理平台与算法的研究进展.首先介绍了12个典型的基于MapReduce的大数据处理平台,分析对比它们的实现原理和适用场景,抽象其共性;随后介绍基于MapReduce的大数据分析算法,包括搜索算法、数据清洗/变换算法、聚集算法、连接算法、排序算法、偏好查询、最优化算法、图算法、数据挖掘算法,将这些算法按照MapReduce实现方式分类,分析影响算法性能的因素;最后,将大数据处理算法抽象为外存算法,并对外存算法的特征加以梳理,提出了普适的外存算法性能优化方法的研究思路和问题,以供研究人员参考.具体包括优化外存算法的磁盘I/O、优化外存算法的局部性以及设计增量式迭代算法.现有的大数据处理平台和算法研究多集中在基于资源分配和任务调度的平台动态性能优化、特定算法并行化、特定算法性能优化等领域,所提出的外存算法性能优化属于静态优化方法,是现有研究的良好补充,为研究人员提供了广阔的研究空间.

关 键 词：大数据 MAPREDUCE 外存算法 大数据处理  算法性能优化  

分 类 号：TP311]