文献类型：期刊文章

作　　者：刘萍[1]

LIU Ping(Department of computer Science, Jiangyin Polytechnic College, Jiangyin, Jiangsu 214400, Chin)

机构地区：[1]江阴职业技术学院计算机科学系

出　　处：《通化师范学院学报》

基　　金：江阴职业技术学院课题(17E-JS-25);江苏省软件与服务外包实训基地子课题(2017-PPZY-A-R-19)

年　　份：2018

卷　　号：39

期　　号：6

起止页码：83-88

语　　种：中文

收录情况：NSSD、普通刊

摘　　要：随着大数据时代的到来,为了更好地利用大数据,需构建大数据处理平台进行大数据分析.Hadoop是大数据领域最流行的大数据处理平台,它是集分布式计算、存储和管理为一体的生态系统.Hadoop的MapReduce框架是负责分布式计算的.目前流行的Spark框架与MapReduce类似,也是一个分布式计算平台.而相比于MapReduce,Spark的速度更快且提供的功能更丰富.Spark只是一个计算平台,本身并没有提供分布式存储和管理,Spark的计算依赖于Hadoop生态系统中的分布式文件系统HDFS,以及集群资源管理器Hadoop Yarn.因此将Spark与Hadoop相结合来构建大数据处理平台,可提高算法运行效率和处理规模.本研究搭建了Hadoop集群和Spark集群,完成了大数据处理平台的构建.最后在搭建好的集群上运行了实现单词词频统计的Word Count程序,验证了大数据处理平台搭建的成功.

关 键 词：SPARK 大数据处理平台  HADOOP

分 类 号：TP391]