文献类型：期刊文章

作　　者：刘萍[1]

LIU Ping(Department of Computer Science,Jiangyin Polytechnic College,Jiangyin 214400,China)

机构地区：[1]江阴职业技术学院计算机科学系,江苏江阴214400

出　　处：《软件工程》

基　　金：江阴职业技术学院课题"基于Spark的大数据处理平台的构建及研究"(17E-JS-25);江苏省软件与服务外包实训基地子课题"基于Spark的大数据体验系统的创新应用实践"(2017-PPZY-A-R-19)

年　　份：2018

卷　　号：21

期　　号：5

起止页码：15-18

语　　种：中文

收录情况：普通刊

摘　　要：对校园大数据分析是校园信息化发展的新思路。Hadoop是Apache基金会开发的分布式系统基础架构,它是集分布式计算、存储和管理为一体的生态系统。目前流行的Spark框架是与Hadoop生态系统中的MapReduce类似的一个分布式计算平台,Spark比MapReduce的速度更快且提供的功能更丰富。本文以数据采集、数据存储、数据分析、数据展现为主线,结合大数据领域最流行的Hadoop框架与Spark框架提出了高校校园大数据平台架构,详细阐述了架构各层次的具体功能,并对架构中关系数据库数据的采集存储进行了详细介绍,最后设计校园大数据分析原型系统来验证架构的可行性。

关 键 词：大数据 HADOOP SPARK 校园大数据平台  

分 类 号：TP391]