文献类型：期刊文章

作　　者：刘永增[1] 张晓景[1] 李先毅[1]

机构地区：[1]大连理工大学网络与信息化中心,辽宁大连116024

出　　处：《广西大学学报（自然科学版）》

年　　份：2011

卷　　号：36

期　　号：A01

起止页码：314-317

语　　种：中文

收录情况：AJ、BDHX、BDHX2008、CAS、CSA、CSCD、CSCD_E2011_2012、JST、PROQUEST、RCCSE、ZGKJHX、ZMATH、核心刊

摘　　要：互联网技术的迅速发展,使得web承载的信息量呈现出爆炸式增长的趋势,因此web日志的数据量也越来愈大。如何存储、处理大规模数据就成了新的挑战。云计算技术的出现,为这类问题的解决提供了一种思路。云计算将数据通过网络分布到集群的各个计算节点上,从而完成大规模数据的存储和运算。Hadoop是一个用于构建云计算平台的流行的开源框架,广泛应用于海量数据的处理。但利用Hadoop处理数据,用户必须自己开发Map/Reduce程序。这种程序处于比较低的层次,用户不容易掌握,而且难于维护。Hive是一个基于Hadoop的开源数据仓库工具,它能够将文件映射成数据表,并提供类SQL语句,简化了用户的开发。利用Hadoop、Hive设计了一个用于处理web日志分析的系统,既充分利用了Hadoop的海量数据处理的能力,又降低了开发的难度。通过与单机实验的对比,证明系统是有效的和有价值的。

关 键 词：WEB日志 云计算 HADOOP Hive  

分 类 号：TP391]