文献类型：期刊文章

作　　者：侯晓芳[1] 王欢[1] 李瑛[1]

HOU Xiao-fang;WANG Huan;LI Ying(School of Computer and Remote Sensing Information Technology, North China Institute of Aerospace Engineering, Langfang, Hebei 06500)

机构地区：[1]北华航天工业学院计算机与遥感信息技术学院,河北廊坊065000

出　　处：《中国电子科学研究院学报》

基　　金：河北省教育厅青年基金项目(QN2015113);河北省廊坊市科技局项目(2016011065);院级教研项目(JY-2015-016)

年　　份：2018

卷　　号：13

期　　号：3

起止页码：315-320

语　　种：中文

收录情况：BDHX、BDHX2017、CSA、CSA-PROQEUST、IC、INSPEC、RCCSE、核心刊

摘　　要：为了对海量电子日志数据进行有效处理,提出一种基于HIVE和分布式集群的综合解决方案。首先,从需求分析出发,阐述了分布式集群搭建、虚拟机的Flume配置和HIVE数据处理;然后,进行数据采集和清洗、业务逻辑处理及优化、数据合并与查询。实验以统计分析网站访问排名为例,对具体的表结构和实施过程进行描述,并验证其可行性。结果表明:与其他框架相比,所提大数据综合处理方法在数据采集和日志处理方面更效率,且省去了处理业务逻辑的大量Java代码,可用性更佳。

关 键 词：分布式集群 虚拟机 日志数据 HIVE  HADOOP 大数据

分 类 号：TP391.1]