文献类型：期刊文章

作　　者：任凯[1] 邓武[2] 俞琰[3]

机构地区：[1]南京大学金陵学院,江苏南京210089 [2]大连交通大学软件学院,辽宁大连116028 [3]东南大学成贤学院,江苏南京210088

出　　处：《现代电子技术》

基　　金：国家自然科学基金项目(U1433124)

年　　份：2016

卷　　号：39

期　　号：2

起止页码：39-41

语　　种：中文

收录情况：BDHX、BDHX2014、IC、RCCSE、ZGKJHX、核心刊

摘　　要：传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案,即由多台计算机完成日志文件的存储、分析和挖掘工作;建立了一个分层的网络日志分析系统:Syslog完成日志采集,Hadoop负责分布式存储和并行计算,在MapReduce框架下重新实现了IP统计算法。实验结果表明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和系统的可扩展性。

关 键 词：大数据 日志采集 MAPREDUCE 日志分析 IP统计  

分 类 号：TN915-34]