文献类型：期刊文章

作　　者：马宾[1,2,3] 殷立峰[1]

机构地区：[1]山东政法学院信息科学技术系,济南250014 [2]证据鉴识山东省重点实验室(山东政法学院),济南250014 [3]山东大学电气工程学院,济南250061

出　　处：《现代图书情报技术》

基　　金：国家自然科学基金项目"空间随机模型估计信息分类问题研究"(项目编号:41202206);山东省自然科学基金项目"基于光纤传感的在线监测技术研究"(项目编号:ZR2012FM014);济南市高校院所自主创新计划项目"基于Hadoop平台的网络舆情并行分析系统"(项目编号:JN201401206)的研究成果之一

年　　份：2015

期　　号：2

起止页码：78-84

语　　种：中文

收录情况：CSSCI、CSSCI2014_2016、RWSKHX、普通刊

摘　　要：【目的】研究Hadoop平台下一种改进的并行朴素贝叶斯算法并实现网络舆情信息分类。【应用背景】网络舆情信息存在数据量大,分散度高,数据非结构化等特点,现有技术难以实现网络舆情的准确、快速分类。【方法】利用Hadoop平台分布式数据存储与并行处理的优良特性,实现朴素贝叶斯分类算法的并行化运行;将采集的舆情文档依照HDFS架构进行本地化存储,并通过Map Reduce进程完成并行分类处理。【结果】对Map Reduce封装后的并行朴素贝叶斯分类算法进行性能测试,结果表明本算法分类效率比集中式舆情分类算法提升82%,分类准确率达到85%以上。【结论】本算法能够有效提升网络舆情分类能力与分类效率。

关 键 词：网络舆情 HADOOP MAPREDUCE 朴素贝叶斯 分类  

分 类 号：TP301.6]