文献类型：期刊文章

作　　者：翁俊河[1] 李湘丽[2] 林燕斌[1] 刘培现[1] 骆燕玲[1] 姚楷东[1] 陈钰广[1] 徐龙琴[1]

机构地区：[1]仲恺农业工程学院信息科学与技术学院,广东广州510225 [2]仲恺农业工程学院图书馆,广东广州510225

出　　处：《通讯世界》

基　　金：国家自然科学基金(61471133);广东省科技计划(2017A070712019,2016A040402043,2016A030303058);广东省普通高校省级重大科研项目(2016KZDXM001);广东省教育厅育苗工程(KKA13412R);攀登计划项目(KA180535840)资助

年　　份：2019

卷　　号：26

期　　号：9

起止页码：116-118

语　　种：中文

收录情况：普通刊

摘　　要：网络舆情对维护社会和谐稳定、推动政务透明等方面具有重要作用,但随着网络舆情快速发展,小问题引爆的舆论事件不断发生,给社会带来严重负面影响,严重威胁国家安全,为此,本文提出构建基于大数据挖掘的网络舆情智能分析系统,系统利用主题爬虫技术采集舆情数据,采用文本过滤方法将相似数据进行合并,并利用向量空间模型、概率模型等对特征舆情文档进行特征抽取,运用HDFS分布式文件系统存储非结构化的舆情数据,并用大数据、MapReduce等技术对舆情数据分析挖掘,实现了舆情信息自动采集、分布式预处理、舆情智能分析挖掘、舆情发现等功能,对快速准确从海量信息中分析、发现热点舆情、提高舆情信息处理效率及质量等具有重要意义。

关 键 词：网络舆情 智能分析  HADOOP 分布式计算

分 类 号：G206]