文献类型：期刊文章

作　　者：叶小榕[1] 邵晴[2]

YE Xiaorong;SHAO Qing(Institut'e of Scientific and Technical Information of China,Beijing 100038,China;KNET Co.,Ltd.,Beijing 100190,China)

机构地区：[1]中国科学技术信息研究所,北京100038 [2]北龙中网(北京)科技有限责任公司,北京100190

出　　处：《科技导报》

年　　份：2018

卷　　号：36

期　　号：23

起止页码：93-101

语　　种：中文

收录情况：AJ、BDHX、BDHX2017、CAB、CAS、CSA、CSA-PROQEUST、CSCD、CSCD_E2017_2018、IC、INSPEC、JST、RCCSE、RWSKHX、UPD、ZGKJHX、核心刊

摘　　要：为有效发掘大规模社交网络上的用户信息,提高对用户之间关系的深入了解,设计开发了基于Spark的大规模社交网络社区发现原型系统。系统利用ActiveMQ实现对大量用户数据的抓取,使用基于Spark的MLlib提供的朴素贝叶斯算法对用户数据进行清洗,利用Spark的GraphX提供的PageRank算法和MLlib提供的Z-Score算法计算用户排名,最终应用并优化LPA算法,将特征相近、联系较密切的用户快速地划分到同一社区中,为进一步分析利用社区用户数据打下了基础。

关 键 词：SPARK GraphX  MLlib  社区发现  

分 类 号：TP18]