文献类型：期刊文章

作　　者：毛典辉[1]

机构地区：[1]北京工商大学计算机与信息工程学院,北京100048

出　　处：《计算机工程与应用》

基　　金：国家自然科学基金(No.2009ZX05038-001);北京市属高等学校科学技术与研究生教育创新工程建设项目(No.PXM2012_014213_000037)

年　　份：2012

卷　　号：48

期　　号：27

起止页码：22-26

语　　种：中文

收录情况：AJ、CSA、CSA-PROQEUST、CSCD、CSCD2011_2012、IC、INSPEC、JST、RCCSE、ZGKJHX、普通刊

摘　　要：针对分布式Canopy-Kmeans算法中Canopy选取的随机性问题,采用"最小最大原则"对该算法进行了改进,避免了Cannopy选取的盲目性;采用MapReduce并行计算框架对算法进行了并行扩展,使之能够充分利用集群的计算和存储能力,从而适应海量数据的应用场景。以海量互联网新闻信息聚类作为应用背景,对改进后的算法进行了实验分析。实验结果表明:该方法较随机挑选Canopy策略在分类准确率以及抗噪能力上都明显提高,而且在处理海量数据时表现出较大的性能优势。

关 键 词：Canopy-Kmeans算法  MAPREDUCE 分布式聚类

分 类 号：TP393.03]