文献类型：期刊文章

作　　者：于苹苹[1] 倪建成[2] 姚彬修[1] 李淋淋[1] 曹博[1]

机构地区：[1]曲阜师范大学信息科学与工程学院,山东日照276826 [2]曲阜师范大学软件学院,山东曲阜273100

出　　处：《计算机应用》

基　　金：国家自然科学基金资助项目(61402258);山东省本科高校教学改革研究项目(2015M102);校级教学改革研究项目(jg05021*)~~

年　　份：2016

卷　　号：36

期　　号：12

起止页码：3292-3297

语　　种：中文

收录情况：AJ、BDHX、BDHX2014、CSA、CSA-PROQEUST、CSCD、CSCD_E2015_2016、IC、INSPEC、JST、RCCSE、ZGKJHX、ZMATH、核心刊

摘　　要：针对K-最近邻（KNN）分类算法时间复杂度与训练样本数量成正比而导致的计算量大的问题以及当前大数据背景下面临的传统架构处理速度慢的问题，提出了一种基于Spark框架与聚类优化的高效KNN分类算法。该算法首先利用引入收缩因子的优化K-medoids聚类算法对训练集进行两次裁剪；然后在分类过程中迭代K值获得分类结果，并在计算过程中结合Spark计算框架对数据进行分区迭代实现并行化。实验结果表明，在不同数据集中传统尽最近邻算法、基于K-medoids的群最近邻算法所耗费时间是所提Spark框架下的B最近邻算法的3．92-31．90倍，所提算法具有较高的计算效率，相较于Hadoop平台有较好的加速比，可有效地对大数据进行分类处理。

关 键 词：K-最近邻 聚类 收缩因子  K-medoids  SPARK 并行化计算

分 类 号：TP391.1]