文献类型：期刊文章

作　　者：孙学波[1] 石飞达[1]

机构地区：[1]辽宁科技大学软件学院,辽宁鞍山114000

出　　处：《计算机工程与设计》

年　　份：2018

卷　　号：39

期　　号：1

起止页码：126-133

语　　种：中文

收录情况：BDHX、BDHX2017、CSA、CSA-PROQEUST、IC、INSPEC、JST、RCCSE、ZGKJHX、核心刊

摘　　要：为解决传统数据挖掘算法在大量数据处理时面临的内存占用、计算性能等方面的问题,基于Hadoop平台,应用HBase文件存储系统对海量数据分布式存储以及Map Reduce框架进行分布式计算,实现Apriori经典数据挖掘算法。通过对已实现的Apriori算法进行优化,引入FIS-IS算法思想,从数据库扫描次数和容量消减方向进行改进。提出针对数据本身进行频繁预选项生成方法与对于频繁预选项剪枝步骤进行分组检索的优化方法。实验结果验证了改进算法对算法运行具有良好的优化效果。

关 键 词：APRIORI算法 数据挖掘算法 分布式实现 HADOOP平台 MAPREDUCE框架

分 类 号：TP311] TP393[计算机类]