文献类型：期刊文章

作　　者：曲朝阳[1] 朱莉[1] 张士林[1]

机构地区：[1]东北电力大学信息工程学院,吉林省吉林市132012

出　　处：《电力系统自动化》

基　　金：国家自然科学基金资助项目(51077010);吉林省自然科学基金资助项目(20101517)~~

年　　份：2013

卷　　号：37

期　　号：4

起止页码：92-97

语　　种：中文

收录情况：AJ、BDHX、BDHX2011、CSA、CSA-PROQEUST、CSCD、CSCD2013_2014、EI(收录号：20131216131906)、IC、INSPEC、JST、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：为解决目前广域测量系统(WAMS)海量数据处理中存在的数据冗余、处理效率低等问题,设计并实现了一个基于Hadoop的WAMS数据处理云计算平台。首先,给出了平台的体系结构。其次,设计了基于Hadoop分布式文件系统(HDFS)存储的WAMS海量数据加载方法和利用MapReduce模型实现多个文件数据的并行抽取、转换和加载(ETL)操作流程。提出了结合MapReduce的MPApriori数据挖掘算法,用于高效地挖掘出连锁故障时各站点之间的相互影响。最后,通过对区域电网WAMS实际数据进行处理,验证了Hadoop处理海量数据的高效性。所述平台适用于高性能局域网络连接的计算机集群对海量电网数据进行文件数据处理。

关 键 词：云计算 数据处理 广域测量系统 MAPREDUCE

分 类 号：TM76] TP311.13]