文献类型：期刊文章

作　　者：葛磊蛟[1] 王守相[1] 瞿海妮[2]

机构地区：[1]天津大学智能电网教育部重点实验室,天津300072 [2]国网上海市电力公司,上海200122

出　　处：《电力自动化设备》

基　　金：国家高技术研究发展计划(863计划)资助项目(2015AA05203)~~

年　　份：2016

卷　　号：36

期　　号：6

起止页码：194-202

语　　种：中文

收录情况：AJ、BDHX、BDHX2014、CSA、CSA-PROQEUST、CSCD、CSCD_E2015_2016、EI(收录号：20162602544248)、IC、INSPEC、JST、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：针对智能配用电数据海量、高维度、多源异构等特点,提出一种大数据存储的三层管理框架设计方案。首先,对智能配用电数据组成进行分类划分。然后,提出智能配用电数据存储的资源层、元数据层和实际数据层的三层管理框架,在资源管理层,应用虚拟化技术、负载均衡和资源调度完成对物理资源的管理;在元数据管理层,使用数据预处理技术对智能配用电的元数据进行分类,采用中间件技术完成XML元数据仓库管理;在实际数据管理层,利用NoSQL技术,通过Map和Reduce的有效结合,完成海量数据的分层分区快速存储。最后,在实验室环境下对该设计方案进行初步的应用,验证了所设计方案能够对结构化、半结构化和非结构化数据进行统一存储,可为智能配用电大数据技术的应用提供基础支撑作用。

关 键 词：大数据 海量数据 框架设计  智能配用电  数据处理 存储  

分 类 号：TM721]