文献类型：期刊文章

作　　者：张延松[1,2] 焦敏[1,3] 王占伟[1,3] 王珊[1,3] 周烜[1,3]

机构地区：[1]数据工程与知识工程教育部重点实验室(中国人民大学),北京100872 [2]中国人民大学中国调查与数据中心,北京100872 [3]中国人民大学信息学院,北京100872

出　　处：《计算机学报》

基　　金：国家重大科技专项基金项目(核高基项目2010ZX01042-001-002);国家自然科学基金项目(61070054);中国人民大学科学研究基金(中央高校基本科研业务费专项资金;10XNI018);中国人民大学研究生(11XNH120)资助~~

年　　份：2011

卷　　号：34

期　　号：10

起止页码：1936-1946

语　　种：中文

收录情况：BDHX、BDHX2008、CSA、CSA-PROQEUST、CSCD、CSCD2011_2012、EI(收录号：20114614525078)、IC、INSPEC、JST、MR、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：传统的OLAP被迅速膨胀的海量数据推动进入了大规模数据分析时代,其主要特点是存储密度大,计算强度大,需要大规模并行存储和处理能力.无论是传统的并行数据库技术还是热点的MapReduce技术都不得不面对海量数据在大规模并行处理环境下的性能和并行处理效率的问题.以星型模型上复杂多表连接为基础的OLAP算法的复杂度和并行处理过程中的数据网络传输代价都成为制约性能的重要因素.通过深入分析OLAP存储模型和查询负载特征,提出了对OLAP查询中最基础的SPJGA-OLAP子集在存储、查询处理、数据分布、网络传输和分布式缓存等方面面向海量数据大规模并行处理框架的优化策略和实现技术.通过对TPC-H和SSB两个工业界和学术界公认的测试标准的分析,评估了技术的可行性.提出了以内存predicate-vector DDTA-JOIN算法为核心的并行内存OLAP架构,以维表上规范化的谓词向量操作替代了多样的连接执行计划,实现以一种查询处理模型同时满足集中式处理和大规模并行OLAP处理的需求,充分利用现代计算机的硬件优势,最小化网络传输和OLAP查询处理代价.实验中分析了在1TB和100TB数据集中数据分布策略的存储代价和传输代价,通过并行OLAP代价模型和实际数据的实验测试验证了技术的可行性和并行处理效率.

关 键 词：OLAP 海量数据分析处理  谓词向量  星型模型

分 类 号：TP311]