文献类型：期刊文章

作　　者：张东[1,2] 亓开元[1,2] 吴楠[1,2] 辛国茂[1,2] 刘正伟[1,2] 颜秉珩[1,2] 郭锋[1,2]

机构地区：[1]高效能服务器和存储技术国家重点实验室,济南250101 [2]浪潮电子信息产业股份有限公司,济南250101

出　　处：《计算机研究与发展》

基　　金：国家"八六三"高技术研究发展计划基金项目(2015AA050203);"核高基"国家科技重大专项(2013ZX01039002)~~

年　　份：2016

卷　　号：53

期　　号：2

起止页码：374-389

语　　种：中文

收录情况：AJ、BDHX、BDHX2014、CSA-PROQEUST、CSCD、CSCD2015_2016、EI、IC、JST、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：为了弥补从大数据技术到行业应用之间的鸿沟,针对当前行业用户对大数据处理平台的持续扩展、一体化和多样性需求,提出了大数据一体机的可扩展性、可定制性和多类型处理模型,并基于此设计了云海大数据一体机.该一体机采用兼顾横向和纵向可扩展的体系结构,并采用硬件可定制化设计和混合型软件架构支持多种大数据应用类型.在此基础上,针对HDFS元数据服务瓶颈问题、MapReduce负载倾斜问题、HBase的跨域问题,介绍了在云海大数据一体机中采用的多元数据服务、负载均衡和跨数据中心大表技术.在电信、金融和环保行业实际案例中的应用和测试表明,上述体系结构和关键技术是可行和有效的.

关 键 词：大数据一体机  可扩展性  可定制性 混合型软件架构  大数据行业应用  

分 类 号：TP311.133.1]