文献类型：期刊文章

作　　者：王永坤[1] 罗萱[1] 金耀辉[1,2]

机构地区：[1]上海交通大学网络信息中心,上海200240 [2]上海交通大学光纤通信国家重点实验室,上海200240

出　　处：《计算机工程与科学》

基　　金：国家自然科学基金(61371084)

年　　份：2018

卷　　号：40

期　　号：2

起止页码：191-199

语　　种：中文

收录情况：BDHX、BDHX2017、CSCD、CSCD_E2017_2018、INSPEC、JST、ZGKJHX、核心刊

摘　　要：大数据分析技术的广泛应用离不开大数据平台的支撑,构建大数据平台已经是很多企业和机构的重要需求。构建大数据平台需要复杂的系统性的技术,特别是需要考虑系统性能和可扩展性两方面需求。随着数据体量不断增大、用户需求不断增多,规划时的数据平台规模很可能不能满足不断变化的需求。因此,设计了一种混合的大数据平台架构:混合使用物理服务器和私有云云主机的大数据平台。这样就兼顾了性能和可扩展性:由于物理服务器性能一般要高于云上的虚拟机,所以构建在物理服务器上的大数据平台,性能一般要好于构建在私有云上大数据平台;从私有云上启动云服务器非常方便、快捷,所以大数据平台的计算和存储结点可以动态弹性地扩容到私有云上,从而保证高峰期的时候大数据平台仍然可以有充足的处理能力。在生产环境实现了这种混合型设计,在生产环境中的测试也表明了这种设计的有效性。

关 键 词：大数据 私有云 大数据分析  大数据处理  数据平台 HADOOP OPENSTACK

分 类 号：TP311]