期刊文章详细信息
基于Hadoop的监控数据存储与处理方案设计和实现
DESIGN AND IMPLEMENTATION OF MONITORING DATA STORAGE AND PROCESSING SCHEME BASED ON HADOOP
文献类型:期刊文章
Chi Yaping;Yang Yintan;Xu Ping;YangJianxi(Department of Communication Engineering ,Beijing Electronic Scienee and Technology Institute, Beijing 100070, China;School of Communication Engineering,Xidian University, Xi' an 710071, Shaanxi, China;Key Laboratory of Network Assessment Technology, Institute of Information Engineering, Chinese Academy of Scienees, Beijing 100093, China)
机构地区:[1]北京电子科技学院通信工程系,北京100070 [2]中国科学院信息工程研究所中国科学院网络测评技术重点实验室,北京100093 [3]西安电子科技大学通信工程学院,陕西西安710071
基 金:国家发改委信息安全专项(发改办高技[2015]289号); 国家高技术研究发展计划项目(2015AA017202)
年 份:2018
卷 号:35
期 号:6
起止页码:58-63
语 种:中文
收录情况:BDHX、BDHX2017、CSA、CSA-PROQEUST、IC、JST、ZGKJHX、核心刊
摘 要:云计算环境下的监控系统会实时产生大量监控数据,如何在大数据的环境下实现对监控数据的高效存储和处理尤为重要。针对这一问题提出一种基于Hadoop的监控数据存储与处理的方案。该方案采用HBase数据库存储时序监控数据,并用提升字段法的宽表存储模型改进HBase数据库提升监控数据的存储效率;针对流量数据,采用MapReduce进行分布式计算处理提高处理效率。经过实验测试,验证了该方案的科学性和有效性,提高了海量监控数据下监控系统数据处理速度,解决了云计算环境下监控数据的计算瓶颈问题。
关 键 词:HADOOP HBASE 监控数据 分布式计算 云平台
分 类 号:TP39]
参考文献:
正在载入数据...
二级参考文献:
正在载入数据...
耦合文献:
正在载入数据...
引证文献:
正在载入数据...
二级引证文献:
正在载入数据...
同被引文献:
正在载入数据...