文献类型：期刊文章

作　　者：宋宝燕[1] 王俊陆[1] 王妍[1]

机构地区：[1]辽宁大学信息科学与技术学院,沈阳110036

出　　处：《计算机学报》

基　　金：国家自然科学基金(61472169;60873068);辽宁省教育厅优秀人才支持计划项目基金(LR201017)资助~~

年　　份：2015

卷　　号：38

期　　号：9

起止页码：1825-1837

语　　种：中文

收录情况：BDHX、BDHX2014、CSA、CSA-PROQEUST、CSCD、CSCD2015_2016、EI(收录号：20154101347070)、IC、INSPEC、JST、MR、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：随着大数据时代的到来,新型文件系统HDFS(Hadoop分布式文件系统)的应用越来越广泛.但其本身也存在着整体存储成本过高、可扩展性低、节点负载均衡能力不足等问题.因此,该文提出了一种基于范德蒙码的HDFS分散式动态副本存储优化策略,针对HDFS大多部署在大量的廉价硬件集群上的实际情况,在范德蒙码优化策略的基础上,采用分散式动态副本控制的思想对HDFS文件操作的计算过程、计算模式以及译码触发策略进行系统的改进,并通过校验码动态设置的方式将容错度控制在一个理想的范围之内,此外,结合伽罗华有限域理论对范德蒙码的编译码操作及计算方法进行全面优化,在不影响HDFS存储结构的前提下,降低了范德蒙码编译码的时间代价和计算的内存压力,节约了HDFS约30%的存储开销,数据可靠性提高了约200%,均衡HDFS系统节点负载能力,译码恢复效率平均提升约40%,形成了一套完整的、系统的优化方案,为未来HDFS的发展提供了一条有效途径.

关 键 词：大数据 HDFS 范德蒙码  分散式动态副本  优化存储  

分 类 号：TP311]