文献类型：期刊文章

作　　者：王坤[1] 杨杨[1] 邱雪松[1]

机构地区：[1]北京邮电大学可信网络通信协同创新中心,北京100876

出　　处：《无线电通信技术》

基　　金：北京邮电大学可信网络通信协同创新中心预研基金项目;中央高校基本科研业务费专项资金项目;国家科技支撑计划项目(2015BAI11B01)

年　　份：2018

卷　　号：44

期　　号：1

起止页码：9-13

语　　种：中文

收录情况：JST、普通刊

摘　　要：Hadoop分布式文件系统(HDFS)是Hadoop的核心之一,已经广泛应用于天地一体化网络数据的存储。但由于HDFS存储和管理的数据容量受限于命名节点(Name Node)的内存大小,其扩展性受到制约。针对Name Node管理元数据时存在的加载文件系统镜像(FSImage)时间过长、容量受内存大小限制等问题,提出将HDFS层级化的元数据结构调整为扁平化结构,并将元数据移出内存的优化思路,设计了基于日志结构合并树(Log-Structured Merge-Tree,LSM)与内存映射文件进行元数据管理的F-HDFS架构,并介绍了F-HDFS的元数据管理方式。通过F-HDFS的原型系统与HDFS的对比实验,表明F-HDFS性能整体优于HDFS,可提供稳定快速的元数据服务,能存储与管理超过HDFS 5.3倍以上的数据。

关 键 词：HADOOP HDFS 元数据管理 扩展性 内存映射文件

分 类 号：TP274]