文献类型：期刊文章

作　　者：董守斌[1] 赵铁柱[1]

机构地区：[1]华南理工大学广东省计算机网络重点实验室,广东广州510640

出　　处：《华南理工大学学报（自然科学版）》

基　　金：国家自然科学基金资助项目(61070092);国家发改委CNGI项目(CNGI2008-109/122)

年　　份：2011

卷　　号：39

期　　号：4

起止页码：7-14

语　　种：中文

收录情况：AJ、BDHX、BDHX2008、CAS、CSA、CSA-PROQEUST、CSCD、CSCD2011_2012、EI、IC、INSPEC、JST、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：搜索引擎是一种数据密集型应用,其性能极大依赖于底层文件系统的性能.文中主要讨论分布式文件系统在搜索引擎应用环境下的性能评估和性能优化问题.首先概述了分布式文件系统的性能影响因素及相关研究进展;在此基础上提出基于Hadoop的开放架构,系统地评估HDFS和Lustre在搜索引擎应用场景下的性能;最后针对实验评估发现的HDFS在写性能及小文件数据处理方面的不足,提出改进方案,为搜索引擎的分布式文件系统优化提供参考.

关 键 词：搜索引擎 分布式文件系统 HDFS文件系统  LUSTRE文件系统 性能分析 性能优化  

分 类 号：TP393]