文献类型：期刊文章

作　　者：卞琛[1,2] 于炯[1] 英昌甜[1] 修位蓉[1]

机构地区：[1]新疆大学信息科学与工程学院,新疆乌鲁木齐830046 [2]乌鲁木齐职业大学信息工程学院,新疆乌鲁木齐830002

出　　处：《电子学报》

基　　金：国家自然科学基金(No.61262088;No.61462079)

年　　份：2017

卷　　号：45

期　　号：2

起止页码：278-284

语　　种：中文

收录情况：BDHX、BDHX2014、CAS、CSA、CSA-PROQEUST、CSCD、CSCD2017_2018、EI(收录号：20171903656077)、IC、JST、RCCSE、RSC、SCOPUS、ZGKJHX、核心刊

摘　　要：并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略(Self-Adaptive Cache Management,SACM),包括缓存自动选择算法(Selection)、并行缓存清理算法(Parallel Cache Cleanup,PCC)和权重缓存替换算法(Lowest Weight Replacement,LWR).其中,缓存自动选择算法通过分析任务的DAG(Directed Acyclic Graph)结构,识别重用的RDD并自动缓存.并行缓存清理算法异步清理无价值的RDD,提高集群内存利用率.权重替换算法通过权重值判定替换目标,避免重新计算复杂RDD产生的任务延时,保障资源瓶颈下的计算效率.实验表明:我们的策略提高了Spark的任务执行效率,并使内存资源得到有效利用.

关 键 词：并行计算 缓存管理策略 SPARK 弹性分布式数据集  

分 类 号：TP311]