文献类型：期刊文章

作　　者：胡亚红[1] 邱圆圆[1] 毛家发[1]

HU Yahong;QIU Yuanyuan;MAO Jiafa(College of Computer Science and Technology(College of Software),Zhejiang University of Technology,Hangzhou 310023,China)

机构地区：[1]浙江工业大学计算机科学与技术学院(软件学院),浙江杭州310023

出　　处：《国防科技大学学报》

基　　金：国家重点研发计划资助项目(2018YFB0204003)。

年　　份：2022

卷　　号：44

期　　号：5

起止页码：102-113

语　　种：中文

收录情况：BDHX、BDHX2020、CAS、CSCD、CSCD2021_2022、EI、IC、JST、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：节点优先级常用于评价异构集群中节点的性能,因此节点优先级评价指标权重的选择非常重要。采用层次分析法(analytic hierarchy process,AHP)建立了节点优先级评价指标体系,计算得到各指标的初始权重,并使用BP神经网络对初始权重进行优化。训练时,BP网络输入为集群运行中采集的节点实时资源数据,输出为节点的优先级。分析网络训练完成后得到的权重矩阵可以获得各优先级评价指标的优化权重。实验表明,基于AHP和BP的节点优先级评价模型可以更加准确地分析节点性能。相比于Spark默认算法和权重未优化的对照算法,使用调优后的节点优先级可以有效提高集群性能。运行不同工作量的相同负载时,集群平均性能分别提高了16.64%和9.76%;处理相同工作量的不同负载时,集群的平均性能分别提高了12.49%和6.54%。

关 键 词：层次分析法 BP神经网络 节点优先级  权重  SPARK

分 类 号：TP393]