文献类型：期刊文章

作　　者：常伟鹏[1] 袁泉[1]

CHANG Wei-peng;YUAN Quan(Book and Information Center,China Pharmaceutical University,Jangsu Nanjing 211198,China)

机构地区：[1]中国药科大学图书与信息中心,江苏南京211198

出　　处：《计算机仿真》

基　　金：江苏省现代教育技术研究2020年度智慧校园专项课题(2020-R-84271)。

年　　份：2022

卷　　号：39

期　　号：11

起止页码：402-405

语　　种：中文

收录情况：BDHX、BDHX2020、JST、ZGKJHX、核心刊

摘　　要：针对网络流量的急剧增加,导致网络集群中存在异常节点,降低了网络的运行效率等问题,提出基于Hadoop的动态网络异常节点智能检测方法。对Hadoop的生态体系结构进行分析,并详细描述了HDFS、MapReduce和NetBASS框架。采用Zipf排名分布对网络节点总流量进行统计,通过标准差系数对节点参数的稳定性和离异程度进行评价。为了使聚类效果更加稳定,使用新的均衡化函数作为数据的收敛函数。将异常节点检测分为节点检测和异常点定位两部分进行,诊断系统通过对Hadoop运行日志的实时检测来计算逻辑,系统通过作业中节点的表现情况,结合性能指标分析出该节点异常的原因,同时将map与reduce任务一起考虑的方法降低节点的耦合性。实验结果表明,通过在运行负载前和运行负载时故障的引入测试,验证了所提方法不仅能够准确的检测出异常点,而且有效性得到显著提高。

关 键 词：生态体系 排名分布  均衡化函数  异常节点  运行日志  

分 类 号：TP18]