文献类型：期刊文章

作　　者：鲜征征[1] 叶嘉祥[1]

XIAN Zheng-zheng;YE Jia-xiang(Department of Internet Finance and Information Engineering,Guang Dong University of Finance,Guangzhou 510521,China)

机构地区：[1]广东金融学院互联网金融与信息工程学院

出　　处：《软件导刊》

基　　金：广东省自然科学基金项目(2017A030313391);广东省科技厅国际合作项目(2017A050501042)

年　　份：2019

卷　　号：18

期　　号：8

起止页码：105-110

语　　种：中文

收录情况：普通刊

摘　　要：ELK架构是解决日志分布式采集与分析问题中具有代表性的解决方案。但原生ELK架构存在Logstash对CPU资源占用较大、无法动态更新日志相关配置和日志数据传输过程中数据易丢失等问题。为满足现实中大型分布式服务的日志采集与分析需求,对原生ELK架构作如下改进:在收集过程中增加限速器以减少CPU占用率;增加分布式注册中心实现相关配置动态更新;增加消息队列使得消息传输过程更健全。实验结果表明,改进后的ELK日志采集及分析系统与原生ELK相比,CPU占用率减少了近60%,日志速度提高了3倍,且消息丢失率为零。

关 键 词：日志采集 分布式架构 ELK 消息队列

分 类 号：TP319]