文献类型：期刊文章

作　　者：秦晓宁[1] 王家尧[2] 胡梦龙[2] 苏勇[2] 万伟[2] 李斌[2] 戴荣[2] 王志鹏[3] 吉青[2]

Qin Xiaoning;Wang Jiayao;Hu Menglong;Su Yong;Wan Wei;Li Bin;Dai Rong;Wang Zhipeng;Ji Qing(Institute of Computer Science and Technology,Nanjing University of Aeronautics and Astronautics,Nanjing,Jiangsu 210016,China;Dawning Information Industry Co.,Beijing 100193,China;The High School Affiliated to Renmin University,Beijing 100080,China)

机构地区：[1]南京航空航天大学,计算机科学与技术学院,江苏南京210016 [2]曙光信息产业(北京)有限公司,北京100193 [3]中国人民大学附属中学,北京100080

出　　处：《数据与计算发展前沿》

基　　金：国家重点研发计划(2018YFB0204400)。

年　　份：2020

卷　　号：2

期　　号：1

起止页码：55-69

语　　种：中文

收录情况：普通刊

摘　　要：【目的】为应对超大规模计算系统所带来的监控数据风暴、作业调度稳定性及灵活性、网络复杂度及高效性等实际挑战,本文分享了近期真实实践的经验和解决办法。【应用背景】当计算系统从P级逐渐向E级过渡,节点数量可超过10000个。在计算系统设计之初就需要确定网络拓扑的选型,而在系统的具体使用中更是离不开高效的调度和及时的监控。【方法】本文采用了基于动态负载均衡的分布式监控架构设计,基于高速缓存的分布式告警架构设计,基于SLURM的源码和配置优化,以及nd-Torus网络拓扑仿真对比等相关技术手段,基本满足了实际业务使用需求。【结果】数据表明,对于~10000节点的计算系统,实时告警数据库表的数据量大小基本可以控制在100万条以内。优化后的SLURM调度系统,可满足系统的业务级调度需求。网络方面,6D-Torus网络由于网络直径低、平均通信距离短,性能和网卡线缆用量较Fat-Tree网络和3D-Torus有一定提升,饱和吞吐率超过40%。【结论】分布式监控架构和告警架构可以有效解决监控数据风暴问题。SLURM在优化后可以实现对超大规模计算系统的作业调度功能。就线缆和交换机使用数量而言,6D-Torus相对于传统Fat-Tree网络更加经济,且性能优于3D-Torus,更适合超大规模计算系统。

关 键 词：计算  监控  作业调度 网络

分 类 号：TP30]