文献类型：期刊文章

作　　者：蒋文斌[1] 彭晶[2] 叶阁焰[3]

JIANG Wenbin;PENG Jing;YE Geyan(Services Computing Technology and System Laboratory,Huazhong University of Science and Technology,Wuhan 430074,China;Cluster and Grid Computing Laboratory,Huazhong University of Science and Technology,Wuhan 430074,China;School of Computer of Science and Technology,Huazhong University of Science and Technology,Wuhan 430074,China)

机构地区：[1]华中科技大学服务计算技术与系统教育部重点实验室,湖北武汉430074 [2]华中科技大学集群与网格计算湖北省重点实验室,湖北武汉430074 [3]华中科技大学计算机科学与技术学院,湖北武汉430074

出　　处：《华中科技大学学报（自然科学版）》

基　　金：国家自然科学基金资助项目(61672250)

年　　份：2019

卷　　号：47

期　　号：5

起止页码：79-83

语　　种：中文

收录情况：AJ、BDHX、BDHX2017、CAS、CSA、CSA-PROQEUST、CSCD、CSCD2019_2020、EI、IC、INSPEC、JST、MR、RCCSE、SCOPUS、ZGKJHX、ZMATH、核心刊

摘　　要：为了获得更好的收敛速度和训练效果,提出了根据模型测试准确率对学习率使用不同调整策略的自适应学习率调整算法.将训练过程分为前期、中期和后期三个阶段:在前期适当增大学习率,在中期和后期根据与测试准确率的增量相关的衰减因子函数使用不同大小的学习率衰减因子减小学习率,增量越小表示模型越接近收敛,因而使用更小的衰减因子.基于MXNet框架,在数据集CIFAR-10和CIFAR-100上进行测试实验,结果表明所提出的方法在收敛速度和准确率收敛值方面都有更好的效果.

关 键 词：深度学习  学习率 准确率 陈旧梯度  MXNet框架  

分 类 号：TP18]