文献类型：期刊文章

作　　者：姬壮伟[1]

JI Zhuang-wei(Department of Computer Science,Changzhi University,Changzhi Shanxi,046011)

机构地区：[1]长治学院计算机系,山西长治046011

出　　处：《山西大同大学学报（自然科学版）》

年　　份：2020

卷　　号：36

期　　号：6

起止页码：51-53

语　　种：中文

收录情况：普通刊

摘　　要：自从Alphago战胜人类职业围棋选手以来,科研领域就掀起了深度神经网络研究的热潮,而优化器是神经网络训练各神经元之间参数学习的核心算法。经过分析目前多个最具影响力的神经网络优化算法,总结各算法的优缺点,并通过主流的神经网络框架Pytorch搭建神经网络对不同的优化算法进行测试,对比参数收敛速度及误差率。测试表明在相同学习率、相同批量大小、用相同数据训练同一神经网络的情况下,不同的优化算法对神经网络参数收敛速度和误差率影响很大。

关 键 词：神经网络 优化算法 梯度下降 参数收敛  

分 类 号：TP18]