文献类型：期刊文章

作　　者：王功鹏[1] 段萌[1] 牛常勇[1]

WANG Gong-peng;DUAN Meng;NIU Chang-yong(School of Information Engineering,Zhengzhou University,Zhengzhou 450001,China)

机构地区：[1]郑州大学信息工程学院

出　　处：《计算机工程与设计》

基　　金：国家自然科学基金项目(60901078);郑州市科技计划基金项目(10LJRC189)

年　　份：2018

卷　　号：39

期　　号：2

起止页码：441-445

语　　种：中文

收录情况：BDHX、BDHX2017、CSA、CSA-PROQEUST、IC、INSPEC、JST、RCCSE、ZGKJHX、核心刊

摘　　要：为解决卷积神经网络(CNN)中随机梯度下降算法(SGD)的学习率设置不当对SGD算法的影响,提出一种学习率自适应SGD的更新算法,随着迭代的进行该算法使学习率呈现周期性的改变。针对CNN中Relu激活函数将CNN中的阈值为负的神经元丢弃的缺陷,设计选择Leaky Relu作为激活函数的CNN。实验验证了使用该激活函数的有效性,实验结果表明,采用上述学习率更新算法的SGD可以使网络快速收敛,提高了学习正确率;通过将Leaky Relu激活函数和采用上述学习率更新算法的SGD相结合,进一步提高CNN的学习正确率。

关 键 词：卷积神经网络 随机梯度下降算法  自适应学习率更新算法  LeakyRelu激活函数  快速收敛  

分 类 号：TP181]