文献类型：期刊文章

作　　者：杨观赐[1] 杨静[1] 李少波[1] 胡建军[1,2]

Yang Guanci;Yang Jing;Li Shaobo;Hu Jianjun(Key Laboratory of Advanced Manufacturing Technology of Ministry of Education,Guizhou University,Guiyang 550003,China;Department of Computer Science and Engineering,University of South Carolina,Columbia 29208,USA)

机构地区：[1]贵州大学现代制造技术教育部重点实验室,贵州贵阳550003 [2]美国南卡罗莱纳州大学计算机科学与工程系,美国哥伦比亚29208

出　　处：《华中科技大学学报（自然科学版）》

基　　金：国家自然科学基金资助项目(61640209);贵州省科技计划资助项目(黔科合人字(2015)13号,黔科合LH字[2016]7433号);贵州省科技厅基础平台计划资助项目(黔科合平台人才[2018]5702)

年　　份：2018

卷　　号：46

期　　号：7

起止页码：122-127

语　　种：中文

收录情况：AJ、BDHX、BDHX2017、CAS、CSA、CSA-PROQEUST、CSCD、CSCD2017_2018、EI、IC、INSPEC、JST、MR、RCCSE、SCOPUS、ZGKJHX、ZMATH、核心刊

摘　　要：在分析当前卷积神经网络模型特征提取过程中存在问题的基础上,提出了基于Dropout与ADAM优化器的改进卷积神经网络算法（MCNN-DA）.设计了二次卷积神经网络结构,通过引入基于Re LU的激活函数以避免梯度消失问题,提高收敛速度;通过在全连接层和输出层之间加入Dropout层解决过拟合问题,并设计了ADAM优化器的最小化交叉熵.以MNIST和HCL2000数据集为测试数据,测试分析了ADAM优化器的不同学习率对算法性能的影响,得出当学习率处于0.04~0.08时,算法具有较好的识别性能.与三种算法的实验比较结果表明：本文算法的平均识别率最高可达99.21%;对于HCL2000测试集,本文算法的平均识别率比基于支持向量机优化的极速学习机算法提高了3.98%.

关 键 词：卷积神经网络 激活函数 梯度消失  ADAM优化器  梯度饱和问题  

分 类 号：TP183]