文献类型：期刊文章

作　　者：毛勇华[1,2] 桂小林[2] 李前[1] 贺兴时[1]

机构地区：[1]西安工程大学理学院,西安710048 [2]西安交通大学电子与信息工程学院,西安710049

出　　处：《计算机应用研究》

基　　金：国家自然科学基金资助项目(61472316;61172090);国家科技重大专项基金资助项目(2012ZX03002001);高等教育博士点研究基金资助项目(20120201110013);陕西省自然科学基金资助项目(2014JM1006;2014KRM28-01);中央高校基本科研业务费专项资金资助项目(XKJC2014008);陕西省自然科学创新工程资助项目(2013SZS16-Z01/P01/K01)

年　　份：2016

卷　　号：33

期　　号：11

起止页码：3201-3205

语　　种：中文

收录情况：AJ、BDHX、BDHX2014、CSA-PROQEUST、CSCD、CSCD_E2015_2016、IC、INSPEC、JST、RCCSE、UPD、ZGKJHX、ZMATH、核心刊

摘　　要：针对深度学习应用技术进行了研究性综述。详细阐述了RBM(受限玻尔兹曼机)逐层预训练后再用BP(反向传播)微调的深度学习贪婪层训练方法,对比分析了BP算法中三种梯度下降的方式,建议在线学习系统采用随机梯度下降,静态离线学习系统采用随机小批量梯度下降;归纳总结了深度学习深层结构特征,并推荐了目前最受欢迎的五层深度网络结构设计方法。分析了前馈神经网络非线性激活函数的必要性及常用的激活函数优点,并推荐Re LU(rectified linear units)激活函数。最后简要概括了深度卷积神经网络、深度递归神经网络、长短期记忆网络等新型深度网络的特点及应用场景,归纳总结了当前深度学习可能的发展方向。

关 键 词：受限玻尔兹曼机  深度神经网络  梯度下降 验证集  监督学习  贪婪层训练方法  深度学习  深度学习层次结构  

分 类 号：TP181]