文献类型：期刊文章

作　　者：许赟杰[1] 徐菲菲[1]

Xu Yunjie;Xu Feifei(College of Computer Science and Technology,Shanghai University of Electric Power,Shanghai,200090,China)

机构地区：[1]上海电力学院计算机科学与技术学院

出　　处：《数据采集与处理》

基　　金：国家自然科学基金(61272437,61305094)资助项目;上海市教育发展基金会和上海市教育委员会“晨光计划”(13CG58)资助项目

年　　份：2019

卷　　号：34

期　　号：3

起止页码：517-529

语　　种：中文

收录情况：AJ、BDHX、BDHX2017、CSA、CSA-PROQEUST、CSCD、CSCD_E2019_2020、IC、INSPEC、JST、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：近年来深度学习发展迅猛。由于深度学习的概念源于神经网络,而激活函数更是神经网络模型在学习理解非线性函数时不可或缺的部分,因此本文对常用的激活函数进行了研究比较。针对常用的激活函数在反向传播神经网络中具有收敛速度较慢、存在局部极小或梯度消失的问题,将Sigmoid系和ReLU系激活函数进行了对比,分别讨论了其性能,详细分析了几类常用激活函数的优点及不足,并通过研究Arctan函数在神经网络中应用的可能性,结合ReLU函数,提出了一种新型的激活函数ArcReLU。实验证明,该函数既能显著加快反向传播神经网络的训练速度,又能有效降低训练误差并避免梯度消失的问题。

关 键 词：神经网络 激活函数 反正切函数  ArcReLU  

分 类 号：TP18]