文献类型：期刊文章

作　　者：夏正新[1,3] 苏翀[2,3]

XIA Zhengxin;SU Chong(School of Continuing Education,Nanjing University of Posts and Telecommunications,Nanjing 210042,China;School of Management,Nanjing University of Posts and Telecommunications,Nanjing 210003,China;Engineering Research Center of Medicine Information,Nanjing University of Posts and Telecommunications,Nanjing 210042,China)

机构地区：[1]南京邮电大学继续教育学院,江苏南京210042 [2]南京邮电大学管理学院,江苏南京210003 [3]南京邮电大学医疗信息工程研究中心,江苏南京210042

出　　处：《南京邮电大学学报（自然科学版）》

年　　份：2022

卷　　号：42

期　　号：5

起止页码：83-90

语　　种：中文

收录情况：BDHX、BDHX2020、IC、JST、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：激活函数通过自身的非线性机制去激活神经网络,使其能够有效地运行,并保持较高的性能。选择好的激活函数可以对提高网络性能产生较大的影响。ReLU激活函数因其简单有效而成为深度神经网络中最常见的选择,然而,当输入为负时,在反向传播过程中,ReLU梯度将为零,进而导致发生神经元坏死的问题。为此,一种基于软性的门控机制的激活函数Swish和Mish相继提出,该类激活函数主要利用激活函数(如:Sigmoid或Tanh函数)来控制门的开或关,进而实现了神经网络的非线性化需求,并在许多具有挑战性的网络模型和数据集上取得了更好的效果。鉴于上述门控机制运行时,激活函数饱和区的范围相对固定,不能更好地拟合各种网络模型和数据分布。文中提出了一种多参数学习的门控激活函数(A Multi-parameterized Gated Action Function,Mpish),该函数使用多个参数动态地调整激活函数的饱和区范围,从而适应不同的网络模型和数据分布。实验结果表明:该函数能有效提高神经网络训练结果的准确性和稳定性,且可以较好地工作在更深层次的网络模型中。

关 键 词：激活函数 门控机制  深度神经网络  

分 类 号：TP39]