文献类型：期刊文章

作　　者：黄毅[1] 段修生[1] 孙世宇[1] 郎巍[2]

机构地区：[1]军械工程学院电子与光学工程系 [2]77156部队

出　　处：《计算机测量与控制》

年　　份：2017

卷　　号：25

期　　号：2

起止页码：126-129

语　　种：中文

收录情况：CSA、CSA-PROQEUST、INSPEC、JST、ZGKJHX、普通刊

摘　　要：针对深度神经网络训练过程中残差随着其传播深度越来越小而使底层网络无法得到有效训练的问题,通过分析传统sigmoid激活函数应用于深度神经网络的局限性,提出双参数sigmoid激活函数;个参数保证激活函数的输入集中坐标原点两侧,避免了激活函数进入饱和区,一个参数抑制残差衰减的速度,双参数结合有效地增强了深度神经网络的训练;用DBN对MNIST数据集进行数字分类实验,实验表明双参数sigmoid激活函数能够直接应用于无预训练深度神经网络,而且提高了sigmoid激活函数在有预训练深度神经网络中的训练效果。

关 键 词：深度神经网络  残差衰减  sigmoid激活函数  

分 类 号：TP183]