文献类型：期刊文章

作　　者：张焕[1] 张庆[1] 于纪言[1]

ZHANG Huan;ZHANG Qing;YU Jiyan(National Defense Key Discipline Laboratory of Intelligent Ammunition Technology,School of Mechanical Engineering,Nanjing University of Science and Technology,Nanjing 210094 China)

机构地区：[1]南京理工大学机械工程学院,智能弹药技术国防重点学科实验室,江苏南京210094

出　　处：《西华大学学报（自然科学版）》

基　　金：国防科学技术预先研究基金项目(KO01071)。

年　　份：2021

卷　　号：40

期　　号：4

起止页码：1-10

语　　种：中文

收录情况：AJ、CAS、IC、JST、ZGKJHX、普通刊

摘　　要：为深入研究激活函数的作用机制,探讨优良激活函数应具备的性质,以提高卷积神经网络模型的泛化能力,文章综述了激活函数的发展,分析得到优良激活函数应具备的性质。激活函数大体可分为“S型”激活函数、“ReLU型”激活函数、组合型激活函数、其他类型激活函数。在深度学习发展初期,“S型”激活函数得到了广泛应用。随着网络模型的加深,“S型”激活函数出现了“梯度消失”问题。ReLU激活函数的出现缓解了这一问题,但ReLU负半轴“置0”则引入了“神经元坏死”的问题。随后出现的改进激活函数大多基于ReLU负半轴进行改动,以缓减“神经元坏死”。文章最后以多层感知机为例,推导了优良激活函数在前向、反向传播中的作用,并得出其应该具备的性质。

关 键 词：深度学习  卷积神经网络 激活函数 反向传播  ReLU  

分 类 号：TP183] TP391.4]