文献类型：期刊文章

作　　者：王红霞[1] 周家奇[1] 辜承昊[1] 林泓[1]

WANG Hong-xia;ZHOU Jia-qi;GU Cheng-hao;LIN Hong(School of Computer Science and Technology,Wuhan University of Technology,Wuhan 430063,China)

机构地区：[1]武汉理工大学计算机科学与技术学院

出　　处：《浙江大学学报（工学版）》

年　　份：2019

卷　　号：53

期　　号：7

起止页码：1363-1373

语　　种：中文

收录情况：AJ、BDHX、BDHX2017、CAS、CSA、CSA-PROQEUST、CSCD、CSCD2019_2020、EI、IC、INSPEC、JST、PROQUEST、RCCSE、SCOPUS、ZGKJHX、ZMATH、核心刊

摘　　要：为了提高图像分类效果,针对卷积神经网络中常用激活函数relu在x负半轴的导数恒为零,导致训练过程中容易造成神经元"坏死"以及现有组合激活函数relu-softplus在模型收敛情况下学习率过小导致收敛速度慢的问题,提出新的组合激活函数relu-softsign.分析激活函数在训练过程中的作用,给出激活函数在设计时需要考虑的要点;根据这些要点,将relu和softsign函数于x轴正、负半轴进行分段组合,使其x负半轴导数不再恒为零;分别在MNIST、PI100、CIFAR-100和Caltech256数据集上,与单一的激活函数和relu-softplus组合激活函数进行对比实验.实验结果表明,使用relu-softsign组合激活函数提高了模型分类准确率,简单有效地缓解了神经元不可逆"坏死"现象;加快了模型的收敛速度,在复杂数据集上该组合函数的收敛性能更好.

关 键 词：图像分类 卷积神经网络 激活函数 relu  神经元坏死 组合激活函数  

分 类 号：TP391]