文献类型：期刊文章

作　　者：张有健[1,2] 陈晨[1,2] 王再见[1,2]

ZHANG Youjian;CHEN Chen;WANG Zaijian(The School of Physics and Electronic Information,Anhui Normal University,Wuhu 241000,China;Anhui Provincial Engineering Laboratory on Information Fusion and Control for Intelligent Robot,Wuhu 241000,China)

机构地区：[1]安徽师范大学物理与电子信息学院,安徽芜湖241002 [2]安徽省智能机器人信息融合与控制工程实验室,安徽芜湖241002

出　　处：《无线电通信技术》

基　　金：粮食信息处理与控制教育部重点实验室开放基金(KFJJ-2018-205)。

年　　份：2021

卷　　号：47

期　　号：1

起止页码：115-120

语　　种：中文

收录情况：JST、普通刊

摘　　要：作为深度学习算法中重要的环节,激活函数可以为神经网络引入非线性因素。大量学者通过提出或改进激活函数的方法在一定程度上提高了算法的优化及泛化能力。研究了现阶段的激活函数,将激活函数大致分为S系激活函数和ReLU系激活函数,从不同激活函数的功能特点和存在的饱和性、零点对称和梯度消失及梯度爆炸的现象进行研究分析,针对Sigmoid,Tanh,ReL,P-ReLU,L-ReLU等典型激活函数分别应用在卷积神经网络(Covolutional Neural Network,CNN)和循环神经网络(Recurrent Neural Network,RNN)中测试。在CNN中使用MNIST,CIFAR-10经典数据集测试不同激活函数,并在RNN中使用大豆粮油数据集对大豆的产值进行预警,通过结果得到S系激活函数比ReLU系激活函数收敛更快,而ReLU系激活函数则在精度上优于S系激活函数,其中P-ReLU在大豆产值预测中达到93%的最高精度。

关 键 词：激活函数 卷积神经网络 循环神经网络 深度学习  

分 类 号：TP183]