文献类型：期刊文章

作　　者：蒋昂波[1] 王维维[1]

机构地区：[1]浙江大学超大规模集成电路设计研究所,浙江杭州310027

出　　处：《传感器与微系统》

基　　金：国家"863"计划资助项目(2012AA041701);浙江省教育厅资助项目(Y201010035)

年　　份：2018

卷　　号：37

期　　号：2

起止页码：50-52

语　　种：中文

收录情况：CSCD、CSCD_E2017_2018、JST、RCCSE、ZGKJHX、普通刊

摘　　要：门控循环单元(GRU)是一种改进型的长短期记忆模型(LSTM)结构,有效改善了LSTM训练耗时的缺点。在GRU的基础上,对激活函数sigmoid,tanh,ReLU等性能进行了比较和研究,详细分析了几类激活函数的优缺点,提出了一种新的激活函数双曲正切线性单元(TLU)。实验证明:新的激活函数既能显著地加快深度神经网络的训练速度,又有效降低训练误差。

关 键 词：门控循环单元  神经网络 激活函数 双曲正切线性单元  

分 类 号：TP301.6] TN911[计算机类]