文献类型：期刊文章

作　　者：施峰[1] 周坤晓[2]

SHI Feng;ZHOU Kunxiao(School of Computer Science and Technology,Dongguan University of Technology,Dongguan 523808,China;School of Cyberspace Security,Dongguan University of Technology,Dongguan 523808,China)

机构地区：[1]东莞理工学院计算机科学与技术学院,广东东莞523808 [2]东莞理工学院网络空间安全学院,广东东莞523808

出　　处：《东莞理工学院学报》

基　　金：广东省普通高校重点领域专项(2021ZDZX3007);国家自然科学基金面上项目(61872081)。

年　　份：2022

卷　　号：29

期　　号：5

起止页码：47-52

语　　种：中文

收录情况：普通刊

摘　　要：由于现有的循环神经网络存在着梯度消失与梯度爆炸的问题,会影响模型精度。为提升机器阅读理解模型的效率,采用了一种新型正弦激活函数Siren函数,结合注意力机制对循环神经网络进行改进。使用循环神经网络对文本数据进行特征提取,同时引入注意力机制,可以进一步抓住文本中的重点信息。经由Siren激活函数层对神经网络的输出进行处理后,传递至Softmax层与全连接层返回问题所需答案。采用该网络所实现的机器阅读理解模型,相较于原有的模型在精准度上有大幅度提升。实验数据采用SQuAD英文问答数据集,在对比实验中,相较于仅使用注意力机制的RNN版DrQA模型,EM指数提升了6.1,F1指数提升了5.9,同时Siren函数也在与其他激活函数的对比实验中均取得了较好的效果。

关 键 词：循环神经网络 机器阅读理解  Siren激活函数  注意力机制  

分 类 号：TP391.6]