文献类型：期刊文章

作　　者：杨兴锐[1] 赵寿为[1] 张如学[2] 杨兴俊[3] 陶叶辉[1]

YANG Xingrui;ZHAO Shouwei;ZHANG Ruxue;YANG Xingjun;TAO Yehui(School of Mathematics,Physics and Statistics,Shanghai University of Engineering Science,Shanghai 201620,China;College of Mechanical and Vehicle Engineering,Chongqing University,Chongqing 400044,China;School of Management,Shanghai University of Engineering Science,Shanghai 201620,China)

机构地区：[1]上海工程技术大学数理与统计学院,上海201620 [2]重庆大学机械与运载工程学院,重庆400044 [3]上海工程技术大学管理学院,上海201620

出　　处：《计算机工程与应用》

年　　份：2022

卷　　号：58

期　　号：3

起止页码：172-180

语　　种：中文

收录情况：AJ、BDHX、BDHX2020、CSCD、CSCD_E2021_2022、IC、JST、RCCSE、ZGKJHX、核心刊

摘　　要：双向长短期记忆网络(BiLSTM)和卷积神经网络(CNN)很难在文本的多分类任务中提取到足够的文本信息。提出了一种基于自注意力机制(self_attention)和残差网络(ResNet)的BiLSTM_CNN复合模型。通过自注意力赋予卷积运算后信息的权重,接着将池化后的特征信息层归一化并接入残差网络,让模型学习到残差信息,从而进一步提高模型的分类性能。在模型的运算过程中,使用了更加光滑的Mish非线性激活函数代替Relu。通过与深度学习模型对比,所提出的方法在准确率以及F1值评价指标上均优于现有模型,为文本分类问题提供了新的研究思路。

关 键 词：自注意力机制  双向长短期记忆网络  残差网络  卷积神经网络  层归一化  

分 类 号：TP391]