文献类型：期刊文章

作　　者：杨兴锐[1] 赵寿为[1] 张如学[2] 陶叶辉[1] 杨兴俊[3]

YANG Xingrui;ZHAO Shouwei;ZHANG Ruxue;TAO Yehui;YANG Xingjun(School of Mathematics,Physics and Statistics,Shanghai University of Engineering Science,Shanghai 201620,China;College of Mechanical and Vehicle Engineering,Chongqing University,Chongqing 400044,China;School of Management Studies,Shanghai University of Engineering Science,Shanghai 201620,China)

机构地区：[1]上海工程技术大学数理与统计学院,上海201620 [2]重庆大学机械与运载工程学院,重庆400044 [3]上海工程技术大学管理学院,上海201620

出　　处：《传感器与微系统》

基　　金：上海工程技术大学科研创新资助项目(20KY2111)。

年　　份：2023

卷　　号：42

期　　号：10

起止页码：160-164

语　　种：中文

收录情况：BDHX、BDHX2020、CSCD、CSCD_E2023_2024、JST、RCCSE、ZGKJHX、核心刊

摘　　要：在文本的多分类任务中,基于预训练模型的词向量不能很好地学习到文本多样化信息,降低了文本分类任务的准确率。针对该问题,提出了一种基于残差注意力BERT词向量的BiLSTM-Attention文本分类模型。首先,将输入的文本转化为向量特征,利用残差注意力BERT模型提取更加丰富的语义特征词向量信息。接着,利用BiLSTM模型提取特征的上下文联系信息,将BERT模型“[CLS]”对应的输出与BiLSTM模型的输出进行拼接,对特征信息进行深度融合,从而实现特征有效利用。在THUNews数据集上进行性能评估,实验结果表明:所提模型在准确率和F1值指标上均优于现有深度学习模型的结果,具有更优的分类效果。

关 键 词：预训练模型  词向量  注意力机制  双向长短期记忆网络  残差网络  

分 类 号：TP391]