文献类型：期刊文章

作　　者：张小川[1] 戴旭尧[2] 刘璐[1] 冯天硕[1]

ZHANG Xiaochuan;DAI Xuyao;LIU Lu;FENG Tianshuo(College of Liangjiang Artificial Intelligence,Chongqing University of Technology,Chongqing 401135,China;College of Computer Science and Engineering,Chongqing University of Technology,Chongqing 400054,China)

机构地区：[1]重庆理工大学两江人工智能学院,重庆401135 [2]重庆理工大学计算机科学与工程学院,重庆400054

出　　处：《计算机应用》

基　　金：国家自然科学基金资助项目(61702063);重庆市自然科学基金资助项目(cstc2019jcyj-msxmX0544)。

年　　份：2020

卷　　号：40

期　　号：12

起止页码：3485-3489

语　　种：中文

收录情况：AJ、BDHX、BDHX2017、CSCD、CSCD_E2019_2020、IC、JST、RCCSE、ZGKJHX、ZMATH、核心刊

摘　　要：针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题,提出了一种融合卷积神经网络和多头自注意力机制(CNN-MHA)的文本分类模型。首先,借助现有的基于Transformer的双向编码器表示(BERT)预训练语言模型以字符级向量形式来格式化表示句子层面的短文本;然后,为降低噪声,采用多头自注意力机制(MHA)学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量,再将隐藏层向量输入到卷积神经网络(CNN)中,从而生成文本分类特征向量;最后,为提升分类的优化效果,将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比,实验结果表明,改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%,验证了改进模型的有效性。

关 键 词：中文短文本  文本分类 多头自注意力机制  卷积神经网络 特征融合  

分 类 号：TP391.1]