文献类型：期刊文章

作　　者：贾旭东[1] 王莉[1]

JIA Xudong;WANG Li(College of Data Science,Taiyuan University of Technology,Taiyuan 030024,China)

机构地区：[1]太原理工大学大数据学院,太原030024

出　　处：《清华大学学报（自然科学版）》

基　　金：国家自然科学基金资助项目(61872260);山西省重点研发计划国际合作项目(201703D421013);山西能源学院院级科研基金项目(ZY-2017002)。

年　　份：2020

卷　　号：60

期　　号：5

起止页码：415-421

语　　种：中文

收录情况：BDHX、BDHX2017、CAS、CSCD、CSCD2019_2020、EI、IC、JST、MR、PROQUEST、RCCSE、SCOPUS、ZGKJHX、ZMATH、核心刊

摘　　要：文本序列中各单词的重要程度及其之间的依赖关系对于识别文本类别有重要影响。胶囊网络不能选择性关注文本中重要单词,并且由于不能编码远距离依赖关系,在识别具有语义转折的文本时有很大局限性。为解决上述问题,该文提出了一种基于多头注意力的胶囊网络模型,该模型能编码单词间的依赖关系、捕获文本中重要单词,并对文本语义编码,从而有效提高了文本分类任务的效果。结果表明:该文模型在文本分类任务中效果明显优于卷积神经网络和胶囊网络,在多标签文本分类任务上效果更优,能更好地从注意力中获益。

关 键 词：胶囊网络  多头注意力  自然语言处理 文本分类

分 类 号：TP391]