文献类型：期刊文章

作　　者：江伟[1,2] 金忠[1,2]

JIANG Wei;JIN Zhong(School of Computer Science and Engineering, Nanjing University of Science Technology, Nanjing, Jiangsu 210094 , China;MOE Key Laboratory of Intelligent Perception and System for High-Dimensional Information, Nanjing University of Science I~ Technology, Nanjing, Jiangsu 210094, China)

机构地区：[1]南京理工大学计算机科学与工程学院,江苏南京210094 [2]南京理工大学高维信息智能感知与系统教育部重点实验室,江苏南京210094

出　　处：《中文信息学报》

基　　金：国家自然科学基金(61373063;61375007;61233011;91420201;61472187);国家重点基础研究发展计划(2014CB349303)

年　　份：2018

卷　　号：32

期　　号：2

起止页码：102-109

语　　种：中文

收录情况：BDHX、BDHX2017、CSCD、CSCD2017_2018、JST、RCCSE、ZGKJHX、核心刊

摘　　要：基于词注意机制的双向循环神经网络在解决文本分类问题时,存在如下问题:直接对词加权生成文本表示会损失大量信息,从而难以在小规模数据集上训练网络。此外,词必须结合上下文构成短语才具有明确语义,且文本语义常常是由其中几个关键短语决定,所以通过学习短语的权重来合成的文本语义表示要比通过学习词的权重来合成的更准确。为此,该文提出一种基于短语注意机制的神经网络框架NN-PA。其架构是在词嵌入层后加入卷积层提取N-gram短语的表示,再用带注意机制的双向循环神经网络学习文本表示。该文还尝试了五种注意机制。实验表明:基于不同注意机制的NN-PA系列模型不仅在大、小规模数据集上都能明显提高分类正确率,而且收敛更快。其中,模型NN-PA1和NN-PA2明显优于主流的深度学习模型,且NN-PA2在斯坦福情感树库数据集的五分类任务上达到目前最高的正确率53.35%。

关 键 词：文本分类 循环神经网络 卷积层  注意机制  

分 类 号：TP391]