文献类型：期刊文章

作　　者：王亚珅[1] 黄河燕[1] 冯冲[1] 周强[2]

WANG Ya-Shen;HUANG He-Yan;FENG Chong;ZHOU Qiang(Beijing Engineering Research Center of High Volume Lan-guage Information Processing and Cloud Computing Applica-tions,School of Computer,Beijing Institute of Technology,Bei-jing 100081;Baidu Inc.,Beijing 100085)

机构地区：[1]北京理工大学计算机学院北京市海量语言信息处理与云计算应用工程技术研究中心,北京100081 [2]百度在线网络技术(北京)有限公司,北京100085

出　　处：《自动化学报》

基　　金：国家自然科学基金重点项目(61751201)资助。

年　　份：2020

卷　　号：46

期　　号：7

起止页码：1390-1400

语　　种：中文

收录情况：BDHX、BDHX2017、CSCD、CSCD2019_2020、EI、IC、JST、MR、PUBMED、RCCSE、SCOPUS、ZGKJHX、ZMATH、核心刊

摘　　要：大多数句嵌模型仅利用文本字面信息来完成句子向量化表示,导致这些模型对普遍存在的一词多义现象缺乏甄别能力.为了增强句子的语义表达能力,本文使用短文本概念化算法为语料库中的每个句子赋予相关概念,然后学习概念化句嵌入(Conceptual sentence embedding,CSE).因此,由于引入了概念信息,这种语义表示比目前广泛使用的句嵌入模型更具表达能力.此外,我们通过引入注意力机制进一步扩展概念化句嵌入模型,使模型能够有区别地选择上下文语境中的相关词语以实现更高效的预测.本文通过文本分类和信息检索等语言理解任务来验证所提出的概念化句嵌入模型的性能,实验结果证明本文所提出的模型性能优于其他句嵌入模型.

关 键 词：句嵌入  短文本概念化  注意力机制  词嵌入  语义表达

分 类 号：TP391.1]