文献类型：期刊文章

作　　者：石隽锋[1] 李济洪[1] 王瑞波[1]

SHI Junfeng;LI Jihong;WANG Ruibo(School of Modern Educational Technology,Shanxi University,Taiyuan,Shanxi 030006,China)

机构地区：[1]山西大学现代教育技术学院,山西太原030006

出　　处：《中文信息学报》

基　　金：国家自然科学基金(61806115)。

年　　份：2021

卷　　号：35

期　　号：4

起止页码：16-22

语　　种：中文

收录情况：BDHX、BDHX2020、CSCD、CSCD2021_2022、JST、RCCSE、ZGKJHX、核心刊

摘　　要：GloVe模型是一种广泛使用的词向量表示学习的模型。许多研究发现,学习得到的词向量维数越大,性能越好;但维数越大,模型学习耗时越长。事实上,GloVe模型中,耗时主要表现在两方面,一是统计词对共现矩阵,二是训练学习词向量表示。该文在利用GloVe模型统计语料中词对共现时,基于对称或非对称窗口得到两个共现矩阵,然后分别学习得到较低维度的词向量表示,再拼接得到较高维度的词向量表示。从计算的复杂度来看,该文方法并不会产生多的计算量,但显然统计共现矩阵和训练学习可通过并行方式实现,能够显著提高计算效率。在使用大规模语料的实验中,以对称和非对称窗口分别统计得到共现矩阵,分别学习得到300维词向量表示,再使用拼接方式得到600维词向量表示。与GloVe模型对称和非对称的600维的词向量相比,在中文和英文的词语推断任务上,显著地提高了预测的准确率,在词语聚类任务上,有较好的聚类效果,验证了该文方法的有效性。

关 键 词：GloVe模型  拼接的词向量  词语推断任务  

分 类 号：TP391]