文献类型：期刊文章

作　　者：刘伟童[1,2] 刘培玉[1,2] 刘文锋[1,3] 李娜娜[1,2]

Liu Weitong;Liu Peiyu;Liu Wenfeng;Li Nana(School of Information Science & Engineering, Shandong Normal University, Jinan 250358, China;Shandong Provincial Key Laboratory for Distributed Computer Software Novel Technology, Jinan 250358, China;School of Computer Science, Heze University, Heze Shandong 274015, China)

机构地区：[1]山东师范大学信息科学与工程学院,济南250358 [2]山东省分布式计算机软件新技术重点实验室,济南250358 [3]菏泽学院计算机学院,山东菏泽274015

出　　处：《计算机应用研究》

基　　金：国家自然科学基金资助项目(61373148;61502151);山东省社科规划项目(17CHLJ18;17CHLJ33;17CHLJ30);山东省自然科学基金资助项目(ZR2014FL010);山东省教育厅基金资助项目(J15LN34)

年　　份：2019

卷　　号：36

期　　号：5

起止页码：1293-1296

语　　种：中文

收录情况：AJ、BDHX、BDHX2017、CSA-PROQEUST、CSCD、CSCD_E2019_2020、IC、INSPEC、JST、RCCSE、UPD、ZGKJHX、ZMATH、核心刊

摘　　要：如何快速高效地识别新词是自然语言处理中一项非常重要的任务。针对当前新词发现存在的问题,提出了一种从左至右逐字在未切词的微博语料中发现新词的算法。通过计算候选词语与其右邻接字的互信息来逐字扩展,得到候选新词;并通过计算邻接熵、删除候选新词的首尾停用词和过滤旧词语等方法来过滤候选新词,最终得到新词集。解决了因切词错误导致部分新词无法识别以及通过n-gram方法导致大量重复词串和垃圾词串识别为新词的问题。最后通过实验验证了该算法的有效性。

关 键 词：新词发现 互信息 邻接熵  微博语料  

分 类 号：TP301.6]