文献类型：期刊文章

作　　者：陈之彦[1] 李晓杰[1] 朱淑华[2] 付丹龙[2] 邢诒海[3]

机构地区：[1]暨南大学国际学院,广州510632 [2]暨南大学信息科学技术学院,广州510632 [3]广州市经济贸易信息中心,广州510032

出　　处：《计算机科学》

基　　金：国家自然科学基金(61272415;61272067);国家863计划重大项目(2013AA01A212);广东省自然基金团队研究项目(S2012030006242);广州市重点实验室开放基金(2012-224)资助

年　　份：2015

卷　　号：42

期　　号：B11

起止页码：49-54

语　　种：中文

收录情况：BDHX、BDHX2014、CSA、CSCD、CSCD_E2015_2016、IC、JST、RCCSE、UPD、ZGKJHX、核心刊

摘　　要：针对当前自然语言处理中中文分词基于词典的机械分词方法,正序词典不能作为逆向最大匹配分词词典以及反序词典维护困难的问题,提出一种新的词典构造方法并设计了相应的双向最大匹配算法,同时在算法中加入了互信息歧义处理模块来处理分词中出现的交集型歧义。该算法可以在分词的过程中显著提高分词的精确度,适用于对词语切分精度要求较高的中文语言处理系统。

关 键 词：分词词典 双向最大匹配法  基于Hash的单字索引  互信息歧义处理  

分 类 号：TP391.1]