文献类型：期刊文章

作　　者：翟凤文[1] 赫枫龄[1] 左万利[1]

机构地区：[1]吉林大学软件学院,吉林长春130012

出　　处：《小型微型计算机系统》

基　　金：国家自然科学基金项目(60373099)资助.

年　　份：2006

卷　　号：27

期　　号：9

起止页码：1766-1771

语　　种：中文

收录情况：AJ、BDHX、BDHX2004、CSA、CSA-PROQEUST、CSCD、CSCD2011_2012、IC、INSPEC、JST、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：提出了一种字典与统计相结合的中文分词方法,该方法首先利用基于字典的分词方法进行第一步处理,然后利用统计的方法处理第一步所产生的歧义问题和未登录词问题.本算法在基于字典的处理过程中,通过改进字典的存储结构,提高了字典匹配的速度;在基于统计的处理过程中,通过统计和规则相结合的方法提高了交集型歧义切分的准确率,并且一定条件下解决了语境中高频未登录词问题,实验结果表明,由本文算法实现的分词系统DS fenc i的分全率达99.52%,准确率达98.52%.

关 键 词：中文分词 基于字典的分词  基于统计的分词  交集型分词歧义  

分 类 号：TP391.12]