文献类型：期刊文章

作　　者：黄昌宁[1] 赵海[2]

机构地区：[1]微软亚洲研究院,北京100080 [2]香港城市大学

出　　处：《中文信息学报》

年　　份：2007

卷　　号：21

期　　号：3

起止页码：8-19

语　　种：中文

收录情况：BDHX、BDHX2004、CSCD、CSCD2011_2012、JST、RCCSE、ZGKJHX、核心刊

摘　　要：过去的十年间,尤其是2003年国际中文分词评测活动Bakeoff开展以来,中文自动分词技术有了可喜的进步。其主要表现为:(1)通过“分词规范+词表+分词语料库”的方法,使中文词语在真实文本中得到了可计算的定义,这是实现计算机自动分词和可比评测的基础;(2)实践证明,基于手工规则的分词系统在评测中不敌基于统计学习的分词系统;(3)在Bakeoff数据上的评估结果表明,未登录词造成的分词精度失落至少比分词歧义大5倍以上;(4)实验证明,能够大幅度提高未登录词识别性能的字标注统计学习方法优于以往的基于词(或词典)的方法,并使自动分词系统的精度达到了新高。

关 键 词：计算机应用 中文信息处理 中文分词 词语定义  未登录词识别 字标注分词方法  

分 类 号：TP391]