文献类型：期刊文章

作　　者：尹陈[1] 吴敏[1]

YIN Chen;WU Min(School of Software Engineering,University of Science and Technology of China,Hefei 230051,China)

机构地区：[1]中国科学技术大学软件学院,合肥230051

出　　处：《计算机系统应用》

年　　份：2018

卷　　号：27

期　　号：10

起止页码：33-38

语　　种：中文

收录情况：CSA、IC、ZGKJHX、普通刊

摘　　要：N-gram模型是自然语言处理中最常用的语言模型之一,广泛应用于语音识别、手写识别、拼写纠错、机器翻译和搜索引擎等众多任务.但是N-gram模型在训练和应用时经常会出现零概率问题,导致无法获得良好的语言模型,因此出现了拉普拉斯平滑、卡茨回退和Kneser-Ney平滑等平滑方法.在介绍了这些平滑方法的基本原理后,使用困惑度作为度量标准去比较了基于这几种平滑方法所训练出的语言模型.

关 键 词：N-GRAM模型 拉普拉斯平滑  卡茨回退  Kneser-Ney平滑  困惑度  

分 类 号：TP391.1]