文献类型：期刊文章

作　　者：石晶[1] 胡明[1] 石鑫[2] 戴国忠[3]

机构地区：[1]长春工业大学计算机科学与工程学院,长春130012 [2]辽宁师范大学功能材料化学研究所,辽宁大连116029 [3]中国科学院软件研究所人机交互技术与智能信息处理实验室,北京100190

出　　处：《计算机学报》

基　　金：国家“九七三”重点基础研究发展规划项目基金(2002CB312103);国家自然科学基金(60503054);中国科学院软件研究所创新工程重大项目资助~~

年　　份：2008

卷　　号：31

期　　号：10

起止页码：1865-1873

语　　种：中文

收录情况：BDHX、BDHX2004、CSA、CSA-PROQEUST、CSCD、CSCD2011_2012、EI(收录号：20084611708316)、IC、INSPEC、JST、MR、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：文本分割在信息提取、文摘自动生成、语言建模、首语消解等诸多领域都有极为重要的应用.基于LDA模型的文本分割以LDA为语料库及文本建模,利用MCMC中的Gibbs抽样进行推理,间接计算模型参数,获取词汇的概率分布,使隐藏于片段内的不同主题与文本表面的字词建立联系.实验以汉语的整句作为基本块,尝试多种相似性度量手段及边界估计策略,其最佳结果表明二者的恰当结合可以使片段边界的识别错误率远远低于其它同类算法.

关 键 词：文本分割 LDA模型 相似性度量  边界识别  

分 类 号：TP301]