文献类型：期刊文章

作　　者：陈钒[1,2] 冯志勇[1] 李晓红[1] 赵庚[3]

机构地区：[1]天津大学计算机科学与软件学院,天津300072 [2]天津财经大学理工学院信息科学与技术系,天津300200 [3]河北工业大学,天津300130

出　　处：《计算机工程与应用》

基　　金：国家自然科学基金重大科技研究计划面上项目

年　　份：2011

卷　　号：47

期　　号：11

起止页码：15-18

语　　种：中文

收录情况：AJ、BDHX、BDHX2008、CSA、CSA-PROQEUST、CSCD、CSCD2011_2012、IC、INSPEC、JST、RCCSE、ZGKJHX、核心刊

摘　　要：通过对Web中大规模文档研究发现,文档中的自然段落具有特殊的语言节奏。提出了一种基于语言节奏的文档重复性检测方法,通过构建文档中自然段落的语言节奏码并进行重复性分析,实现了基于段粒度的文档重复性检测。实验表明,此方法具有良好的召回率和准确率,可以将内容完全重复的文档、部分段落内容重复的文档及打乱段落顺序重组文档的重复性均检测出来,检测精度高且占用系统资源少。

关 键 词：文档重复性检测  语言节奏 标点

分 类 号：TP18]