文献类型：期刊文章

作　　者：俞枫[1] 王引娜[2]

机构地区：[1]国泰君安证券股份有限公司 [2]华存数据信息技术有限公司

出　　处：《微型电脑应用》

基　　金：国家科技支撑计划课题"证券与金融产品交易综合服务示范"资助(编号:2012BAH13F03)

年　　份：2014

期　　号：1

起止页码：58-60

语　　种：中文

收录情况：ZGKJHX、普通刊

摘　　要：SimHash算法是目前主流的文本去重算法,但它对于特定行业的文本数据在主题方面的天然相似性特点并没有特殊的考虑。基于多年在金融证券行业信息管理和数据整合的经验,本文分析目前文本去重方法存在的问题,特别针对SimtHash算法在特定行业文本去重中的不足,创新地提出一种基于段落主题的文本去重方法(简称DRPKP算法),通过对去重准确率、覆盖率和去重时间3个指标进行对比测试,DRPKP算法比SimHash算法准确率可提高24.5%、覆盖率可提高16.34%,且去重时间更短。

关 键 词：文本去重  段落主题  SimHash  相似度 MAPREDUCE

分 类 号：TP311]