登录    注册    忘记密码

期刊文章详细信息

基于改进的TF-IDF算法及共现词的主题词抽取算法    

A method of extracting subject words based on improved TF-IDF algorithm and co-occurrence words

  

文献类型:期刊文章

作  者:公冶小燕[1,2] 林培光[1,3] 任威隆[1] 张晨[1] 张春云[1]

机构地区:[1]山东财经大学计算机科学与技术学院,济南250014 [2]曲阜师范大学软件学院,曲阜273165 [3]山东大学计算机学院,济南250002

出  处:《南京大学学报(自然科学版)》

基  金:教育部人文社会科学研究项目(15YJAZH042);山东省本科高校教学改革研究重点项目(2015Z058)

年  份:2017

卷  号:53

期  号:6

起止页码:1072-1080

语  种:中文

收录情况:BDHX、BDHX2014、CAS、CSCD、CSCD2017_2018、JST、MR、RCCSE、ZGKJHX、ZMATH、核心刊

摘  要:信息主题的抽取是快速定位用户需求的基础任务,主题词抽取时主要存在三个问题:一是词语权重的计算,二是词语间关系的度量,三是数据维度灾难.在计算词权重时首先利用互信息确定共现词对,与词频、词性、词位置信息非线性组合,然后,根据词权重构建文档—共现词矩阵并建立潜在语义分析(Latent Semantic Analysis,LSA)模型.该方法借助LSA模型的奇异值分解(Singular Value Decomposition,SVD)将文档—共现词矩阵映射到潜在语义空间,不仅实现数据降维,而且获得低维度的文档相似矩阵.最后,对文档相似矩阵进行k-means聚类,在同类文档中选出词权重最大的前几对共现词,作为该类文章的主题词.对比基于TF-IDF(Term Frequency-Inverse Document Frequency)和共现词抽取主题词的实验,该算法的准确度分别提高了19%和10%.

关 键 词:共现词  互信息  语义分析(LSA)  奇异值分解(SVD)  TERM Frequency-Inverse  Document  Frequency(TF-IDF)  

分 类 号:TP311]

参考文献:

正在载入数据...

二级参考文献:

正在载入数据...

耦合文献:

正在载入数据...

引证文献:

正在载入数据...

二级引证文献:

正在载入数据...

同被引文献:

正在载入数据...

版权所有©重庆科技学院 重庆维普资讯有限公司 渝B2-20050021-7
 渝公网安备 50019002500408号 违法和不良信息举报中心