期刊文章详细信息
基于改进的TF-IDF算法及共现词的主题词抽取算法
A method of extracting subject words based on improved TF-IDF algorithm and co-occurrence words
文献类型:期刊文章
机构地区:[1]山东财经大学计算机科学与技术学院,济南250014 [2]曲阜师范大学软件学院,曲阜273165 [3]山东大学计算机学院,济南250002
基 金:教育部人文社会科学研究项目(15YJAZH042);山东省本科高校教学改革研究重点项目(2015Z058)
年 份:2017
卷 号:53
期 号:6
起止页码:1072-1080
语 种:中文
收录情况:BDHX、BDHX2014、CAS、CSCD、CSCD2017_2018、JST、MR、RCCSE、ZGKJHX、ZMATH、核心刊
摘 要:信息主题的抽取是快速定位用户需求的基础任务,主题词抽取时主要存在三个问题:一是词语权重的计算,二是词语间关系的度量,三是数据维度灾难.在计算词权重时首先利用互信息确定共现词对,与词频、词性、词位置信息非线性组合,然后,根据词权重构建文档—共现词矩阵并建立潜在语义分析(Latent Semantic Analysis,LSA)模型.该方法借助LSA模型的奇异值分解(Singular Value Decomposition,SVD)将文档—共现词矩阵映射到潜在语义空间,不仅实现数据降维,而且获得低维度的文档相似矩阵.最后,对文档相似矩阵进行k-means聚类,在同类文档中选出词权重最大的前几对共现词,作为该类文章的主题词.对比基于TF-IDF(Term Frequency-Inverse Document Frequency)和共现词抽取主题词的实验,该算法的准确度分别提高了19%和10%.
关 键 词:共现词 互信息 语义分析(LSA) 奇异值分解(SVD) TERM Frequency-Inverse Document Frequency(TF-IDF)
分 类 号:TP311]
参考文献:
正在载入数据...
二级参考文献:
正在载入数据...
耦合文献:
正在载入数据...
引证文献:
正在载入数据...
二级引证文献:
正在载入数据...
同被引文献:
正在载入数据...