文献类型：期刊文章

作　　者：祝永志[1] 荆静[1]

ZHU Yong-zhi;JING Jing(School of Information Science and Engineering,Qufu Normal University,Rizhao Shandong 276826,China)

机构地区：[1]曲阜师范大学信息科学与工程学院

出　　处：《通信技术》

基　　金：山东省自然科学基金项目(No.ZR2013FL015);山东省研究生教育创新资助计划(No.SDYY12060)~~

年　　份：2019

卷　　号：52

期　　号：7

起止页码：1612-1619

语　　种：中文

收录情况：RCCSE、普通刊

摘　　要：Python作为一种解释性高级编程语言,已经深入大数据、人工智能等热门领域。Python在数据科学领域具有广泛的应用,比如Python爬虫、数据挖掘等等。将连续的字序列划分为具有一定规范的词序列的过程称为分词。在英文中,空格是单词间的分界符,然而中文比较复杂。一般来说对字、句子和段落的划分比较简单,但中文中词的划分没有明显的标志,所以对中文文本进行分词的难度较大。运用Python爬虫对网页数据进行抓取作为实验文本数据,使用python强大的分词库jieba对中文文本进行分词处理。对分词结果分别采用TF-IDF算法和TextRank算法进行提取关键词,实验结果明显优于基于词频的分词算法。最后采用词云的方式对关键词进行展现,使得分词结果一目了然。

关 键 词：PYTHON 文本分词  jieba  词云  数据可视化

分 类 号：TP391.1] TP312.1[计算机类]