期刊文章详细信息
大数据环境下基于python的网络爬虫技术
文献类型：期刊文章
机构地区：[1]重庆工商大学派斯学院软件工程学院
年 份：2017
卷 号：25
期 号：9
起止页码：44-45
语 种：中文
收录情况：普通刊
摘 要：随着互联网的发展壮大,网络数据呈爆炸式增长,传统搜索引擎已经不能满足人们对所需求数据的获取的需求,作为搜索引擎的抓取数据的重要组成部分,网络爬虫的作用十分重要,本文首先介绍了在大数据环境下网络爬虫的重要性,接着介绍了网络爬虫的概念,工作原理,工作流程,网页爬行策略,python在编写爬虫领域的优势,最后设计了一个通用网络爬虫的框架,介绍了框架中模块的相互协作完成数据抓取的过程。
关 键 词：网络爬虫 PYTHON 数据采集 大数据
分 类 号：TP391.3]
参考文献：
正在载入数据...
二级参考文献：
正在载入数据...
耦合文献：
正在载入数据...
引证文献：
正在载入数据...
二级引证文献：
正在载入数据...
同被引文献：
正在载入数据...
