文献类型：期刊文章

作　　者：苏国新[1] 苏聿[2]

SU Guo-xin;SU Yu(Xiamen Ocean Vocational College,Xiamen,Fujian 361000,China;Tencent Technology (Shenzhen) Co.,Ltd. Shenzhen,Guangdong 400300,China)

机构地区：[1]厦门海洋职业技术学院,福建厦门361100 [2]腾讯科技(深圳)有限公司,广东深圳440300

出　　处：《宁德师范学院学报（自然科学版）》

年　　份：2018

卷　　号：30

期　　号：4

起止页码：364-368

语　　种：中文

收录情况：普通刊

摘　　要：网络数据形式的多样性与复杂程度都对数据获取造成了很大的影响,常用的网络爬虫已经无法适用于精准的数据查找、获取与分析,而Python语言简单并提供了多线程分布式爬虫框架,使网络爬虫的实现不再那么复杂.可配置网络爬虫通过Python 2.7和Mysql来实现一个多线程爬虫程序,可实现数据抓取并放入数据库功能,只要数量不多的代码就能实现所需要的网络爬虫,使用Python进行可配置爬虫设计成为快速有效的一种选择.

关 键 词：网络爬虫 数据抓取  PYTHON语言 MYSQL数据库

分 类 号：TP311.1]