文献类型：期刊文章

作　　者：余本国[1]

YU Benguo(College of Medical Information,Hainan Medical University,Haikou 571199,China)

机构地区：[1]海南医学院医学信息学院,海南海口571199

出　　处：《太原学院学报（自然科学版）》

基　　金：中北大学教育改革研究课题(2019068);海南医学院科研启动支持项目。

年　　份：2020

卷　　号：38

期　　号：1

起止页码：47-50

语　　种：中文

收录情况：普通刊

摘　　要：随着大数据时代的来临,人们对研究资源的需求越来越多,而爬虫技术是一种很好的自动获取网络海量数据的重要手段。通过对网络爬虫访问网页内容反触机制的分析和研究,提出了应用python技术对浏览器发送Headers请求信息的伪装,并将爬取的网页内容保存到指定的位置。通过Fiddler测试验证发现,发出的用户请求的Headers信息与浏览器访问的Headers信息基本一致,达到了对网站内容爬取的目的。

关 键 词：PYTHON 网络爬虫技术  源代码

分 类 号：TP393]