文献类型：期刊文章

作　　者：罗娇敏[1] 耿茜[1]

机构地区：[1]南京航空航天大学金城学院信息工程系,江苏南京211156

出　　处：《软件》

基　　金：湖北省自然科学基金资助项目"面向数字取证的数据约简技术研究"(2015CFB764)

年　　份：2017

卷　　号：38

期　　号：10

起止页码：83-87

语　　种：中文

收录情况：CSA、IC、JST、普通刊

摘　　要：随着互联网技术的飞速发展,互联网信息和资源呈指数级爆炸式增长。如何快速有效的从海量的网页信息中获取有价值的信息,用于搜索引擎和科学研究,是一个关键且重要的基础工程。分布式网络爬虫较集中式网络爬虫具有明显的速度与规模优势,能够很好的适应数据的大规模增长,提供高效、快速、稳定的Web数据爬取。本文采用Redis设计实现了一个主从式分布式网络爬虫系统,用于快速、稳定、可拓展地爬取海量的Web资源。系统实现了分布式爬虫的核心框架,可以完成绝大多数Web内容的爬取,并且节点易于拓展,爬取内容可以定制,主从结构使得系统稳定且便于维护。

关 键 词：REDIS 分布式 主从式 爬虫系统

分 类 号：TP393.07]