文献类型：期刊文章

作　　者：罗春[1,2]

LUO Chun(University of Electronic Science and Technology of China,Chengdu 610054,China;Sichuan Tianyi College,Mianzhu 618200,China)

机构地区：[1]电子科技大学,四川成都610054 [2]四川天一学院,四川绵竹618200

出　　处：《现代电子技术》

基　　金：四川省自然科学基金项目(19ZDYF0028);四川省教育厅人文社科重点项目(18SA0090);四川省教育厅自然科学一般项目(17ZB0218)。

年　　份：2021

卷　　号：44

期　　号：16

起止页码：115-119

语　　种：中文

收录情况：IC、RCCSE、ZGKJHX、普通刊

摘　　要：受到网络中的冗余数据干扰,采集系统采集到的信息混杂,导致数据采集速度过慢,文中针对该问题,设计一种基于网络爬虫技术的大数据采集系统。硬件部分设计了多通道数据采集板,使用双级联锁相环结构控制采集板硬件,设计硬件连接电路,并安置硬件连接线路。软件部分利用网络爬虫技术设定数据采集规则,提取融合采集数据并筛选,根据不同采集数据信息间的二元互信息,定义信息数据相关量,对采集到的大数据信息进行排序,最终完成对大数据采集系统的设计。文中选用已知参数的PC机,搭建实验环境,并采用两种传统大数据采集系统与文中设计的大数据采集系统进行实验,结果表明,文中设计的大数据采集系统数据采集速度最快。

关 键 词：大数据采集  网络爬虫技术  数据采集板 硬件连接 软件设计 仿真实验  

分 类 号：TN919-34] TU83]