文献类型：期刊文章

作　　者：廉捷[1] 周欣[2] 曹伟[2] 刘云[1]

机构地区：[1]北京交通大学通信与信息系统北京市重点实验室,北京100044 [2]中国信息安全测评中心,北京100085

出　　处：《清华大学学报（自然科学版）》

基　　金：高等学校博士学科点专项科研基金资助项目(20100009110002);北京市自然科学基金资助项目(4112045)

年　　份：2011

卷　　号：51

期　　号：10

起止页码：1300-1305

语　　种：中文

收录情况：AJ、AMR、BDHX、BDHX2008、CAS、CSA、CSA-PROQEUST、CSCD、CSCD2011_2012、EI、IC、INSPEC、JST、MR、RCCSE、SCOPUS、ZGKJHX、ZMATH、核心刊

摘　　要：随着新浪微博用户群体的增长,新浪微博的数据获取是微博研究首先需要解决的问题。该文提出了基于新浪微博API与基于页面解析的新浪微博数据获取方案。程序逻辑控制API调用方法与频率,获取JSON对象并解析实现高效数据获取。同时将传统的网络爬虫结合网页解析技术结合API同时使用,解决了因API接口开放不完善,且因在返回结果数量上限与调用频率方面的限制,导致不能有效实现新浪微博数据的全面获取的问题。经过实验测试,通过2套方案的结合可以实现新浪微博数据高效全面的获取。

关 键 词：新浪微博  新浪API  数据检索 网页解析

分 类 号：TP391]