这是一个关于sina微博的爬虫，采用python开发，并修改了其sdk中的bug，采用mongodb存储，实现了多进程爬取任务。 功能是:获取新浪微博1000w用户的基本信息和每个爬取用户最近发表的50条微博,使用python编写，多进程爬取，将数据存储在了 mongodb中
-
Notifications
You must be signed in to change notification settings - Fork 283
gnemoug/sina_reptile
About
获取新浪微博1000w用户的基本信息和每个爬取用户最近发表的50条微博,使用python编写，多进程爬取，将数据存储在了mongodb中
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published