Reference - https://blog.csdn.net/hp910315/article/details/83926891
| crawler | function | demo |
|---|---|---|
| skcom | 群益證券聽牌套件 | -- |
| WechatSogou | 基于搜狗微信搜索的微信公众号爬虫接口 |  |
| DouBanSpider | 豆瓣读书的爬虫 http://sobook.lanbing510.info |  |
| zhihu_spider | 知乎爬虫 | ---- |
| bilibili-user | 🍥 Bilibili 用户爬虫 http://ursb.me/bilibili-report | ---- |
| SinaSpider | 新浪微博爬虫（Scrapy、Redis） | ---- |
| distribute_crawler | 使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现 | ---- |
| CnkiSpider | 中国知网爬虫 | ---- |
| LianJiaSpider | 链家爬虫 http://lanbing510.info/2016/03/15/Lianjia-Spider.html |  |
| scrapy_jingdong | 用scrapy写的京东爬虫 |  |
| QQ-Groups-Spider | QQ Groups Spider（QQ 群爬虫） http://kagent.applinzi.com/qqun |  |
| wooyun_public | 乌云公开漏洞、知识库爬虫和搜索 crawl and search for wooyun.org public bug(vulnerability) and drops http://www.wooyun.org |  |
| spider | python爬虫 全球网址URL滚动提取 http://www.simapple.com | ---- |
| findtrip | 机票爬虫（去哪儿和携程网）。flight tickets multiple webspider.(scrapy + selenium + phantomjs + mongodb) | ---- |
| 163spider | 爬取网易客户端内容的小爬虫 | ---- |
| QQSpider | QQ空间爬虫（日志、说说、个人信息） | ---- |
| baidu-music-spider | 百度mp3全站爬虫 | ---- |
| tbcrawler | 淘宝天猫 商品 爬虫 http://heregoo.com/top/1/ | ---- |
| stockholm | 一个股票数据（沪深）爬虫和选股策略测试框架 | ---- |
| BaiduyunSpider | 百度云网盘搜索引擎，包含爬虫 & 网站 http://www.githubs.cn | ---- |
| Spider | 社交数据爬虫 | ---- |
| proxy_pool | Python爬虫代理IP池(proxy pool) | ---- |
| music-163 | 爬取网易云音乐所有歌曲的评论数 | ---- |