Skip to content

littleVege/pixiv_crawl

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

5 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

pixiv_crawl

基于Scrapy 的 PIXIV爬虫,功能简单(简陋),实现了简单的页面信息抽取,JSON API信息抽取,IMAGE存储等功能。 基于Scrapy的配置文件进行灵活配置(包含某些福利选项),并通过Cookie Middleware实现模拟登录等功能。

用户配置信息:

  • IMAGES_STORE 配置图片存储的地址
  • PIXIV_USER_NAME 配置你的PIXIV用户名
  • PIXIV_USER_PASS 配置你的PIXIV密码
  • START_DATE 抓取的时间
  • SELECT_MODE_IDX 热榜模式选择

About

基于Scrapy的Pixiv热榜爬虫

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages