Skip to content

RAD 0.3

Compare
Choose a tag to compare
@zema1 zema1 released this 06 Nov 09:38
· 3 commits to master since this release
61aa53f
  • 优化部分页面的爬取效果;
  • 优化退出逻辑,防止ctrl-c退出时等待过久。
  • 修复user-agent配置不生效的问题;
  • 修复max-concurrent配置不生效的问题;
  • 新增自定义配置文件路径功能;
  • 新增自定义chrome执行路径功能;
  • 新增加载等待时间参数供配置;
  • 新增父目录发现功能,即使没有指向父目录的链接也会自动尝试判断父目录是否可访问。
  • 浏览器爬虫不再依赖中间人代理,不再监听本地端口