npm install
直接进入scrapy 运行guwenwang.js 吧
其实nodeJs 爬虫爬取静态网页原理很好理解 就是通过cheerio 获取到页面body ，然后用类似于jquery的方式抓取数据。
这个项目唯一的难点就是 对一个二级目录进行遍历， 得到三级目录， 二级目录和三级目录都保存的是url ，要做两个目录做循环，通过异步并发获取url 页面数据，保存到本地
-
Notifications
You must be signed in to change notification settings - Fork 0
yangfan0095/node-spider
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
node JS 爬虫大杂烩
Topics
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published