该爬虫为单车地图的Python演示代码,具备以下功能:
- 支持ofo和摩拜
- 多线程爬取
- 自动去重
- 坐标系转换
- 按照ofo和摩拜输出对应的csv文件,存放在db/【日期】/【日期】-【时间】-【品牌】.csv文件内
- gzip压缩存储
- Python3
- Linux/Mac/Windows
运行前请联系微信bcdata获取token,内置的token为演示用,单车位置是真实的,ID是随机的。
请根据你的需要修改配置文件config.ini,请查看内置说明。
- 下载最新代码并解压
- 修改config.ini确保坐标和区域等参数正确
- 运行:
pip3 install -r requirements.txt
python3 crawler.py
- 下载最新代码并解压
- 修改config.ini确保坐标和区域等参数正确
- 运行run.bat
输出格式:CSV
每行格式:时间戳,单车编号,经度,纬度
常见问题,请见单车地图