charley
a231253ec0
refactor(spider): 重构代理和请求重试逻辑并优化数据解析与数据库操作
|
5 днів тому | |
|---|---|---|
| .. | ||
| README.md | 5 днів тому | |
| YamlLoader.py | 11 місяців тому | |
| add_task.py | 11 місяців тому | |
| ags_history_spider.py | 2 місяців тому | |
| ags_new_daily.py | 5 днів тому | |
| ags_pop_spider.py | 1 тиждень тому | |
| application.yml | 9 місяців тому | |
| mysq_pool.py | 11 місяців тому | |
| mysql_pool.py | 5 днів тому | |
| requirements.txt | 2 місяців тому | |
| start_ags_spider.py | 11 місяців тому | |
README.md
1. ags每日更新爬虫任务
# 启动命令
python ags_new_daily.py
2. 历史任务爬虫
# 启动命令
python ags_history_spider.py
3. pop report爬虫任务
# 启动命令
python ags_pop_spider.py