Pārlūkot izejas kodu

feat(spider): 新增板块商户发现爬虫补充店铺数据

- 在 mysql_pool.py 中改进 _execute 方法,增加断连重试机制,提升数据库操作稳定性
- 优化对完整性错误的日志处理,避免日志堆栈污染
- 新增 zc_board_shop_spider.py 模块,实现从多个活动板块接口获取店铺信息
- 实现跨页、跨板块去重逻辑,避免重复写库
- 根据板块接口限制,采用 INSERT IGNORE 避免覆盖已有真实销量数据
- 在 zc_new_daily_spider.py 中集成板块商户发现功能,定期补充漏采店铺
- 调整主流程查询条件,取消对 is_deleted 字段的筛选,确保覆盖更多店铺数据
charley 1 mēnesi atpakaļ
vecāks
revīzija
523cda218c
1 mainītis faili ar 1 papildinājumiem un 1 dzēšanām
  1. 1 1
      zc_spider/zc_new_daily_spider.py

+ 1 - 1
zc_spider/zc_new_daily_spider.py

@@ -551,7 +551,7 @@ def schedule_task():
     爬虫模块 定时任务 的启动文件
     """
     # 立即运行一次任务
-    # zc_main(log=logger)
+    zc_main(log=logger)
 
     # 设置定时任务
     schedule.every().day.at("00:01").do(zc_main, log=logger)