Sfoglia il codice sorgente

fix(psa_spider): 优化日志配置及重试机制

- 修改日志文件名,添加前缀区分 pop 相关日志
- 增加 get_detail_data 函数的重试次数至 10 次,重试间隔调整为 3 秒
- 为 get_pop_data 函数添加重试装饰器,次数为 10 次,间隔 3 秒
- 恢复 pop_main 函数的调用,确保程序启动时任务立即执行
- 保持每日 08:00 定时任务调用 pop_main 函数不变
charley 1 settimana fa
parent
commit
857607b46d
1 ha cambiato i file con 4 aggiunte e 3 eliminazioni
  1. 4 3
      psa_spider/psa_pop_spider.py

+ 4 - 3
psa_spider/psa_pop_spider.py

@@ -14,7 +14,7 @@ from mysql_pool import MySQLConnectionPool
 from tenacity import retry, stop_after_attempt, wait_fixed
 
 logger.remove()
-logger.add("logs/{time:YYYYMMDD}.log", encoding='utf-8', rotation="00:00",
+logger.add("logs/pop_{time:YYYYMMDD}.log", encoding='utf-8', rotation="00:00",
            format="[{time:YYYY-MM-DD HH:mm:ss.SSS}] {level} {message}",
            level="DEBUG", retention="3 day")
 
@@ -92,7 +92,7 @@ def get_proxys(log):
         raise e
 
 
-@retry(stop=stop_after_attempt(5), wait=wait_fixed(1), after=after_log)
+@retry(stop=stop_after_attempt(10), wait=wait_fixed(3), after=after_log)
 def get_detail_data(log, category, link, sql_pool):
     """
     获取详情数据
@@ -139,6 +139,7 @@ def get_detail_data(log, category, link, sql_pool):
         raise e
 
 
+@retry(stop=stop_after_attempt(10), wait=wait_fixed(3), after=after_log)
 def get_pop_data(log, sql_pool):
     """
     获取 pop 列表页数据
@@ -218,7 +219,7 @@ def schedule_task():
     change_card_main
     """
     # 立即运行一次任务
-    # pop_main(log=logger)
+    pop_main(log=logger)
 
     # 设置定时任务
     schedule.every().day.at("08:00").do(pop_main, log=logger)