spider_work/deca_spider/sold_history_spider.py

# -*- coding: utf-8 -*-
# Author : Charley
# Python : 3.12.10
# Date   : 2026/08/04
"""得卡 DECA 已售流程——历史全量抓取（建库存量，一次性/不定时手动跑）。

完整管道深翻所有商家的全部历史成交：
    商家列表 → 每商家已售(深翻) → 详情补抓 → 卡密清单 → 拆卡报告 + 视频回放。
写入 deca_shop_record / deca_product_record / deca_kami_record / deca_report_record。

从根目录运行：python sold_history_spider.py
"""
import sys

from loguru import logger
from tenacity import retry, stop_after_attempt, wait_fixed
from mysql_pool import MySQLConnectionPool
import deca_sold_core as core

logger.remove()
logger.add("./logs/sold_history_{time:YYYYMMDD}.log", encoding="utf-8", rotation="00:00",
           format="[{time:YYYY-MM-DD HH:mm:ss.SSS}] {level} {message}",
           level="DEBUG", retention="7 day")


@retry(stop=stop_after_attempt(100), wait=wait_fixed(3600), after=core.after_log)
def main_task(log):
    """已售历史全量采集（深翻，incremental=False）。

    Args:
        log: 日志对象。

    Raises:
        RuntimeError: 数据库连接池异常时抛出以触发重试。
    """
    log.info(f"开始运行 {sys._getframe().f_code.co_name} 已售历史全量采集" + "." * 40)
    pool = MySQLConnectionPool(log=log)
    if not pool.check_pool_health():
        log.error("数据库连接池异常")
        raise RuntimeError("数据库连接池异常")
    try:
        core.run_pipeline(log, pool, incremental=False)
    except Exception as e:
        log.error(f"{sys._getframe().f_code.co_name} error: {e}")
    finally:
        log.info(f"已售历史全量采集 {sys._getframe().f_code.co_name} 运行结束" + "." * 20)


if __name__ == "__main__":
    logger.add(sys.stderr, level="INFO")  # 历史全量为手动跑，控制台同步输出
    main_task(logger)