1
0

logger.py 3.8 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112
  1. import logging
  2. import sys
  3. import json
  4. from datetime import datetime, timezone
  5. from typing import Optional
  6. from app.core.config import settings
  7. try:
  8. from fluent import handler as fluent_handler
  9. except Exception: # pragma: no cover - 运行时兜底
  10. fluent_handler = None
  11. class JsonLogFormatter(logging.Formatter):
  12. """
  13. 将日志格式化为 JSON(每行一条),便于 Fluentd/ELK 检索。
  14. """
  15. def format(self, record: logging.LogRecord) -> str:
  16. log_obj = {
  17. "timestamp": datetime.now(timezone.utc).isoformat(timespec="milliseconds"),
  18. "level": record.levelname,
  19. "logger": record.name,
  20. "message": record.getMessage(),
  21. "module": record.module,
  22. "funcName": record.funcName,
  23. "lineNo": record.lineno,
  24. "app": settings.APP_NAME,
  25. "env": settings.APP_ENV
  26. }
  27. if record.exc_info:
  28. log_obj["exception"] = self.formatException(record.exc_info)
  29. return json.dumps(log_obj, ensure_ascii=False)
  30. def _build_fluent_handler() -> Optional[logging.Handler]:
  31. """
  32. 创建 Fluentd Handler。
  33. 若 fluent-logger 未安装或初始化失败,返回 None。
  34. """
  35. if not settings.FLUENTD_ENABLED:
  36. return None
  37. if fluent_handler is None:
  38. logging.getLogger(__name__).warning("fluent-logger 未安装,已跳过 Fluentd 日志输出。")
  39. return None
  40. try:
  41. fh = fluent_handler.FluentHandler(
  42. tag=settings.FLUENTD_TAG,
  43. host=settings.FLUENTD_HOST,
  44. port=settings.FLUENTD_PORT,
  45. timeout=settings.FLUENTD_TIMEOUT_SEC
  46. )
  47. # 注意:FluentHandler 不应设置普通字符串 formatter,
  48. # 否则发送到 Fluentd 的 record 会退化为 string,导致 record_transformer 报错。
  49. return fh
  50. except Exception as e:
  51. logging.getLogger(__name__).error(f"初始化 Fluentd Handler 失败: {e}")
  52. return None
  53. def setup_logging():
  54. """
  55. 配置日志系统,使其同时输出到文件和控制台。
  56. 这个函数应该在应用程序启动时只调用一次。
  57. """
  58. # 获取根日志记录器
  59. root_logger = logging.getLogger()
  60. root_logger.setLevel(logging.INFO) # 设置根日志记录器的级别
  61. # 如果已经有处理器,先清空,防止重复添加
  62. if root_logger.hasHandlers():
  63. root_logger.handlers.clear()
  64. # 创建 JSON 格式化器(用于控制台与本地文件)
  65. formatter = JsonLogFormatter()
  66. # 1. 创建控制台处理器 (StreamHandler)
  67. # - 将日志输出到标准输出(您的终端)
  68. console_handler = logging.StreamHandler(sys.stdout)
  69. console_handler.setFormatter(formatter)
  70. root_logger.addHandler(console_handler)
  71. # 2. 创建文件处理器 (FileHandler)
  72. # - 将日志写入文件 app.log
  73. # - mode='w' 表示每次启动都覆盖旧日志
  74. # - encoding='utf-8' 确保正确处理中文字符
  75. file_handler = logging.FileHandler('app.log', mode='w', encoding='utf-8')
  76. file_handler.setFormatter(formatter)
  77. root_logger.addHandler(file_handler)
  78. # 3. 可选:创建 Fluentd 处理器 (fluent-logger)
  79. fluentd_handler = _build_fluent_handler()
  80. if fluentd_handler:
  81. root_logger.addHandler(fluentd_handler)
  82. logging.info(
  83. "Fluentd日志输出已启用: host=%s port=%s tag=%s",
  84. settings.FLUENTD_HOST, settings.FLUENTD_PORT, settings.FLUENTD_TAG
  85. )
  86. # 配置完成后,可以记录一条消息来确认
  87. logging.info("日志系统已成功配置,将同时输出到控制台和 app.log 文件。")
  88. def get_logger(name: str) -> logging.Logger:
  89. """
  90. 获取一个指定名称的日志记录器实例。
  91. 假设 setup_logging() 已经在此之前被调用。
  92. """
  93. return logging.getLogger(name)