Bläddra i källkod

docs(kb): Step4 stale 修正 — 15 ods DDL 已实现 / 00 alerter 计划已砸 / 90 补 DWS 待办

- 15:ods DDL 由暂未实现改为已实现指向 ADR-06(hive-ddl-gen -l ods 实证),删技术字段三件套旧说法
- 00 §2.1:alerter 行去掉已砸的 conf/alerter.ini 迁移注解
- 90-演进路线:补 DWS 回算窗对齐滚动 30 待办,兑现 25 §1.4 的指向

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
tianyu.chu 1 vecka sedan
förälder
incheckning
c156763594
3 ändrade filer med 3 tillägg och 3 borttagningar
  1. 1 1
      kb/00-项目导览.md
  2. 1 2
      kb/15-raw接入流程.md
  3. 1 0
      kb/90-演进路线.md

+ 1 - 1
kb/00-项目导览.md

@@ -115,7 +115,7 @@ poyee-data-warehouse/              # 项目根目录(仓库名 = 部署名)
 | Spark 默认参数 | `conf/spark-defaults.conf`(行为/开关)+ `conf/spark-tuning.conf`(资源/调优) | 是 | 开发   |
 | Spark 单作业覆盖 | 对应 `jobs/*.sql` 文件内 `SET spark.x.y=z` | 是 | 开发   |
 | 环境变量 / 路径 | `conf/env.sh`(`dw_base/utils/env_loader.py` 解析 + `bootstrap_env` 注入;运行时 env 变量明细见 `01-运行环境.md` §4) | 是 | 开发   |
-| 告警 Webhook | `dw_base/common/alerter_constants.py` | 是(待改 `conf/alerter.ini`,入库) | 开发   |
+| 告警 Webhook | `dw_base/common/alerter_constants.py` | 是 | 开发   |
 
 ## 3. DataX 入口使用说明(待重构后完善)
 

+ 1 - 2
kb/15-raw接入流程.md

@@ -139,7 +139,7 @@ python3 bin/datax-sync-template-gen.py \
 python3 bin/hive-ddl-gen.py -l raw -ini jobs/raw/{域}/{table_name}.ini -o
 ```
 
-> **注**:DDL 生成器 ods 阶段暂未实现,本流程当前只覆盖 raw
+> **注**:本流程聚焦 raw 层入仓;ods 表 DDL 由 `python3 bin/hive-ddl-gen.py -l ods` 生成(已实现,见 ADR-06),属 ods 建模、不在本 raw 流程内
 
 输出 `workspace/{yyyymmdd}/{table_name}_create.sql`,复制 → `manual/ddl/raw/{域}/{table_name}_create.sql`,手动微调(表注释 / 字段注释完善 / LOCATION 路径核实)。
 
@@ -156,5 +156,4 @@ python3 bin/hive-ddl-gen.py -l raw -ini jobs/raw/{域}/{table_name}.ini -o
 
 按 kb/93 ADR 决策推进:
 
-- **ods DDL 生成**(ADR-06):DDL 生成器加 `-l ods` 支持,类型映射 conf 驱动 + 技术字段(`etl_time` / `src_sys` / `src_tbl`)
 - **数据质量任务**(ADR-07):注册 `conf/dq.ini` 的表自动跑 schema 变更探查(mask conf 作 ground truth)+ 数据量比对(PG vs Hive count + 阈值告警)

+ 1 - 0
kb/90-演进路线.md

@@ -32,3 +32,4 @@
 | 3 | 分区保留工具重新实现(元表驱动 + 保留天数参数化 + 例外 dt 白名单) | `dw_base/ops/` | §一 |
 | 4 | 数据质量首批 + runner(schema drift 探查 + PG/Hive 行数比对) | `dw_base/dq/` + `bin/dq-runner.py` | `93` ADR-07(表数 ≥ 5 张启动) |
 | 5 | TAPD API 集成 + Claude Code hook 同步操作(hook 主动同步,非 commit→任务 ID 联动;细节待展开) | `dw_base/pm/` + hook | — |
+| 6 | DWS 回算窗对齐 DWD 滚动 N=30(`jobs/dws` SQL 现为 N=2,改滚动 30 以与 DWD 口径一致) | `jobs/dws/` | `25-dws建模` §1.4 · ADR-09 |