Procházet zdrojové kódy

docs: DWS 回算窗加备注 — 现 N=2 未上线,上线前对齐滚动 30,不改代码

- jobs/dws SQL 头:去掉已 stale 的 与 dwd N=2 对齐 措辞,备注现 N=2、dwd 已 N=30、上线前再对齐
- kb/25 §1.4:写入策略改为当前 N=2 未上线 + 上线前对齐滚动 30
- kb/90 #6:标注 DWS 上线前再改

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
tianyu.chu před 1 týdnem
rodič
revize
442d5d1fd8

+ 2 - 2
jobs/dws/usr/dws_usr_user_trade_1d.sql

@@ -2,13 +2,13 @@
 -- 日期:2026-05-10
 -- 工单:(无)
 -- 目的:dws_usr_user_trade_1d 日常增量(kb/25 §1.4 + §2):
---      回算近 2 日(与 dwd N=2 对齐,漂移连锁补偿,kb/93 ADR-09):扫 dwd.dt IN (${dt}, ${pdt}) +
+--      回算近 2 日(N=2,当前实现):扫 dwd.dt IN (${dt}, ${pdt}) +
 --      过滤 category IS NOT NULL(脏数据 other 已在 DIM 清洗为 NULL,kb/24 §3.2)+
 --      GROUP BY (user_id, category, dt) 聚合 +
 --      动态分区写入 dws.dt IN (${dt}, ${pdt})
 -- 状态:[草案]
 -- 备注:sched=T,${dt}=T-1,${pdt}=T-2;
---      回算 N=2 兜底跨零点漂移连锁补偿(dwd 同步,参 kb/93 ADR-09);
+--      回算窗 N=2 为当前实现,dws 未上线;dwd 已改滚动 N=30(kb/93 ADR-09),dws 上线前再对齐滚动 30(kb/25 §1.4 + 90-演进路线),暂不改代码;
 --      INSERT OVERWRITE 动态分区(kb/21 §8 项目默认 DYNAMIC mode):只覆盖 SELECT 出现的 dt 分区,不动其他历史分区;
 --      前置 DS DEPENDENT:dwd_trd_order_pay_apd_d.${dt}
 

+ 1 - 1
kb/25-dws建模.md

@@ -36,7 +36,7 @@ DWS 只做 `_1d` 日聚合主题宽表,不爆窗口表(不建 `_30d` / `_y{
 ### 1.4 分区与写入
 
 - 分区锚点:业务时间(与上游 DWD 对齐,如 `DATE(payment_success_time)`)
-- 写入策略:**滚动重算最近 30 天**,与 DWD 对齐(DWD 已改滚动 N=30,见 `93-架构决策.md` ADR-09;DWS 聚合 DWD 须同窗才口径一致)。**注:当前 `jobs/dws` SQL 仍为 N=2,滚动 30 的实现待改(见 `90-演进路线.md`)**
+- 写入策略:**当前回算近 2 日(N=2),DWS 尚未上线**。目标:上线前对齐 DWD 滚动 N=30(DWD 已改滚动 30,见 `93-架构决策.md` ADR-09;DWS 聚合 DWD 须同窗口径才一致),届时改 `jobs/dws` SQL(见 `90-演进路线.md`);未上线前不动代码
 - 分区类型:动态分区 `PARTITION (dt)`
 - 重跑幂等:`INSERT OVERWRITE PARTITION (dt)` 项目默认 DYNAMIC mode(kb/21 §8)只覆盖 SELECT 出现的 dt,不动其他历史分区
 - 调度依赖:DS DEPENDENT 同 dt DWD 跑完

+ 1 - 1
kb/90-演进路线.md

@@ -32,4 +32,4 @@
 | 3 | 分区保留工具重新实现(元表驱动 + 保留天数参数化 + 例外 dt 白名单) | `dw_base/ops/` | §一 |
 | 4 | 数据质量首批 + runner(schema drift 探查 + PG/Hive 行数比对) | `dw_base/dq/` + `bin/dq-runner.py` | `93` ADR-07(表数 ≥ 5 张启动) |
 | 5 | TAPD API 集成 + Claude Code hook 同步操作(hook 主动同步,非 commit→任务 ID 联动;细节待展开) | `dw_base/pm/` + hook | — |
-| 6 | DWS 回算窗对齐 DWD 滚动 N=30(`jobs/dws` SQL  N=2,改滚动 30 与 DWD 口径一致) | `jobs/dws/` | `25-dws建模` §1.4 · ADR-09 |
+| 6 | DWS 上线前回算窗对齐 DWD 滚动 N=30(`jobs/dws` 现 N=2,未上线;上线前改滚动 30 与 DWD 口径) | `jobs/dws/` | `25-dws建模` §1.4 · ADR-09 |