|
|
@@ -21,16 +21,15 @@
|
|
|
3. **`ops/` 里的函数预期被多处复用**:只被一张表调用一次的"清分区"走 `manual/adhoc/`,不进 `ops/`
|
|
|
4. **跨模块依赖方向**:`ops/` 可依赖 `io/` + `utils/` + `common/`;`io/` 可依赖 `utils/` + `common/`;`utils/` 只依赖 `common/`;`common/` 不依赖任何项目内模块。**禁止反向依赖**
|
|
|
|
|
|
-> `io/` / `ops/` 当前仍是空骨架,按本边界规则把下方待办 2、3 的内容填实,即为四模块边界定稿。
|
|
|
+> `ops/` 当前仍是空骨架(`io/db` 已落 PG 连接工厂,`io/file` / `io/hdfs` 仍空),按本边界规则把下方待办 1、2 的内容填实,即为四模块边界定稿。
|
|
|
|
|
|
## 二、待办清单
|
|
|
|
|
|
| # | 待办 | 落点 | 参见 |
|
|
|
|---|------|------|------|
|
|
|
-| 1 | `publish.sh` 部署路径与项目名更新(发布目录 `/home/bigdata/release/poyee-data-warehouse/`) | `bin/publish.sh`(如重建) | — |
|
|
|
-| 2 | 存量小文件压实工具(`ods`/`dwd`/`dws` ~70 万文件一次性压实;现有 `dw_base/utils/hdfs_merge_small_file.py` 不支持外部表 + 逐分区起 job,需重写;顺带清其中硬编码的旧项目 metastore 口令) | `dw_base/ops/` | §一 · `93` ADR-15 |
|
|
|
-| 3 | 分区保留工具重新实现(元表驱动 + 保留天数参数化 + 例外 dt 白名单) | `dw_base/ops/` | §一 |
|
|
|
-| 4 | 数据质量首批 + runner(schema drift 探查 + PG/Hive 行数比对) | `dw_base/dq/` + `bin/dq-runner.py` | `93` ADR-07(表数 ≥ 5 张启动) |
|
|
|
-| 5 | TAPD API 集成 + Claude Code hook 同步操作(hook 主动同步,非 commit→任务 ID 联动;细节待展开) | `dw_base/pm/` + hook | — |
|
|
|
-| 6 | DWS 上线前回算窗对齐 DWD 滚动 N=30(`jobs/dws` 现 N=2,未上线;上线前改滚动 30 与 DWD 同口径) | `jobs/dws/` | `25-dws建模` §1.4 · ADR-09 |
|
|
|
-| 7 | 动态分区写入加 `DISTRIBUTE BY dt`(`ods`/`dwd`/`dws` 约 12 个 SQL);执行顺序 改 SQL → 补数 → 压实(待办 2) | `jobs/ods`·`jobs/dwd`·`jobs/dws` | `93` ADR-15 |
|
|
|
+| 1 | 存量小文件压实工具(`ods`/`dwd`/`dws` ~70 万文件一次性压实;现有 `dw_base/utils/hdfs_merge_small_file.py` 不支持外部表 + 逐分区起 job,需重写;顺带清其中硬编码的旧项目 metastore 口令) | `dw_base/ops/` | §一 · `93` ADR-15 |
|
|
|
+| 2 | 分区保留工具重新实现(元表驱动 + 保留天数参数化 + 例外 dt 白名单) | `dw_base/ops/` | §一 |
|
|
|
+| 3 | 数据质量首批 + runner(schema drift 探查 + PG/Hive 行数比对) | `dw_base/dq/` + `bin/dq-runner.py` | `93` ADR-07(表数 ≥ 5 张启动) |
|
|
|
+| 4 | TAPD API 集成 + Claude Code hook 同步操作(hook 主动同步,非 commit→任务 ID 联动;细节待展开) | `dw_base/pm/` + hook | — |
|
|
|
+| 5 | DWS 上线前回算窗对齐 DWD 滚动 N=30(`jobs/dws` 现 N=2,未上线;上线前改滚动 30 与 DWD 同口径) | `jobs/dws/` | `25-dws建模` §1.4 · ADR-09 |
|
|
|
+| 6 | 动态分区写入加 `DISTRIBUTE BY dt`(`ods`/`dwd`/`dws` 约 12 个 SQL);执行顺序 改 SQL → 补数 → 压实(待办 1) | `jobs/ods`·`jobs/dwd`·`jobs/dws` | `93` ADR-15 |
|