|
@@ -139,7 +139,7 @@ python3 bin/datax-sync-template-gen.py \
|
|
|
python3 bin/hive-ddl-gen.py -l raw -ini jobs/raw/{域}/{table_name}.ini -o
|
|
python3 bin/hive-ddl-gen.py -l raw -ini jobs/raw/{域}/{table_name}.ini -o
|
|
|
```
|
|
```
|
|
|
|
|
|
|
|
-> **注**:DDL 生成器 ods 阶段暂未实现,本流程当前只覆盖 raw。
|
|
|
|
|
|
|
+> **注**:本流程聚焦 raw 层入仓;ods 表 DDL 由 `python3 bin/hive-ddl-gen.py -l ods` 生成(已实现,见 ADR-06),属 ods 建模、不在本 raw 流程内。
|
|
|
|
|
|
|
|
输出 `workspace/{yyyymmdd}/{table_name}_create.sql`,复制 → `manual/ddl/raw/{域}/{table_name}_create.sql`,手动微调(表注释 / 字段注释完善 / LOCATION 路径核实)。
|
|
输出 `workspace/{yyyymmdd}/{table_name}_create.sql`,复制 → `manual/ddl/raw/{域}/{table_name}_create.sql`,手动微调(表注释 / 字段注释完善 / LOCATION 路径核实)。
|
|
|
|
|
|
|
@@ -156,5 +156,4 @@ python3 bin/hive-ddl-gen.py -l raw -ini jobs/raw/{域}/{table_name}.ini -o
|
|
|
|
|
|
|
|
按 kb/93 ADR 决策推进:
|
|
按 kb/93 ADR 决策推进:
|
|
|
|
|
|
|
|
-- **ods DDL 生成**(ADR-06):DDL 生成器加 `-l ods` 支持,类型映射 conf 驱动 + 技术字段(`etl_time` / `src_sys` / `src_tbl`)
|
|
|
|
|
- **数据质量任务**(ADR-07):注册 `conf/dq.ini` 的表自动跑 schema 变更探查(mask conf 作 ground truth)+ 数据量比对(PG vs Hive count + 阈值告警)
|
|
- **数据质量任务**(ADR-07):注册 `conf/dq.ini` 的表自动跑 schema 变更探查(mask conf 作 ground truth)+ 数据量比对(PG vs Hive count + 阈值告警)
|