|
|
@@ -105,7 +105,7 @@ RDS PG / ES ──DataX──▶ RAW ──SparkSQL──▶ ODS ──▶ DWD
|
|
|
- **维度退化**:将常用维度属性冗余到事实表,减少运行时 JOIN。
|
|
|
- **一致性维度**:公共维度全局统一(见 `dim_pub_*` 系列)。
|
|
|
- **原子粒度优先**:最低粒度事实可以无限上卷,高粒度事实不可下钻。
|
|
|
-- **加工层框架字段**:DWD / DIM / DWS / TDM 表统一带 `etl_time TIMESTAMP` + 分区 `dt STRING` + `STORED AS ORC`;raw / ods 字段与类型约定见 `22-raw建模.md` §0。
|
|
|
+- **加工层框架字段**:DWD / DIM / DWS / TDM 表统一带 `etl_time TIMESTAMP` + 分区 `dt STRING` + `STORED AS ORC`;raw / ods 字段与类型约定见 `22-业务库raw建模.md` §0。
|
|
|
|
|
|
### 5.3 建模示例
|
|
|
|
|
|
@@ -238,8 +238,8 @@ RDS PG / ES ──DataX──▶ RAW ──SparkSQL──▶ ODS ──▶ DWD
|
|
|
|
|
|
| 层 | 关键设计取舍 | 详见 |
|
|
|
|---|---|---|
|
|
|
-| Raw | 48h 宽窗抓取、全落 `dt=start_date`、容忍漂移 + 重复 | `22-raw建模` §0.1 · `21-时间语义` §4 · ADR-03 |
|
|
|
-| ODS | 动态分区按 `update_time` 归位、双源 union、跨 dt 不去重、INSERT OVERWRITE | `22-raw建模` §0.2 · `21-时间语义` §5 · ADR-03 |
|
|
|
+| Raw | 48h 宽窗抓取、全落 `dt=start_date`、容忍漂移 + 重复 | `22-业务库raw建模` §0.1 · `21-时间语义` §4 · ADR-03 |
|
|
|
+| ODS | 动态分区按 `update_time` 归位、双源 union、跨 dt 不去重、INSERT OVERWRITE | `22-业务库raw建模` §0.2 · `21-时间语义` §5 · ADR-03 |
|
|
|
| DWD | 业务时间分区、滚动 N=30 回算、事件 vs 状态拆分(见 §5.5) | `23-dwd建模` · ADR-09 / ADR-11 |
|
|
|
| DIM | 状态承载、`ful_d` 默认 / `zip_d` 按需、拉链不按业务时间分区 | `24-dim建模` · ADR-08 |
|
|
|
| DWS | 主题 × 粒度日聚合、冗余换查询性能、维度退化 | `25-dws建模` · ADR-10 |
|