|
|
@@ -104,9 +104,27 @@ poyee-data-warehouse/ # 项目根目录（仓库名 = 部署名）
|
|
|
└── hbase/
|
|
|
```
|
|
|
|
|
|
-## 2. 配置管理体系
|
|
|
+## 2. 服务边界与对数纪律
|
|
|
|
|
|
-### 2.1 配置分类
|
|
|
+**本项目 = 离线数仓，定位是"稳定 T-1 口径的大批量分析基线"，不是实时系统。** 三条链路各司其职，别互相顶替：
|
|
|
+
|
|
|
+| 需求 | 走哪 | 为什么 |
|
|
|
+|---|---|---|
|
|
|
+| 稳定 / 可复现 / 可对账 / 可跨期比的分析（报表、趋势、GMV、留存、用户分层——哪怕是近期数据） | **离线数仓（本项目）** | T-1 定格、口径固化（软删归一 / 类型清洗 / 状态归位）、留历史轨迹（拉链）、不压业务库 |
|
|
|
+| 此刻精确到秒的当前态 / 点查 / 运营看实时状态 / 轻量自定义即席 | **业务库只读从库** | OLTP 强在点查与实时、不压主库；但无历史轨迹、不擅大聚合、口径各写各 |
|
|
|
+| 秒级 / 分钟级实时聚合分析 | **实时数仓（CDC + 流，后置未上）** | 见 `12-同步方案` CDC 演进 · `90-演进路线` |
|
|
|
+
|
|
|
+**界线不是"近期 vs 远期"，是"稳定口径 vs 实时瞬时"**——昨日 / 本周报表数仓照做且做得更好；要秒级现值才走从库 / 实时。
|
|
|
+
|
|
|
+**对数纪律（数仓 vs 业务库对账）：**
|
|
|
+
|
|
|
+- **锚定格、不锚 live 时间**：拿业务库当前态比数仓 T-1 快照永远对不上（PG 一直在漂：不限时间会多算今天新发生的，加 `GREATEST(create,update)<次日` 又少算今天漂走的）。要精确复现某天，锚**当天冻结 dump** 或 **id 天花板 `count(id ≤ X)`**（id 自增不可变），不锚可变的 create/update。
|
|
|
+- **判据"可以多不能少"**：同口径下 **数仓 ≥ 业务库** 即无漏；数仓多出的是"业务库事后又改 / 硬删"的安全漂移。
|
|
|
+- 详见 `93-架构决策` ADR-03 / ADR-16 · `21-时间语义` §5 口径红线。
|
|
|
+
|
|
|
+## 3. 配置管理体系
|
|
|
+
|
|
|
+### 3.1 配置分类
|
|
|
|
|
|
| 配置类型 | 存放位置 | 是否入仓库 | 维护角色 |
|
|
|
|----------|---------|-----------|------|
|
|
|
@@ -117,15 +135,15 @@ poyee-data-warehouse/ # 项目根目录（仓库名 = 部署名）
|
|
|
| 环境变量 / 路径 | `conf/env.sh`（`dw_base/utils/env_loader.py` 解析 + `bootstrap_env` 注入；运行时 env 变量明细见 `01-运行环境.md` §4） | 是 | 开发 |
|
|
|
| 告警 Webhook | `dw_base/common/alerter_constants.py` | 是 | 开发 |
|
|
|
|
|
|
-## 3. DataX 入口使用说明（待重构后完善）
|
|
|
+## 4. DataX 入口使用说明（待重构后完善）
|
|
|
|
|
|
-## 4. Spark 入口使用说明
|
|
|
+## 5. Spark 入口使用说明
|
|
|
|
|
|
-### 4.1 常用参数
|
|
|
+### 5.1 常用参数
|
|
|
|
|
|
待补充
|
|
|
|
|
|
-### 4.2 Spark 参数优先级（三级覆盖已实现）
|
|
|
+### 5.2 Spark 参数优先级（三级覆盖已实现）
|
|
|
|
|
|
```
|
|
|
命令行 -sc key=value / SparkSQL(...) 显式传参 (L3，最高优先级，临时 override)
|
|
|
@@ -135,15 +153,15 @@ SQL 文件内 SET spark.x.y=z (L2，单作业级别，开
|
|
|
conf/spark-defaults.conf + conf/spark-tuning.conf (L1，全局默认，大数据负责人维护)
|
|
|
```
|
|
|
|
|
|
-## 5. 执行链路
|
|
|
+## 6. 执行链路
|
|
|
|
|
|
待补充
|
|
|
|
|
|
-## 6. 基础模块
|
|
|
+## 7. 基础模块
|
|
|
|
|
|
待补充
|
|
|
|
|
|
-## 7. 部署架构
|
|
|
+## 8. 部署架构
|
|
|
|
|
|
```
|
|
|
集群节点：m3(master), d1, d2, d3, d4(data nodes)
|
