|
@@ -58,46 +58,46 @@ PG/ES ──DataX(raw)──> RAW ──> ODS ──> DWD ──> DWS ──> TD
|
|
|
|
|
|
|
|
## 文档索引
|
|
## 文档索引
|
|
|
|
|
|
|
|
-文件按编号前缀分组,序号越小越基础、越靠前阅读。
|
|
|
|
|
|
|
+文件按编号前缀分组,序号越小越基础、越靠前阅读。每篇文档是其主题的**唯一权威**(SSOT),跨文档用 `§` 锚点互引、不复述。
|
|
|
|
|
|
|
|
### 0x 项目与环境
|
|
### 0x 项目与环境
|
|
|
|
|
|
|
|
-| 文档 | 内容 |
|
|
|
|
|
-|----|--------------------------------------------------|
|
|
|
|
|
-| [00-项目架构](kb/00-项目架构.md) | 模块关系图、Spark SQL / DataX 执行时序、DataX 脚本详细使用说明、配置管理 |
|
|
|
|
|
-| [01-运行环境](kb/01-运行环境.md) | CDH 技术栈版本、平台架构图、开发侧约束 |
|
|
|
|
|
-| [02-权限与账号](kb/02-权限与账号.md) | 鉴权链路、job账号 vs 个人账号
|
|
|
|
|
|
|
+| 文档 | 职责 |
|
|
|
|
|
+|----|----|
|
|
|
|
|
+| [00-项目架构](kb/00-项目架构.md) | **架构**:模块关系、数据流、DataX/Spark 脚本使用、conf 配置分层、manual/ 目录定位 |
|
|
|
|
|
+| [01-运行环境](kb/01-运行环境.md) | **基础设施**:CDH 版本矩阵、集群拓扑、开发侧约束 |
|
|
|
|
|
+| [02-权限与账号](kb/02-权限与账号.md) | **鉴权链路**:HS2 doAs / PySpark / Ranger / LDAP;job 账号 vs 个人账号 |
|
|
|
|
|
|
|
|
### 1x 业务上下文
|
|
### 1x 业务上下文
|
|
|
|
|
|
|
|
-| 文档 | 内容 |
|
|
|
|
|
|
|
+| 文档 | 职责 |
|
|
|
|----|----|
|
|
|----|----|
|
|
|
-| [10-业务流程](kb/10-业务流程.md) | Hobby Stocks 用户侧 + 商家侧 + 售后全链路流程图 |
|
|
|
|
|
-| [11-数据资产](kb/11-数据资产.md) | 业务库、埋点数据、爬虫数据、采购数据清单 |
|
|
|
|
|
-| [12-同步方案](kb/12-同步方案.md) | PG → Hive 存量/增量/历史归档/CDC 同步策略与阶段演进 |
|
|
|
|
|
|
|
+| [10-业务流程](kb/10-业务流程.md) | **业务全景**:用户 + 商家 + 售后全链路流程 |
|
|
|
|
|
+| [11-数据资产](kb/11-数据资产.md) | **数据源清单**:业务库 / 埋点 / 爬虫 / 采购(同步方案见 12) |
|
|
|
|
|
+| [12-同步方案](kb/12-同步方案.md) | **同步策略**:PG→Hive 存量 / 增量 / 历史归档 / CDC 阶段演进 |
|
|
|
|
|
|
|
|
### 2x 数仓建模
|
|
### 2x 数仓建模
|
|
|
|
|
|
|
|
-| 文档 | 内容 |
|
|
|
|
|
|
|
+| 文档 | 职责 |
|
|
|
|----|----|
|
|
|----|----|
|
|
|
-| [20-数仓分层与建模](kb/20-数仓分层与建模.md) | 分层定义、主题域、总线矩阵、维度建模五步法、同步策略 |
|
|
|
|
|
-| [21-命名规范](kb/21-命名规范.md) ★ | 五段式表名、字段规则、词根字典、建表自检 Checklist |
|
|
|
|
|
-| [22-指标体系](kb/22-指标体系.md) | 指标分类、逻辑结构、指标/维度/度量字典 |
|
|
|
|
|
-| [23-标签体系](kb/23-标签体系.md) | TDM 层用户/商品/商家画像设计 |
|
|
|
|
|
|
|
+| [20-数仓分层与建模](kb/20-数仓分层与建模.md) | **建模方法论**:分层定义、主题域、总线矩阵、维度五步法;存储 / raw 类型契约 |
|
|
|
|
|
+| [21-命名规范](kb/21-命名规范.md) ★ | **命名规则**:Hive 表 / 字段 / 词根字典 + 建表 Checklist |
|
|
|
|
|
+| [22-指标体系](kb/22-指标体系.md) | **指标字典**:指标 / 维度 / 度量定义与口径 |
|
|
|
|
|
+| [23-标签体系](kb/23-标签体系.md) | **TDM 画像**:用户 / 商品 / 商家标签 |
|
|
|
|
|
|
|
|
### 3x 开发流程
|
|
### 3x 开发流程
|
|
|
|
|
|
|
|
-| 文档 | 内容 |
|
|
|
|
|
|
|
+| 文档 | 职责 |
|
|
|
|----|----|
|
|
|----|----|
|
|
|
-| [30-开发规范](kb/30-开发规范.md) | TPAD 任务规范、数仓数据开发流程、代码 / SQL 规范、Git 协作规范 |
|
|
|
|
|
-| [31-UDF手册](kb/31-UDF手册.md) | UDF 自查表 |
|
|
|
|
|
|
|
+| [30-开发规范](kb/30-开发规范.md) | **开发方法论**:TPAD、数据开发流程、代码/SQL/Git 规范、DDL/jobs 文件组织、manual/ 临时 SQL、样板 |
|
|
|
|
|
+| [31-UDF手册](kb/31-UDF手册.md) | **UDF 登记表**:通用 + 业务 UDF 清单 |
|
|
|
|
|
|
|
|
### 9x 过渡资料
|
|
### 9x 过渡资料
|
|
|
|
|
|
|
|
-| 文档 | 内容 |
|
|
|
|
|
|
|
+| 文档 | 职责 |
|
|
|
|----|----|
|
|
|----|----|
|
|
|
-| [90-重构路线](kb/90-重构路线.md) | 基于老项目代码分析的重构路线(P0-P3) |
|
|
|
|
|
-| [92-重构进度](kb/92-重构进度.md) | 重构任务 checklist 与当前进度 |
|
|
|
|
|
|
|
+| [90-重构路线](kb/90-重构路线.md) | **重构决策**:P0-P3 聚簇、已完成结论、待启动方案 |
|
|
|
|
|
+| [92-重构进度](kb/92-重构进度.md) | **重构执行**:阶段 checklist + changelog |
|
|
|
|
|
|
|
|
## 阅读建议
|
|
## 阅读建议
|
|
|
|
|
|
|
@@ -108,4 +108,4 @@ PG/ES ──DataX(raw)──> RAW ──> ODS ──> DWD ──> DWS ──> TD
|
|
|
4. [21-命名规范](kb/21-命名规范.md) — 熟悉命名规则(★ 最高频参考)
|
|
4. [21-命名规范](kb/21-命名规范.md) — 熟悉命名规则(★ 最高频参考)
|
|
|
5. [30-开发规范](kb/30-开发规范.md) — 熟悉开发流程
|
|
5. [30-开发规范](kb/30-开发规范.md) — 熟悉开发流程
|
|
|
|
|
|
|
|
-**开发样板**:`conf/templates/` 下按引擎分 datax / spark 两类,详见 [30-开发规范 §6](kb/30-开发规范.md#6-开发样板)。
|
|
|
|
|
|
|
+**开发样板**:`conf/templates/` 下按引擎分 datax / spark 两类,详见 [30-开发规范 §7](kb/30-开发规范.md#7-开发样板)。
|