Forráskód Böngészése

docs(kb): 00 §2 模块关系图并入 §5 执行链路;新增 §6 基础模块骨架

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
tianyu.chu 2 hete
szülő
commit
f7e0a0d059
2 módosított fájl, 12 hozzáadás és 11 törlés
  1. 11 11
      kb/00-项目架构.md
  2. 1 0
      kb/92-重构进度.md

+ 11 - 11
kb/00-项目架构.md

@@ -104,13 +104,9 @@ poyee-data-warehouse/              # 项目根目录(仓库名 = 部署名)
     └── hbase/
 ```
 
-## 2. 模块关系图
+## 2. 配置管理体系
 
-待补充
-
-## 3. 配置管理体系
-
-### 3.1 配置分类
+### 2.1 配置分类
 
 | 配置类型 | 存放位置 | 是否入仓库 | 维护角色 |
 |----------|---------|-----------|------|
@@ -121,15 +117,15 @@ poyee-data-warehouse/              # 项目根目录(仓库名 = 部署名)
 | 环境变量 / 路径 | `conf/env.sh`(`bin/common/init.sh` + `dw_base/utils/env_loader.py` 消费) | 是 | 开发   |
 | 告警 Webhook | `dw_base/common/alerter_constants.py` | 是(待改 `conf/alerter.ini`,入库) | 开发   |
 
-## 4. DataX 入口使用说明(待重构后完善)
+## 3. DataX 入口使用说明(待重构后完善)
 
-## 5. Spark 入口使用说明
+## 4. Spark 入口使用说明
 
-### 5.1 常用参数
+### 4.1 常用参数
 
 待补充
 
-### 5.2 Spark 参数优先级(三级覆盖已实现)
+### 4.2 Spark 参数优先级(三级覆盖已实现)
 
 ```
 命令行 -sc key=value / SparkSQL(...) 显式传参   (L3,最高优先级,临时 override)
@@ -139,7 +135,11 @@ SQL 文件内 SET spark.x.y=z                      (L2,单作业级别,开
 conf/spark-defaults.conf + conf/spark-tuning.conf   (L1,全局默认,大数据负责人维护)
 ```
 
-## 6. 执行链详解
+## 5. 执行链路
+
+待补充
+
+## 6. 基础模块
 
 待补充
 

+ 1 - 0
kb/92-重构进度.md

@@ -189,3 +189,4 @@
 | 2026-04-22 | **kb/00 结构收尾**:用户侧删除 §4.3 DataX 脚本说明 / §6.3 DataX ini 格式 / §6.4 env 注入 / §8 manual/ 执行规范四大块,保留 §1 目录树 + §3/§4 待补充骨架 + §6 配置分类 + Spark 参数优先级。AI 侧:(a) §1 目录树补 `conf/` 与 `tests/` 实际文件(env.sh / spark-defaults.conf / spark-tuning.conf / templates/ / bak/;unit/ / integration/);(b) §7 DataX 入口 + §8 Spark 入口半成品标题格式修复(`7 。` → `## 7.`、`8 .` / `8.1` 补 heading level);(c) 编号去跳号重排:1/3/4/6/7/8 + 重复的 7 → 1/2/3/4/5/6/7 连续,§7 部署架构规避冲突后落在新 §7;(d) §7 部署架构说明改写,分清已实现(whoami 分流删除 + LOG_ROOT_DIR 外配,2026-04-21 A.1)与目标态(`{module}/{dt}/{file}.log` 日志统一,待日志模块重写 kb/90 §7.2 / §7.2.1)。联动:kb/30 §6 删 "详见 kb/00 §8"(§8 已删);kb/30 §4.3 raw 层下补 DataX ini `dataSource = {db_type}/{env}-{实例简称}` 运行时契约(代码由 `plugin.py:37` 父目录判 db_type)—— kb/00 删掉的接口约定移到 kb/30 归属;kb/90 §1.2 L97 陈旧引用 `kb/00 §5 的样板` 改指 kb/00 §1 + kb/30 §4.2;README 0x 表 00-项目架构 行职责描述同步为"目录结构、模块关系、执行链、配置管理、DataX / Spark 入口、部署架构" | — |
 | 2026-04-22 | **kb/00 §1 目录树补齐子目录并去冗余注释;章节号去跳号**:(a) §1 补子目录 `bin/common/`、`conf/templates/{datax/{datasource,sync},spark/{ddl,sql}}/`、`conf/bak/{datax/{config,datasource},flume/config}/`、`dw_base/datax/{datasources,plugins/{reader,writer}}/`、`dw_base/io/{db,file,hdfs}/`、`dw_base/udf/{common,business}/`、`tests/unit/udf/`;conf 下"行为/开关类少改 vs 资源/调优类常改"等冗余注释去掉;bin/ 脚本逐行列出;(b) 用户调整大标题顺序后号码与位置不匹配,重排为连续 §1/§2/§3 执行链详解/§4 配置管理体系/§5 DataX 入口/§6 Spark 入口/§7 部署架构 | — |
 | 2026-04-23 | **kb/00 章节顺序再调**:执行链详解后移到入口说明之后(理由:先有入口才有调用链),最终顺序 §1 目录结构 / §2 模块关系图 / §3 配置管理体系(§3.1 配置分类)/ §4 DataX 入口 / §5 Spark 入口(§5.1 常用参数 / §5.2 Spark 参数优先级)/ §6 执行链详解 / §7 部署架构。kb/90 + kb/30 外部引用仅指向 §1 目录树,不受影响 | — |
+| 2026-04-23 | **kb/00 §2 模块关系图并入 §5 执行链路 + 新增 §6 基础模块骨架**:`模块关系图`(静态依赖拓扑)与 `执行链详解`(动态调用)在本项目线性链式结构下几乎 1:1,合并为 §5 **执行链路**(业界更通用表述);新增 §6 **基础模块** 骨架,后续介绍 `dw_base/` 除 `spark/` / `datax/` / `udf/` 外的其他模块。子节编号随父节上移:§3.1 配置分类 → §2.1;§5.1 常用参数 → §4.1;§5.2 Spark 参数优先级 → §4.2。最终 §1 目录结构 / §2 配置管理体系 / §3 DataX 入口 / §4 Spark 入口 / §5 执行链路 / §6 基础模块 / §7 部署架构 | — |