Quellcode durchsuchen

docs(kb): 00 章节顺序再调 入口说明先于执行链详解

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
tianyu.chu vor 2 Wochen
Ursprung
Commit
2cac81beb5
2 geänderte Dateien mit 11 neuen und 14 gelöschten Zeilen
  1. 10 14
      kb/00-项目架构.md
  2. 1 0
      kb/92-重构进度.md

+ 10 - 14
kb/00-项目架构.md

@@ -40,10 +40,6 @@ poyee-data-warehouse/              # 项目根目录(仓库名 = 部署名)
 │   ├── common/                    #   常量、容器
 │   ├── spark/                     #   SparkSQL 相关
 │   ├── datax/                     #   DataX 相关
-│   │   ├── datasources/
-│   │   └── plugins/
-│   │       ├── reader/
-│   │       └── writer/
 │   ├── udf/                       #   UDF 库
 │   │   ├── common/                #     通用 UDF
 │   │   └── business/              #     业务专用 UDF
@@ -112,13 +108,9 @@ poyee-data-warehouse/              # 项目根目录(仓库名 = 部署名)
 
 待补充
 
-## 3. 执行链详解
+## 3. 配置管理体系
 
-待补充
-
-## 4. 配置管理体系
-
-### 4.1 配置分类
+### 3.1 配置分类
 
 | 配置类型 | 存放位置 | 是否入仓库 | 维护角色 |
 |----------|---------|-----------|------|
@@ -129,15 +121,15 @@ poyee-data-warehouse/              # 项目根目录(仓库名 = 部署名)
 | 环境变量 / 路径 | `conf/env.sh`(`bin/common/init.sh` + `dw_base/utils/env_loader.py` 消费) | 是 | 开发   |
 | 告警 Webhook | `dw_base/common/alerter_constants.py` | 是(待改 `conf/alerter.ini`,入库) | 开发   |
 
-## 5. DataX 入口使用说明(待重构后完善)
+## 4. DataX 入口使用说明(待重构后完善)
 
-## 6. Spark 入口使用说明
+## 5. Spark 入口使用说明
 
-### 6.1 常用参数
+### 5.1 常用参数
 
 待补充
 
-### 6.2 Spark 参数优先级(三级覆盖已实现)
+### 5.2 Spark 参数优先级(三级覆盖已实现)
 
 ```
 命令行 -sc key=value / SparkSQL(...) 显式传参   (L3,最高优先级,临时 override)
@@ -147,6 +139,10 @@ SQL 文件内 SET spark.x.y=z                      (L2,单作业级别,开
 conf/spark-defaults.conf + conf/spark-tuning.conf   (L1,全局默认,大数据负责人维护)
 ```
 
+## 6. 执行链详解
+
+待补充
+
 ## 7. 部署架构
 
 ```

+ 1 - 0
kb/92-重构进度.md

@@ -188,3 +188,4 @@
 | 2026-04-22 | **README 文档索引加入 SSOT 职责边界**:索引段起首加一行 SSOT 原则(每篇文档是其主题的唯一权威,跨文档用 `§` 锚点互引不复述);5 张分组表 "内容" 列改为 "职责",每行重写为加粗前缀(**架构** / **基础设施** / **鉴权链路** / **建模方法论** / **命名规则** / **开发方法论** 等)+ 边界简述。顺带修两处:02-权限与账号行原来缺尾 `|` 表格闭合;末尾开发样板链接 `§6` 改 `§7`(对齐上一条 kb/30 §4 插入后的重编号) | — |
 | 2026-04-22 | **kb/00 结构收尾**:用户侧删除 §4.3 DataX 脚本说明 / §6.3 DataX ini 格式 / §6.4 env 注入 / §8 manual/ 执行规范四大块,保留 §1 目录树 + §3/§4 待补充骨架 + §6 配置分类 + Spark 参数优先级。AI 侧:(a) §1 目录树补 `conf/` 与 `tests/` 实际文件(env.sh / spark-defaults.conf / spark-tuning.conf / templates/ / bak/;unit/ / integration/);(b) §7 DataX 入口 + §8 Spark 入口半成品标题格式修复(`7 。` → `## 7.`、`8 .` / `8.1` 补 heading level);(c) 编号去跳号重排:1/3/4/6/7/8 + 重复的 7 → 1/2/3/4/5/6/7 连续,§7 部署架构规避冲突后落在新 §7;(d) §7 部署架构说明改写,分清已实现(whoami 分流删除 + LOG_ROOT_DIR 外配,2026-04-21 A.1)与目标态(`{module}/{dt}/{file}.log` 日志统一,待日志模块重写 kb/90 §7.2 / §7.2.1)。联动:kb/30 §6 删 "详见 kb/00 §8"(§8 已删);kb/30 §4.3 raw 层下补 DataX ini `dataSource = {db_type}/{env}-{实例简称}` 运行时契约(代码由 `plugin.py:37` 父目录判 db_type)—— kb/00 删掉的接口约定移到 kb/30 归属;kb/90 §1.2 L97 陈旧引用 `kb/00 §5 的样板` 改指 kb/00 §1 + kb/30 §4.2;README 0x 表 00-项目架构 行职责描述同步为"目录结构、模块关系、执行链、配置管理、DataX / Spark 入口、部署架构" | — |
 | 2026-04-22 | **kb/00 §1 目录树补齐子目录并去冗余注释;章节号去跳号**:(a) §1 补子目录 `bin/common/`、`conf/templates/{datax/{datasource,sync},spark/{ddl,sql}}/`、`conf/bak/{datax/{config,datasource},flume/config}/`、`dw_base/datax/{datasources,plugins/{reader,writer}}/`、`dw_base/io/{db,file,hdfs}/`、`dw_base/udf/{common,business}/`、`tests/unit/udf/`;conf 下"行为/开关类少改 vs 资源/调优类常改"等冗余注释去掉;bin/ 脚本逐行列出;(b) 用户调整大标题顺序后号码与位置不匹配,重排为连续 §1/§2/§3 执行链详解/§4 配置管理体系/§5 DataX 入口/§6 Spark 入口/§7 部署架构 | — |
+| 2026-04-23 | **kb/00 章节顺序再调**:执行链详解后移到入口说明之后(理由:先有入口才有调用链),最终顺序 §1 目录结构 / §2 模块关系图 / §3 配置管理体系(§3.1 配置分类)/ §4 DataX 入口 / §5 Spark 入口(§5.1 常用参数 / §5.2 Spark 参数优先级)/ §6 执行链详解 / §7 部署架构。kb/90 + kb/30 外部引用仅指向 §1 目录树,不受影响 | — |