|
|
@@ -40,10 +40,6 @@ poyee-data-warehouse/ # 项目根目录(仓库名 = 部署名)
|
|
|
│ ├── common/ # 常量、容器
|
|
|
│ ├── spark/ # SparkSQL 相关
|
|
|
│ ├── datax/ # DataX 相关
|
|
|
-│ │ ├── datasources/
|
|
|
-│ │ └── plugins/
|
|
|
-│ │ ├── reader/
|
|
|
-│ │ └── writer/
|
|
|
│ ├── udf/ # UDF 库
|
|
|
│ │ ├── common/ # 通用 UDF
|
|
|
│ │ └── business/ # 业务专用 UDF
|
|
|
@@ -112,13 +108,9 @@ poyee-data-warehouse/ # 项目根目录(仓库名 = 部署名)
|
|
|
|
|
|
待补充
|
|
|
|
|
|
-## 3. 执行链详解
|
|
|
+## 3. 配置管理体系
|
|
|
|
|
|
-待补充
|
|
|
-
|
|
|
-## 4. 配置管理体系
|
|
|
-
|
|
|
-### 4.1 配置分类
|
|
|
+### 3.1 配置分类
|
|
|
|
|
|
| 配置类型 | 存放位置 | 是否入仓库 | 维护角色 |
|
|
|
|----------|---------|-----------|------|
|
|
|
@@ -129,15 +121,15 @@ poyee-data-warehouse/ # 项目根目录(仓库名 = 部署名)
|
|
|
| 环境变量 / 路径 | `conf/env.sh`(`bin/common/init.sh` + `dw_base/utils/env_loader.py` 消费) | 是 | 开发 |
|
|
|
| 告警 Webhook | `dw_base/common/alerter_constants.py` | 是(待改 `conf/alerter.ini`,入库) | 开发 |
|
|
|
|
|
|
-## 5. DataX 入口使用说明(待重构后完善)
|
|
|
+## 4. DataX 入口使用说明(待重构后完善)
|
|
|
|
|
|
-## 6. Spark 入口使用说明
|
|
|
+## 5. Spark 入口使用说明
|
|
|
|
|
|
-### 6.1 常用参数
|
|
|
+### 5.1 常用参数
|
|
|
|
|
|
待补充
|
|
|
|
|
|
-### 6.2 Spark 参数优先级(三级覆盖已实现)
|
|
|
+### 5.2 Spark 参数优先级(三级覆盖已实现)
|
|
|
|
|
|
```
|
|
|
命令行 -sc key=value / SparkSQL(...) 显式传参 (L3,最高优先级,临时 override)
|
|
|
@@ -147,6 +139,10 @@ SQL 文件内 SET spark.x.y=z (L2,单作业级别,开
|
|
|
conf/spark-defaults.conf + conf/spark-tuning.conf (L1,全局默认,大数据负责人维护)
|
|
|
```
|
|
|
|
|
|
+## 6. 执行链详解
|
|
|
+
|
|
|
+待补充
|
|
|
+
|
|
|
## 7. 部署架构
|
|
|
|
|
|
```
|