|
|
@@ -13,7 +13,6 @@ poyee-data-warehouse/ # 项目根目录（仓库名 = 部署名）
|
|
|
│ ├── datax-single-job-starter.sh# DataX 单任务启动
|
|
|
│ ├── datax-multiple-job-starter.sh # DataX 批量任务启动
|
|
|
│ ├── datax-job-config-generator.py # ini→json 配置生成
|
|
|
-│ ├── publish.sh # 集群部署脚本
|
|
|
│ └── ...
|
|
|
├── jobs/ # 业务代码层，定时调度执行
|
|
|
│ ├── raw/ # 原始数据采集（DataX ini 或 CSV 导入任务定义）
|
|
|
@@ -46,6 +45,7 @@ poyee-data-warehouse/ # 项目根目录（仓库名 = 部署名）
|
|
|
├── kb/ # 知识库：项目文档
|
|
|
├── conf/ # 配置层（非敏感配置入库：alerter.ini / workers.ini / datax-speed.ini / spark-defaults.conf 等）
|
|
|
├── tests/ # 测试：unit/ 纯函数单测 + integration/ Spark datax 集成测试
|
|
|
+├── publish.sh # 集群部署脚本
|
|
|
├── requirements.txt # Python 依赖
|
|
|
└── README.md
|
|
|
```
|
