|
@@ -4,7 +4,7 @@
|
|
|
|
|
|
|
|
## 前置条件
|
|
## 前置条件
|
|
|
|
|
|
|
|
-- bigdata 用户、发布目录下执行(`-random` 生效的必要条件,见 `dw_base/datax/worker.py` select_worker 三连回退规则)
|
|
|
|
|
|
|
+- bigdata 用户、发布目录下执行
|
|
|
- `datasource/postgresql/dev-poyee-xiaoxu.ini` 由运维维护(真实 PG 连接)
|
|
- `datasource/postgresql/dev-poyee-xiaoxu.ini` 由运维维护(真实 PG 连接)
|
|
|
- Hive `test` 数据库已存在
|
|
- Hive `test` 数据库已存在
|
|
|
- 项目代码 + `datasource/` + `/opt/datax` 同步到 cdhmaster02 / cdhnode01 / cdhnode02 / cdhnode03
|
|
- 项目代码 + `datasource/` + `/opt/datax` 同步到 cdhmaster02 / cdhnode01 / cdhnode02 / cdhnode03
|
|
@@ -18,13 +18,12 @@
|
|
|
```bash
|
|
```bash
|
|
|
python3 bin/datax-hive-import-starter.py \
|
|
python3 bin/datax-hive-import-starter.py \
|
|
|
-ini tests/integration/datax/hive_import/app_user_cert_info.ini \
|
|
-ini tests/integration/datax/hive_import/app_user_cert_info.ini \
|
|
|
- -start-date <昨日 yyyymmdd> -stop-date <今日 yyyymmdd> \
|
|
|
|
|
- -random
|
|
|
|
|
|
|
+ -start-date <昨日 yyyymmdd> -stop-date <今日 yyyymmdd>
|
|
|
```
|
|
```
|
|
|
|
|
|
|
|
## 预期
|
|
## 预期
|
|
|
|
|
|
|
|
-- 日志里 `selected_worker` 落到 cdhnode01 / cdhnode02 / cdhnode03 之一(权重 1:3:3:3,master 占 1/10)
|
|
|
|
|
|
|
+- DataX 在执行机本机完成同步(沿用 raw_ods 任务惯例,不传 -random)
|
|
|
- `test.raw_usr_app_user_cert_info_inc_d` 新增 `dt=<昨日>` 分区
|
|
- `test.raw_usr_app_user_cert_info_inc_d` 新增 `dt=<昨日>` 分区
|
|
|
- 该分区行数 = PG `SELECT COUNT(*) FROM public.app_user_cert_info WHERE create_time >= '<昨日>' AND create_time < '<今日>'`
|
|
- 该分区行数 = PG `SELECT COUNT(*) FROM public.app_user_cert_info WHERE create_time >= '<昨日>' AND create_time < '<今日>'`
|
|
|
- Hive 记录里不存在 user_cert_data / cert_no / cert_real_name 三字段
|
|
- Hive 记录里不存在 user_cert_data / cert_no / cert_real_name 三字段
|