Pārlūkot izejas kodu

fix(ads): 去掉 DataX export 误用的 -random + 清 README 错误示范

-random 是已废弃参数(DS worker group 已做分发,DataX 本机跑即可),
误用会随机命中未互信节点报 Host key verification failed。两 export ini
跑法注释 + hdfs_export/hive_import 两个测试 README 示范一并去掉 -random。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
tianyu.chu 1 mēnesi atpakaļ
vecāks
revīzija
2eb0984782

+ 1 - 1
jobs/ads/trd/ads_trd_group_funnel_daily.ini

@@ -1,6 +1,6 @@
 ; Hive ads.ads_trd_group_funnel_daily → PG ads.ads_trd_group_funnel_daily
 ; 全量覆盖(数据小,每次 TRUNCATE 重灌全部历史分区);funnel_dt(ORC) → dt(PG)
-; 跑法:python3 bin/datax-hdfs-export-starter.py -ini jobs/ads/trd/ads_trd_group_funnel_daily.ini -start-date 20260621 -stop-date 20260621 -random -skip-check
+; 跑法:python3 bin/datax-hdfs-export-starter.py -ini jobs/ads/trd/ads_trd_group_funnel_daily.ini -start-date 20260621 -stop-date 20260621 -skip-check
 
 [reader]
 dataSource = hdfs/prd-hdfs-ha

+ 1 - 1
jobs/ads/trd/ads_trd_group_funnel_rolling.ini

@@ -1,6 +1,6 @@
 ; Hive ads.ads_trd_group_funnel_rolling → PG ads.ads_trd_group_funnel_rolling
 ; 全量覆盖(非分区单行,TRUNCATE 重灌);dt 是普通 ORC 列直接导
-; 跑法:python3 bin/datax-hdfs-export-starter.py -ini jobs/ads/trd/ads_trd_group_funnel_rolling.ini -start-date 20260621 -stop-date 20260621 -random -skip-check
+; 跑法:python3 bin/datax-hdfs-export-starter.py -ini jobs/ads/trd/ads_trd_group_funnel_rolling.ini -start-date 20260621 -stop-date 20260621 -skip-check
 
 [reader]
 dataSource = hdfs/prd-hdfs-ha

+ 2 - 3
tests/integration/datax/hdfs_export/README.md

@@ -9,7 +9,7 @@
 - hive-import 冒烟已通过,Hive `test.raw_usr_app_user_cert_info_inc_d` 表 `dt=20260422` 分区里有数据
 - PG `dev-poyee-xiaoxu` 实例对 `hs_sync_data` 库 `test` schema 有**写权限**
 - 项目代码 + `datasource/` + `/opt/datax` 同步到 cdhmaster02 / cdhnode01-03
-- bigdata 用户、发布目录下执行(`-random` 生效所需)
+- bigdata 用户、发布目录下执行
 
 ## 执行步骤
 
@@ -19,8 +19,7 @@
     ```bash
     python3 bin/datax-hdfs-export-starter.py \
       -ini tests/integration/datax/hdfs_export/export_user_cert_info.ini \
-      -start-date 20260422 -stop-date 20260423 \
-      -random
+      -start-date 20260422 -stop-date 20260423
     ```
 
     (start-date 用作 hdfsreader 的 `${dt}` 占位符替换,读 Hive 分区 `dt=20260422`)

+ 3 - 4
tests/integration/datax/hive_import/README.md

@@ -4,7 +4,7 @@
 
 ## 前置条件
 
-- bigdata 用户、发布目录下执行(`-random` 生效的必要条件,见 `dw_base/datax/worker.py` select_worker 三连回退规则)
+- bigdata 用户、发布目录下执行
 - `datasource/postgresql/dev-poyee-xiaoxu.ini` 由运维维护(真实 PG 连接)
 - Hive `test` 数据库已存在
 - 项目代码 + `datasource/` + `/opt/datax` 同步到 cdhmaster02 / cdhnode01 / cdhnode02 / cdhnode03
@@ -18,13 +18,12 @@
     ```bash
     python3 bin/datax-hive-import-starter.py \
       -ini tests/integration/datax/hive_import/app_user_cert_info.ini \
-      -start-date <昨日 yyyymmdd> -stop-date <今日 yyyymmdd> \
-      -random
+      -start-date <昨日 yyyymmdd> -stop-date <今日 yyyymmdd>
     ```
 
 ## 预期
 
-- 日志里 `selected_worker` 落到 cdhnode01 / cdhnode02 / cdhnode03 之一(权重 1:3:3:3,master 占 1/10
+- DataX 在执行机本机完成同步(沿用 raw_ods 任务惯例,不传 -random
 - `test.raw_usr_app_user_cert_info_inc_d` 新增 `dt=<昨日>` 分区
 - 该分区行数 = PG `SELECT COUNT(*) FROM public.app_user_cert_info WHERE create_time >= '<昨日>' AND create_time < '<今日>'`
 - Hive 记录里不存在 user_cert_data / cert_no / cert_real_name 三字段