Ver código fonte

perf(ods/trd): 订单 ful merge 日常 L2 SET 放大资源(20×4核/8g)

日常 merge 扫+写 ~7000万;内嵌 20 executor×4核=80核(覆盖默认 15×2核/6g/200),
留一半给其他日常任务;本文件是日常调度、每跑吃这份,抢资源可调小 instances。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
tianyu.chu 1 semana atrás
pai
commit
04c75c2d95
1 arquivos alterados com 10 adições e 0 exclusões
  1. 10 0
      jobs/ods/trd/ods_trd_card_group_order_info_ful_d.sql

+ 10 - 0
jobs/ods/trd/ods_trd_card_group_order_info_ful_d.sql

@@ -24,6 +24,16 @@
 --       比较式是 Hive 语法、Spark 解析不了。DS 需额外传参 rdt=$[yyyyMMdd-3];手动跑加 -p rdt=<T-3>。
 --       代价:漏跑一天则那天本该掉的分区不会被补 drop,需手工清;断链重新 seed 即可。
 
+-- 资源放大(日常 merge,扫+写 ~7000万;L2 SET 覆盖默认 15×2核/6g/200)。注意本文件是日常调度、
+-- 每跑都吃这份,故适度放大(20×4=80核,留一半给其他日常任务);抢资源就调小 executor.instances。
+SET spark.executor.instances=20;
+SET spark.executor.cores=4;
+SET spark.executor.memory=8g;
+SET spark.executor.memoryOverhead=2g;
+SET spark.driver.memory=4g;
+SET spark.sql.shuffle.partitions=400;
+SET spark.default.parallelism=400;
+
 INSERT OVERWRITE TABLE ods.ods_trd_card_group_order_info_ful_d PARTITION (dt='${dt}')
 -- 昨日全量里今天没变的
 SELECT