|
|
@@ -24,6 +24,16 @@
|
|
|
-- 比较式是 Hive 语法、Spark 解析不了。DS 需额外传参 rdt=$[yyyyMMdd-3];手动跑加 -p rdt=<T-3>。
|
|
|
-- 代价:漏跑一天则那天本该掉的分区不会被补 drop,需手工清;断链重新 seed 即可。
|
|
|
|
|
|
+-- 资源放大(日常 merge,扫+写 ~7000万;L2 SET 覆盖默认 15×2核/6g/200)。注意本文件是日常调度、
|
|
|
+-- 每跑都吃这份,故适度放大(20×4=80核,留一半给其他日常任务);抢资源就调小 executor.instances。
|
|
|
+SET spark.executor.instances=20;
|
|
|
+SET spark.executor.cores=4;
|
|
|
+SET spark.executor.memory=8g;
|
|
|
+SET spark.executor.memoryOverhead=2g;
|
|
|
+SET spark.driver.memory=4g;
|
|
|
+SET spark.sql.shuffle.partitions=400;
|
|
|
+SET spark.default.parallelism=400;
|
|
|
+
|
|
|
INSERT OVERWRITE TABLE ods.ods_trd_card_group_order_info_ful_d PARTITION (dt='${dt}')
|
|
|
-- 昨日全量里今天没变的
|
|
|
SELECT
|