# Spark 业务调优参数(原生格式:key value,# 注释,空白分隔) # 本文件收录资源/并行度/队列类参数,新业务落地早期会频繁调整以找到合适默认值。 # 底层行为/开关类参数见 conf/spark-defaults.conf。 # 加载入口:dw_base/spark/spark_sql.py 构造 SparkSession 前加载(在 spark-defaults.conf 之后,相同 key 覆盖 defaults) # 覆盖规则:L1 spark-defaults.conf + 本文件 < L2 SQL 内 SET < L3 构造函数显式传参 / extra_spark_config # Driver spark.driver.cores 2 spark.driver.memory 2g spark.driver.maxResultSize 4g # Executor spark.executor.cores 2 spark.executor.instances 15 spark.executor.memory 6g spark.executor.memoryOverhead 512 # 并行度 / Shuffle spark.default.parallelism 200 spark.sql.shuffle.partitions 200 # YARN 队列 spark.yarn.queue spark