| 12345678910111213141516171819202122232425 |
- # Spark 业务调优参数（原生格式：key value，# 注释，空白分隔）
- # 本文件收录资源/并行度/队列类参数，新业务落地早期会频繁调整以找到合适默认值。
- # 底层行为/开关类参数见 conf/spark-defaults.conf。
- # 加载入口：dw_base/spark/spark_sql.py 构造 SparkSession 前加载（在 spark-defaults.conf 之后，相同 key 覆盖 defaults）
- # 覆盖规则：L1 spark-defaults.conf + 本文件 < L2 SQL 内 SET（仅 spark.sql.*）< L3 构造函数显式传参 / extra_spark_config
- # 注意：spark.driver.* / spark.executor.* / spark.executor.memoryOverhead 属于资源类参数，session 启动后不可变，
- # SQL 内 SET 不生效；需临时改资源走 L3（命令行 -sc 或调用方 SparkSQL(...) 显式传参）。
- # Driver
- spark.driver.cores 2
- spark.driver.memory 2g
- spark.driver.maxResultSize 4g
- # Executor
- spark.executor.cores 2
- spark.executor.instances 15
- spark.executor.memory 6g
- spark.executor.memoryOverhead 512
- # 并行度 / Shuffle
- spark.default.parallelism 200
- spark.sql.shuffle.partitions 200
- # YARN 队列
- spark.yarn.queue spark
|
