| 1234567891011121314151617181920212223 |
- # Spark 业务调优参数（原生格式：key value，# 注释，空白分隔）
- # 本文件收录资源/并行度/队列类参数，新业务落地早期会频繁调整以找到合适默认值。
- # 底层行为/开关类参数见 conf/spark-defaults.conf。
- # 加载入口：dw_base/spark/spark_sql.py 构造 SparkSession 前加载（在 spark-defaults.conf 之后，相同 key 覆盖 defaults）
- # 覆盖规则：L1 spark-defaults.conf + 本文件 < L2 SQL 内 SET < L3 构造函数显式传参 / extra_spark_config
- # Driver
- spark.driver.cores 2
- spark.driver.memory 2g
- spark.driver.maxResultSize 4g
- # Executor
- spark.executor.cores 2
- spark.executor.instances 15
- spark.executor.memory 6g
- spark.executor.memoryOverhead 512
- # 并行度 / Shuffle
- spark.default.parallelism 200
- spark.sql.shuffle.partitions 200
- # YARN 队列
- spark.yarn.queue spark
|
