| 1234567891011121314151617181920212223 |
- # Spark 底层运行时默认参数（原生格式：key value，# 注释，空白分隔）
- # 本文件收录行为/开关/调试类参数，初始化后应极少改动。业务调优参数见 conf/spark-tuning.conf。
- # 加载入口：dw_base/spark/spark_sql.py 构造 SparkSession 前加载
- # 覆盖规则：L1 本文件 + spark-tuning.conf < L2 SQL 内 SET（仅 spark.sql.*）< L3 构造函数显式传参 / extra_spark_config
- # 调试
- spark.debug.maxToStringFields 5000
- # 动态分配与端口
- spark.dynamicAllocation.enabled false
- spark.port.maxRetries 999
- # 容错：读取时跳过损坏文件
- spark.files.ignoreCorruptFiles true
- spark.sql.files.ignoreCorruptFiles true
- # SQL 优化器 / 执行行为
- spark.sql.adaptive.enabled true
- spark.sql.broadcastTimeout -1
- spark.sql.codegen.wholeStage false
- spark.sql.execution.arrow.enabled true
- spark.sql.execution.arrow.fallback.enabled true
- spark.sql.statistics.fallBackToHdfs true
|
