# Spark 底层运行时默认参数（原生格式：key value，# 注释，空白分隔）
# 本文件收录行为/开关/调试类参数，初始化后应极少改动。业务调优参数见 conf/spark-tuning.conf。
# 加载入口：dw_base/spark/spark_sql.py 构造 SparkSession 前加载
# 覆盖规则：L1 本文件 + spark-tuning.conf < L2 SQL 内 SET（仅 spark.sql.*）< L3 构造函数显式传参 / extra_spark_config

# 调试
spark.debug.maxToStringFields                   5000

# 动态分配与端口
spark.dynamicAllocation.enabled                 false
spark.port.maxRetries                           999

# 容错：读取时跳过损坏文件
spark.files.ignoreCorruptFiles                  true
spark.sql.files.ignoreCorruptFiles              true

# SQL 优化器 / 执行行为
spark.sql.adaptive.enabled                      true
spark.sql.broadcastTimeout                      -1
spark.sql.codegen.wholeStage                    false
spark.sql.execution.arrow.enabled               true
spark.sql.execution.arrow.fallback.enabled     true
spark.sql.statistics.fallBackToHdfs             true