mask.template.ini 1.3 KB

123456789101112131415161718192021222324252627
  1. # DataX sync 配置的脱敏配置模板
  2. # 落位:jobs/raw/{域}/{table}.mask.ini(与 sync.ini 同级一对一)
  3. #
  4. # 用途(双消费):
  5. # 1. sync 生成器(bin/datax-sync-template-gen.py --mask-conf)
  6. # → 生成几乎可用 ini:trim 字段从 reader.column 剔除(保持 PG 原顺序);
  7. # 其他 method 渲染 [mask] 段供 DataX reader 端脱敏
  8. # → md 脱敏类型列填好(kb/24 raw 建模文档手动同步)
  9. # 2. 数据质量模块(后期实现)→ schema 变更探查 ground truth
  10. [mask]
  11. # 格式:{field} = {method}
  12. # method ∈ trim / md5 / month_trunc / mask_middle / keep_first_n / keep_last_n
  13. #
  14. # - trim 字段不入 raw(reader column 不查询)
  15. # - md5 字段保留,值替换为 md5 hash
  16. # - month_trunc 时间字段保留,截断到月(脱敏到日精度)
  17. # - mask_middle 字符串保留,中间用 * 脱敏
  18. # - keep_first_n 字符串保留前 n 字符(n 可配置,如 keep_first_2)
  19. # - keep_last_n 字符串保留后 n 字符
  20. #
  21. # 例:
  22. # payment_num = trim ; 三方支付流水号,不入仓
  23. # shipping_address = trim ; PII 地址,不入仓
  24. # receiver_name = mask_middle ; 收件人姓名,中间脱敏
  25. # receiver_phone = trim ; 手机号,不入仓
  26. # bank_account = md5 ; 银行账号,hash