| 123456789101112131415161718192021222324252627 |
- # DataX sync 配置的脱敏配置模板
- # 落位:jobs/raw/{域}/{table}.mask.ini(与 sync.ini 同级一对一)
- #
- # 用途(双消费):
- # 1. sync 生成器(bin/datax-sync-template-gen.py -mask-conf)
- # → 生成几乎可用 ini:trim 字段从 reader.column 剔除(保持 PG 原顺序);
- # 其他 method 渲染 [mask] 段供 DataX reader 端脱敏
- # → md 脱敏类型列填好(kb/24 raw 建模文档手动同步)
- # 2. 数据质量模块(后期实现)→ schema 变更探查 ground truth
- [mask]
- # 格式:{field} = {method}
- # method ∈ trim / md5 / month_trunc / mask_middle / keep_first_n / keep_last_n
- #
- # - trim 字段不入 raw(reader column 不查询)
- # - md5 字段保留,值替换为 md5 hash
- # - month_trunc 时间字段保留,截断到月(脱敏到日精度)
- # - mask_middle 字符串保留,中间用 * 脱敏
- # - keep_first_n 字符串保留前 n 字符(n 可配置,如 keep_first_2)
- # - keep_last_n 字符串保留后 n 字符
- #
- # 例:
- # payment_num = trim ; 三方支付流水号,不入仓
- # shipping_address = trim ; PII 地址,不入仓
- # receiver_name = mask_middle ; 收件人姓名,中间脱敏
- # receiver_phone = trim ; 手机号,不入仓
- # bank_account = md5 ; 银行账号,hash
|