hive_raw.sql 1.3 KB

123456789101112131415161718192021222324252627
  1. -- Hive raw 层贴源表(集成测试 / 冒烟锚点)
  2. --
  3. -- 源:public.app_user_cert_info (PG)
  4. -- 时间锚点:create_time
  5. -- 库:test(测试期);正式上线迁到 raw 库,表名与结构保留
  6. -- 字段选择:
  7. -- - 敏感字段 user_cert_data / cert_no / cert_real_name 不同步(公司规范"敏感字段不出业务库")
  8. -- - cert_birthday 本轮原样同步未脱敏;正式 raw 库上线前补"脱敏到月"
  9. -- (方案见 kb/90 §2.6 后延 ADR 高优先级项:DataX 字段级变换)
  10. -- 分层规范:raw 层 EXTERNAL + 全字段 STRING + dt 分区,见 kb/20 §7 / §8.1
  11. CREATE EXTERNAL TABLE IF NOT EXISTS test.raw_usr_app_user_cert_info_inc_d (
  12. id STRING COMMENT 'id',
  13. user_id STRING COMMENT '用户 id',
  14. cert_birthday STRING COMMENT '证件生日(未脱敏)',
  15. cert_sex STRING COMMENT '证件性别',
  16. cert_province STRING COMMENT '证件所在省',
  17. cert_city STRING COMMENT '证件所在市',
  18. version STRING COMMENT '版本',
  19. status STRING COMMENT '状态',
  20. del_flag STRING COMMENT '删除标记',
  21. create_time STRING COMMENT '创建时间(时间锚点)',
  22. update_time STRING COMMENT '更新时间'
  23. )
  24. COMMENT '用户证件信息 raw 贴源(冒烟测试)'
  25. PARTITIONED BY (dt STRING)
  26. STORED AS ORC;