hive_raw.sql 838 B

123456789101112131415
  1. -- Hive raw 层贴源表(埋点冒烟测试)
  2. --
  3. -- 源:m2:/data/upload/tracking/temp/traces-{YYYY-MM-DD}.json.gz(ES NDJSON 导出)
  4. -- 库:test(测试期);正式上线迁到 raw 库,表名/结构/LOCATION(除 db 段)保留
  5. -- 存储:TEXTFILE 直存 .gz(gz 不解压上 HDFS,TextInputFormat 自动按后缀解压读取)
  6. -- 分区:dt=yyyymmdd(来自文件名)
  7. -- 字段:仅 raw_json 一列,存 ES hit 整行(含 _index/_type/_id/_score/_source)
  8. CREATE EXTERNAL TABLE IF NOT EXISTS test.raw_usr_traces_apd_d (
  9. raw_json STRING COMMENT 'ES hit 整行 JSON(含 _index/_type/_id/_score/_source)'
  10. )
  11. COMMENT '埋点贴源表(ES NDJSON.gz 原文,冒烟测试)'
  12. PARTITIONED BY (dt STRING COMMENT 'yyyymmdd')
  13. STORED AS TEXTFILE
  14. LOCATION '/user/hive/warehouse/test.db/raw_usr_traces_apd_d';