poyee-data-warehouse/jobs/raw/usr/raw_usr_traces_apd_d_backfill.sql

-- 作者：tianyu.chu
-- 日期：2026-06-17
-- 工单：(无)
-- 目的：埋点历史一次性回算 —— 全部 gz 一个 Spark job 解析脱敏、动态分区灌 raw（dt 走目录分区发现）
-- 状态：[待执行]
-- 备注：配批量 put —— 每个 gz 放到 /tmp/raw_usr_traces_backfill/dt={yyyymmdd}/，Spark 读时自动把 dt 当分区列
--       （比 input_file_name() 稳：后者在 text view + Python UDF 查询里返回空，会把行全落到 null 分区）；
--       日常增量仍用 raw_usr_traces_apd_d.py/.sql（单日静态分区）。本文件只供一次性回算。
--       动态覆盖本环境只覆盖 SELECT 出现的分区（kb/21 §8）——全史回算写全部分区，一波灌满。

ADD FILE conf/tracking-mask.ini;

CREATE OR REPLACE TEMPORARY VIEW traces_gz_backfill
USING text
OPTIONS (path '/tmp/raw_usr_traces_backfill/');

INSERT OVERWRITE TABLE raw.raw_usr_traces_apd_d PARTITION (dt)
SELECT
    get_json_object(value, '$._id')           AS es_id,
    get_json_object(value, '$._source.event') AS event_name,
    mask_source(value)                        AS raw_json,
    CAST(dt AS STRING)                        AS dt
FROM traces_gz_backfill;