浏览代码

docs(ods): 埋点 ods dt 注释改文件日(N=1 不归位,业务允许小偏差)

tianyu.chu 4 天之前
父节点
当前提交
0bc0963d4a
共有 2 个文件被更改,包括 7 次插入6 次删除
  1. 3 3
      jobs/ods/usr/ods_usr_traces_apd_d.sql
  2. 4 3
      manual/ddl/ods/usr/ods_usr_traces_apd_d_create.sql

+ 3 - 3
jobs/ods/usr/ods_usr_traces_apd_d.sql

@@ -1,10 +1,10 @@
 -- 作者:tianyu.chu
 -- 日期:2026-06-10
 -- 工单:(无)
--- 目的:埋点 raw → ods,解析脱敏后 _source JSON 拍平公共属性 + 保留 params_json;按事件日 dt 静态分区写入
+-- 目的:埋点 raw → ods,解析脱敏后 _source JSON 拍平公共属性 + 保留 params_json;按文件日 dt 静态分区写入(N=1 不归位)
 -- 状态:[待执行]
--- 备注:ES 按事件日分索引,raw.dt = 事件日,故 dt 静态写 ${dt}(不用动态分区,避开动态覆盖风险);
---       事件不可变,无双源 union / 无 update_time 去重;es_id 单文件内唯一;时区随集群(东八区)
+-- 备注:dt 静态写 ${dt} = 文件/上传日(N=1 不归位);实测文件内 ~99.4% 事件日=文件日,~0.6% 迟到/未来小偏差按当天落,业务允许(窗口决策见 workspace/20260610/埋点迟到漂移分布-窗口决策.md);
+--       事件不可变,无双源 union / 无去重;es_id 单文件内唯一;时区随集群(东八区)
 
 INSERT OVERWRITE TABLE ods.ods_usr_traces_apd_d PARTITION (dt = '${dt}')
 SELECT

+ 4 - 3
manual/ddl/ods/usr/ods_usr_traces_apd_d_create.sql

@@ -1,10 +1,11 @@
 -- 作者:tianyu.chu
 -- 日期:2026-06-10
 -- 工单:(无)
--- 目的:埋点 raw → ods,解析脱敏后 _source JSON:公共属性 typed 拍平成列 + params 半结构化(params_json);按事件日 dt 分区
+-- 目的:埋点 raw → ods,解析脱敏后 _source JSON:公共属性 typed 拍平成列 + params 半结构化(params_json);按文件日 dt 分区(≈事件日)
 -- 状态:[待执行]
 -- 备注:埋点 ods 特例——非业务库类型恢复,是 JSON 解析(kb/20 §0.2 旁);params 不 per-event 拍平(event explosion,见 ADR-13);
---       web 端字段(platform/merchantId/title 等)+ lib_detail 不拍平,回查走 raw raw_json;配套解析 SQL jobs/ods/usr/ods_usr_traces_apd_d.sql
+--       web 端字段(platform/merchantId/title 等)+ lib_detail 不拍平,回查走 raw raw_json;配套解析 SQL jobs/ods/usr/ods_usr_traces_apd_d.sql;
+--       dt = 文件/上传日不归位(N=1):实测 ~99.4% 事件日=文件日,~0.6% 迟到/未来小偏差按当天落,业务允许(分布见 workspace/20260610/埋点迟到漂移分布-窗口决策.md)
 
 DROP TABLE IF EXISTS ods.ods_usr_traces_apd_d;
 
@@ -46,6 +47,6 @@ CREATE EXTERNAL TABLE IF NOT EXISTS ods.ods_usr_traces_apd_d (
     params_json            STRING    COMMENT '事件专属 params(脱敏后 JSON,不 per-event 拍平)'
 )
 COMMENT '埋点 ods 层(解析拍平,params 半结构化)'
-PARTITIONED BY (dt STRING COMMENT 'yyyymmdd,事件日')
+PARTITIONED BY (dt STRING COMMENT 'yyyymmdd,文件/上传日(东八区,≈事件日 99.4%,迟到/未来小偏差按当天落)')
 STORED AS ORC
 LOCATION '/user/hive/warehouse/ods.db/ods_usr_traces_apd_d';