Jelajahi Sumber

fix(ddl): raw/ods 12 张 ful_d 改内部表,让 wdt 滚动 drop 真正删数据

外部表 DROP PARTITION 只摘元数据、HDFS 文件不删,游离目录每天累积一个;
3 张长留 ful_m 与 inc_d 拉链底座仍保持外部表。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
tianyu.chu 1 bulan lalu
induk
melakukan
810ae568c8

+ 3 - 1
manual/ddl/ods/prd/ods_prd_checklist_base_info_ful_d_create.sql

@@ -4,10 +4,12 @@
 -- 目的:ods 层维度全量快照表(typed),承接 raw ful_d 每日全量;按 dt 分区 ORC,保留近 7 天
 -- 状态:[待执行]
 -- 备注:配套 SQL = jobs/ods/prd/ods_prd_checklist_base_info_ful_d.sql;模型见 kb/24 §1.2.2
+--       内部表(managed)而非外部表:外部表 DROP PARTITION 只摘元数据、HDFS 文件不删,
+--       ${wdt} 滚动保留 7 天形同虚设、游离目录每天累积一个;本表每日全量重灌即可重建,无外部表兜底诉求
 
 DROP TABLE IF EXISTS ods.ods_prd_checklist_base_info_ful_d;
 
-CREATE EXTERNAL TABLE IF NOT EXISTS ods.ods_prd_checklist_base_info_ful_d (
+CREATE TABLE IF NOT EXISTS ods.ods_prd_checklist_base_info_ful_d (
     id                           BIGINT     COMMENT '主键',
     code                         STRING     COMMENT '编码',
     year                         STRING     COMMENT '年份(赛季)',

+ 3 - 1
manual/ddl/ods/prd/ods_prd_panini_checklist_base_info_ful_d_create.sql

@@ -4,10 +4,12 @@
 -- 目的:ods 层维度全量快照表(typed),承接 raw ful_d 每日全量;按 dt 分区 ORC,保留近 7 天
 -- 状态:[待执行]
 -- 备注:配套 SQL = jobs/ods/prd/ods_prd_panini_checklist_base_info_ful_d.sql;模型见 kb/24 §1.2.2
+--       内部表(managed)而非外部表:外部表 DROP PARTITION 只摘元数据、HDFS 文件不删,
+--       ${wdt} 滚动保留 7 天形同虚设、游离目录每天累积一个;本表每日全量重灌即可重建,无外部表兜底诉求
 
 DROP TABLE IF EXISTS ods.ods_prd_panini_checklist_base_info_ful_d;
 
-CREATE EXTERNAL TABLE IF NOT EXISTS ods.ods_prd_panini_checklist_base_info_ful_d (
+CREATE TABLE IF NOT EXISTS ods.ods_prd_panini_checklist_base_info_ful_d (
     id                     BIGINT         COMMENT '主键',
     code                   STRING         COMMENT '编码',
     year                   STRING         COMMENT '年份(赛季)',

+ 3 - 1
manual/ddl/ods/prd/ods_prd_panini_checklist_version_config_ful_d_create.sql

@@ -4,10 +4,12 @@
 -- 目的:ods 层维度全量快照表(typed),承接 raw ful_d 每日全量;按 dt 分区 ORC,保留近 7 天
 -- 状态:[待执行]
 -- 备注:配套 SQL = jobs/ods/prd/ods_prd_panini_checklist_version_config_ful_d.sql;模型见 kb/24 §1.2.2
+--       内部表(managed)而非外部表:外部表 DROP PARTITION 只摘元数据、HDFS 文件不删,
+--       ${wdt} 滚动保留 7 天形同虚设、游离目录每天累积一个;本表每日全量重灌即可重建,无外部表兜底诉求
 
 DROP TABLE IF EXISTS ods.ods_prd_panini_checklist_version_config_ful_d;
 
-CREATE EXTERNAL TABLE IF NOT EXISTS ods.ods_prd_panini_checklist_version_config_ful_d (
+CREATE TABLE IF NOT EXISTS ods.ods_prd_panini_checklist_version_config_ful_d (
     id                           BIGINT         COMMENT '',
     panini_list_id               BIGINT         COMMENT '基础库beseid',
     set_version                  STRING         COMMENT '版本',

+ 3 - 1
manual/ddl/ods/shp/ods_shp_tzy_merchant_info_ful_d_create.sql

@@ -4,10 +4,12 @@
 -- 目的:ods 层维度全量快照表(typed),承接 raw ful_d 每日全量;按 dt 分区 ORC,保留近 7 天
 -- 状态:[待执行]
 -- 备注:配套 SQL = jobs/ods/shp/ods_shp_tzy_merchant_info_ful_d.sql;模型见 kb/24 §1.2.2
+--       内部表(managed)而非外部表:外部表 DROP PARTITION 只摘元数据、HDFS 文件不删,
+--       ${wdt} 滚动保留 7 天形同虚设、游离目录每天累积一个;本表每日全量重灌即可重建,无外部表兜底诉求
 
 DROP TABLE IF EXISTS ods.ods_shp_tzy_merchant_info_ful_d;
 
-CREATE EXTERNAL TABLE IF NOT EXISTS ods.ods_shp_tzy_merchant_info_ful_d (
+CREATE TABLE IF NOT EXISTS ods.ods_shp_tzy_merchant_info_ful_d (
     id                      BIGINT     COMMENT 'id',
     appid                   STRING     COMMENT '授权程序',
     user_id                 BIGINT     COMMENT '后台用户账号id',

+ 3 - 1
manual/ddl/ods/usr/ods_usr_app_base_user_ful_d_create.sql

@@ -4,10 +4,12 @@
 -- 目的:ods 层维度全量快照表(typed),承接 raw ful_d 每日全量;按 dt 分区 ORC,保留近 7 天
 -- 状态:[待执行]
 -- 备注:配套 SQL = jobs/ods/usr/ods_usr_app_base_user_ful_d.sql;模型见 kb/24 §1.2.2
+--       内部表(managed)而非外部表:外部表 DROP PARTITION 只摘元数据、HDFS 文件不删,
+--       ${wdt} 滚动保留 7 天形同虚设、游离目录每天累积一个;本表每日全量重灌即可重建,无外部表兜底诉求
 
 DROP TABLE IF EXISTS ods.ods_usr_app_base_user_ful_d;
 
-CREATE EXTERNAL TABLE IF NOT EXISTS ods.ods_usr_app_base_user_ful_d (
+CREATE TABLE IF NOT EXISTS ods.ods_usr_app_base_user_ful_d (
     id                      BIGINT         COMMENT 'id',
     appid                   STRING         COMMENT '所属程序',
     point                   BIGINT         COMMENT '积分',

+ 3 - 1
manual/ddl/ods/usr/ods_usr_app_user_cert_info_ful_d_create.sql

@@ -4,10 +4,12 @@
 -- 目的:ods 层维度全量快照表(typed),承接 raw ful_d 每日全量;按 dt 分区 ORC,保留近 7 天
 -- 状态:[待执行]
 -- 备注:配套 SQL = jobs/ods/usr/ods_usr_app_user_cert_info_ful_d.sql;模型见 kb/24 §1.2.2
+--       内部表(managed)而非外部表:外部表 DROP PARTITION 只摘元数据、HDFS 文件不删,
+--       ${wdt} 滚动保留 7 天形同虚设、游离目录每天累积一个;本表每日全量重灌即可重建,无外部表兜底诉求
 
 DROP TABLE IF EXISTS ods.ods_usr_app_user_cert_info_ful_d;
 
-CREATE EXTERNAL TABLE IF NOT EXISTS ods.ods_usr_app_user_cert_info_ful_d (
+CREATE TABLE IF NOT EXISTS ods.ods_usr_app_user_cert_info_ful_d (
     id               BIGINT     COMMENT '',
     user_id          BIGINT     COMMENT '用户id',
     cert_birthday    TIMESTAMP  COMMENT '证件生日',

+ 3 - 1
manual/ddl/raw/prd/raw_prd_checklist_base_info_ful_d_create.sql

@@ -6,10 +6,12 @@
 -- 备注:配套 sync ini = jobs/raw/prd/raw_prd_checklist_base_info_ful_d.ini;
 --       配套 mask 配置 = jobs/raw/prd/raw_prd_checklist_base_info_ful_d.mask.ini;
 --       维度全量快照模型见 kb/24 §1.2.2;字段决策溯源 = kb/22-业务库raw建模.md §8
+--       内部表(managed)而非外部表:外部表 DROP PARTITION 只摘元数据、HDFS 文件不删,
+--       ${wdt} 滚动保留 7 天形同虚设、游离目录每天累积一个;本表每日全量重灌即可重建,无外部表兜底诉求
 
 DROP TABLE IF EXISTS raw.raw_prd_checklist_base_info_ful_d;
 
-CREATE EXTERNAL TABLE IF NOT EXISTS raw.raw_prd_checklist_base_info_ful_d (
+CREATE TABLE IF NOT EXISTS raw.raw_prd_checklist_base_info_ful_d (
     id                           STRING COMMENT '主键',
     code                         STRING COMMENT '编码',
     year                         STRING COMMENT '年份(赛季)',

+ 3 - 1
manual/ddl/raw/prd/raw_prd_panini_checklist_base_info_ful_d_create.sql

@@ -6,10 +6,12 @@
 -- 备注:配套 sync ini = jobs/raw/prd/raw_prd_panini_checklist_base_info_ful_d.ini;
 --       配套 mask 配置 = jobs/raw/prd/raw_prd_panini_checklist_base_info_ful_d.mask.ini;
 --       维度全量快照模型见 kb/24 §1.2.2;字段决策溯源 = kb/22-业务库raw建模.md §6
+--       内部表(managed)而非外部表:外部表 DROP PARTITION 只摘元数据、HDFS 文件不删,
+--       ${wdt} 滚动保留 7 天形同虚设、游离目录每天累积一个;本表每日全量重灌即可重建,无外部表兜底诉求
 
 DROP TABLE IF EXISTS raw.raw_prd_panini_checklist_base_info_ful_d;
 
-CREATE EXTERNAL TABLE IF NOT EXISTS raw.raw_prd_panini_checklist_base_info_ful_d (
+CREATE TABLE IF NOT EXISTS raw.raw_prd_panini_checklist_base_info_ful_d (
     id                     STRING COMMENT '主键',
     code                   STRING COMMENT '编码',
     year                   STRING COMMENT '年份(赛季)',

+ 3 - 1
manual/ddl/raw/prd/raw_prd_panini_checklist_version_config_ful_d_create.sql

@@ -6,10 +6,12 @@
 -- 备注:配套 sync ini = jobs/raw/prd/raw_prd_panini_checklist_version_config_ful_d.ini;
 --       配套 mask 配置 = jobs/raw/prd/raw_prd_panini_checklist_version_config_ful_d.mask.ini;
 --       维度全量快照模型见 kb/24 §1.2.2;字段决策溯源 = kb/22-业务库raw建模.md §7
+--       内部表(managed)而非外部表:外部表 DROP PARTITION 只摘元数据、HDFS 文件不删,
+--       ${wdt} 滚动保留 7 天形同虚设、游离目录每天累积一个;本表每日全量重灌即可重建,无外部表兜底诉求
 
 DROP TABLE IF EXISTS raw.raw_prd_panini_checklist_version_config_ful_d;
 
-CREATE EXTERNAL TABLE IF NOT EXISTS raw.raw_prd_panini_checklist_version_config_ful_d (
+CREATE TABLE IF NOT EXISTS raw.raw_prd_panini_checklist_version_config_ful_d (
     id                           STRING COMMENT '',
     panini_list_id               STRING COMMENT '基础库beseid',
     set_version                  STRING COMMENT '版本',

+ 3 - 1
manual/ddl/raw/shp/raw_shp_tzy_merchant_info_ful_d_create.sql

@@ -6,10 +6,12 @@
 -- 备注:配套 sync ini = jobs/raw/shp/raw_shp_tzy_merchant_info_ful_d.ini;
 --       配套 mask 配置 = jobs/raw/shp/raw_shp_tzy_merchant_info_ful_d.mask.ini;
 --       维度全量快照模型见 kb/24 §1.2.2;字段决策溯源 = kb/22-业务库raw建模.md §5
+--       内部表(managed)而非外部表:外部表 DROP PARTITION 只摘元数据、HDFS 文件不删,
+--       ${wdt} 滚动保留 7 天形同虚设、游离目录每天累积一个;本表每日全量重灌即可重建,无外部表兜底诉求
 
 DROP TABLE IF EXISTS raw.raw_shp_tzy_merchant_info_ful_d;
 
-CREATE EXTERNAL TABLE IF NOT EXISTS raw.raw_shp_tzy_merchant_info_ful_d (
+CREATE TABLE IF NOT EXISTS raw.raw_shp_tzy_merchant_info_ful_d (
     id                      STRING COMMENT 'id',
     appid                   STRING COMMENT '授权程序',
     user_id                 STRING COMMENT '后台用户账号id',

+ 3 - 1
manual/ddl/raw/usr/raw_usr_app_base_user_ful_d_create.sql

@@ -6,10 +6,12 @@
 -- 备注:配套 sync ini = jobs/raw/usr/raw_usr_app_base_user_ful_d.ini;
 --       配套 mask 配置 = jobs/raw/usr/raw_usr_app_base_user_ful_d.mask.ini;
 --       维度全量快照模型见 kb/24 §1.2.2;字段决策溯源 = kb/22-业务库raw建模.md §3
+--       内部表(managed)而非外部表:外部表 DROP PARTITION 只摘元数据、HDFS 文件不删,
+--       ${wdt} 滚动保留 7 天形同虚设、游离目录每天累积一个;本表每日全量重灌即可重建,无外部表兜底诉求
 
 DROP TABLE IF EXISTS raw.raw_usr_app_base_user_ful_d;
 
-CREATE EXTERNAL TABLE IF NOT EXISTS raw.raw_usr_app_base_user_ful_d (
+CREATE TABLE IF NOT EXISTS raw.raw_usr_app_base_user_ful_d (
     id                      STRING COMMENT 'id',
     appid                   STRING COMMENT '所属程序',
     point                   STRING COMMENT '积分',

+ 3 - 1
manual/ddl/raw/usr/raw_usr_app_user_cert_info_ful_d_create.sql

@@ -6,10 +6,12 @@
 -- 备注:配套 sync ini = jobs/raw/usr/raw_usr_app_user_cert_info_ful_d.ini;
 --       配套 mask 配置 = jobs/raw/usr/raw_usr_app_user_cert_info_ful_d.mask.ini;
 --       维度全量快照模型见 kb/24 §1.2.2;字段决策溯源 = kb/22-业务库raw建模.md §4
+--       内部表(managed)而非外部表:外部表 DROP PARTITION 只摘元数据、HDFS 文件不删,
+--       ${wdt} 滚动保留 7 天形同虚设、游离目录每天累积一个;本表每日全量重灌即可重建,无外部表兜底诉求
 
 DROP TABLE IF EXISTS raw.raw_usr_app_user_cert_info_ful_d;
 
-CREATE EXTERNAL TABLE IF NOT EXISTS raw.raw_usr_app_user_cert_info_ful_d (
+CREATE TABLE IF NOT EXISTS raw.raw_usr_app_user_cert_info_ful_d (
     id               STRING COMMENT '',
     user_id          STRING COMMENT '用户id',
     cert_birthday    STRING COMMENT '证件生日',