ソースを参照

feat(raw): 加 7 张 raw 表 mask.ini + sync.ini + DDL 第一版

- trd: card_group_info(124 字段)
- usr: app_base_user(66)/ app_user_cert_info(14)
- shp: tzy_merchant_info(71)
- prd: panini_checklist_base_info(33)/ panini_checklist_version_config(39)/ checklist_base_info(41)

mask.ini 注释标明性裁(来自 inbox 3.2.2.x 涉密评审,y/y(hash)/y(sync -month) → trim/md5/month_trunc)
+ 隐性裁(PG 业务库有 / inbox 草稿无的字段,待与业务库后端对账)。
隐性裁字段当前先统一 trim:merchant_open(trd)/ display_name_translations / sale_time / open_time(prd)。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
tianyu.chu 1 週間 前
コミット
171652fa0e

+ 0 - 0
jobs/raw/.gitkeep


+ 31 - 0
jobs/raw/prd/raw_prd_checklist_base_info_inc_d.ini

@@ -0,0 +1,31 @@
+; 作者:tianyu.chu
+; 日期:2026-04-30
+; 工单:(无)
+; 目的:PG public.checklist_base_info -> Hive raw.raw_prd_checklist_base_info_inc_d
+;       上线 checklist(checklist_base_info),日常增量同步,时间锚点 = update_time
+;
+; 配套 DDL:manual/ddl/raw/prd/raw_prd_checklist_base_info_inc_d_create.sql
+; 配套 mask 配置:jobs/raw/prd/raw_prd_checklist_base_info_inc_d.mask.ini
+; 状态:第一版(未与业务库后端对账)
+
+[reader]
+dataSource = postgresql/prd-poyee-aliyun
+database = hobby_stocks
+table = public.checklist_base_info
+column = id,code,year,sport,manufacturer,sets,display_name,type,num,use_num,status,remark,create_time,create_by,update_time,update_by,lot,del_flg,act_point_type,parent_id,sets_version,merchant_id,merchant_name,share,share_to_merchant,custom,panini_config_id,import_failure_cause,check_failure_cause,import_status,review_msg,sub_type,title,data_version,sport_blend,display_name_translations
+columnType =
+where = update_time >= '${start_date}' AND update_time < '${stop_date}'
+querySql =
+splitPk = id
+fetchSize = 1000
+
+[writer]
+dataSource = hdfs/prd-hdfs-ha
+path = /user/hive/warehouse/raw.db/raw_prd_checklist_base_info_inc_d/dt=${dt}/
+column = id,code,year,sport,manufacturer,sets,display_name,type,num,use_num,status,remark,create_time,create_by,update_time,update_by,lot,del_flg,act_point_type,parent_id,sets_version,merchant_id,merchant_name,share,share_to_merchant,custom,panini_config_id,import_failure_cause,check_failure_cause,import_status,review_msg,sub_type,title,data_version,sport_blend,display_name_translations
+columnType =
+fileType = orc
+fileName = raw_prd_checklist_base_info_inc_d
+encoding = UTF-8
+writeMode = truncate
+fieldDelimiter = \t

+ 20 - 0
jobs/raw/prd/raw_prd_checklist_base_info_inc_d.mask.ini

@@ -0,0 +1,20 @@
+; 表名:raw_prd_checklist_base_info_inc_d
+; 配套 sync ini:jobs/raw/prd/raw_prd_checklist_base_info_inc_d.ini
+; 配套 DDL:manual/ddl/raw/prd/raw_prd_checklist_base_info_inc_d_create.sql
+; 配套建模文档:kb/24-raw建模.md §8
+;
+; 字段决策来源:inbox 3.2.2.5 商品域建模.md(分析师库 ods 草稿) vs PG 业务库实际 schema 对账。
+;   - 明性裁:inbox 涉密列标 y / y(hash) / y(sync -month) → 审批会议决策。
+;     method 映射:y → trim、y(hash) → md5、y(sync -month) → month_trunc。
+;   - 隐性裁:PG 业务库有 / inbox 草稿无的字段(上游变更未通知下游,待与业务库后端对账)。
+;
+; 2026-04-30 第一版:本表 PG 字段集与 inbox 完全一致,无隐性裁。
+
+[mask]
+
+; ---- 明性裁 ----
+import_type = trim
+carmichael_img_type = trim
+select_column = trim
+import_url = trim
+carouse_map = trim

+ 31 - 0
jobs/raw/prd/raw_prd_panini_checklist_base_info_inc_d.ini

@@ -0,0 +1,31 @@
+; 作者:tianyu.chu
+; 日期:2026-04-30
+; 工单:(无)
+; 目的:PG public.panini_checklist_base_info -> Hive raw.raw_prd_panini_checklist_base_info_inc_d
+;       基础库 checklist(panini_checklist_base_info),日常增量同步,时间锚点 = update_time
+;
+; 配套 DDL:manual/ddl/raw/prd/raw_prd_panini_checklist_base_info_inc_d_create.sql
+; 配套 mask 配置:jobs/raw/prd/raw_prd_panini_checklist_base_info_inc_d.mask.ini
+; 状态:第一版(未与业务库后端对账)
+
+[reader]
+dataSource = postgresql/prd-poyee-aliyun
+database = hobby_stocks
+table = public.panini_checklist_base_info
+column = id,code,year,sport,manufacturer,sets,sets_version,display_name,type,num,use_num,status,remark,lot,del_flg,carmichael_img_type,create_time,create_by,update_time,update_by,import_type,report_flag,base_config,base_price,min_reference_price,max_reference_price,prop1,prop2,prop3,prop4,data_version,first_sport,sets_display_name
+columnType =
+where = update_time >= '${start_date}' AND update_time < '${stop_date}'
+querySql =
+splitPk = id
+fetchSize = 1000
+
+[writer]
+dataSource = hdfs/prd-hdfs-ha
+path = /user/hive/warehouse/raw.db/raw_prd_panini_checklist_base_info_inc_d/dt=${dt}/
+column = id,code,year,sport,manufacturer,sets,sets_version,display_name,type,num,use_num,status,remark,lot,del_flg,carmichael_img_type,create_time,create_by,update_time,update_by,import_type,report_flag,base_config,base_price,min_reference_price,max_reference_price,prop1,prop2,prop3,prop4,data_version,first_sport,sets_display_name
+columnType =
+fileType = orc
+fileName = raw_prd_panini_checklist_base_info_inc_d
+encoding = UTF-8
+writeMode = truncate
+fieldDelimiter = \t

+ 14 - 0
jobs/raw/prd/raw_prd_panini_checklist_base_info_inc_d.mask.ini

@@ -0,0 +1,14 @@
+; 表名:raw_prd_panini_checklist_base_info_inc_d
+; 配套 sync ini:jobs/raw/prd/raw_prd_panini_checklist_base_info_inc_d.ini
+; 配套 DDL:manual/ddl/raw/prd/raw_prd_panini_checklist_base_info_inc_d_create.sql
+; 配套建模文档:kb/24-raw建模.md §6
+;
+; 字段决策来源:inbox 3.2.2.5 商品域建模.md(分析师库 ods 草稿) vs PG 业务库实际 schema 对账。
+;   - 明性裁:inbox 涉密列标 y / y(hash) / y(sync -month) → 审批会议决策。
+;     method 映射:y → trim、y(hash) → md5、y(sync -month) → month_trunc。
+;   - 隐性裁:PG 业务库有 / inbox 草稿无的字段(上游变更未通知下游,待与业务库后端对账)。
+;
+; 2026-04-30 第一版:本表 PG 字段集与 inbox 完全一致,无明性裁、无隐性裁,全字段入仓。
+; 保留空 [mask] 段以满足 sync 生成器加载约定。
+
+[mask]

+ 31 - 0
jobs/raw/prd/raw_prd_panini_checklist_version_config_inc_d.ini

@@ -0,0 +1,31 @@
+; 作者:tianyu.chu
+; 日期:2026-04-30
+; 工单:(无)
+; 目的:PG public.panini_checklist_version_config -> Hive raw.raw_prd_panini_checklist_version_config_inc_d
+;       checklist 版本配置(panini_checklist_version_config),日常增量同步,时间锚点 = update_time
+;
+; 配套 DDL:manual/ddl/raw/prd/raw_prd_panini_checklist_version_config_inc_d_create.sql
+; 配套 mask 配置:jobs/raw/prd/raw_prd_panini_checklist_version_config_inc_d.mask.ini
+; 状态:第一版(未与业务库后端对账)
+
+[reader]
+dataSource = postgresql/prd-poyee-aliyun
+database = hobby_stocks
+table = public.panini_checklist_version_config
+column = id,panini_list_id,set_version,carmichael_img_type,import_type,report_flag,base_config,base_price,min_reference_price,max_reference_price,num,use_num,status,remark,del_flg,create_time,create_by,update_time,update_by,prop1,prop2,prop3,prop4,tag,display_name,presale_time,max_box,league,issuing_time,issuing_price
+columnType =
+where = update_time >= '${start_date}' AND update_time < '${stop_date}'
+querySql =
+splitPk = id
+fetchSize = 1000
+
+[writer]
+dataSource = hdfs/prd-hdfs-ha
+path = /user/hive/warehouse/raw.db/raw_prd_panini_checklist_version_config_inc_d/dt=${dt}/
+column = id,panini_list_id,set_version,carmichael_img_type,import_type,report_flag,base_config,base_price,min_reference_price,max_reference_price,num,use_num,status,remark,del_flg,create_time,create_by,update_time,update_by,prop1,prop2,prop3,prop4,tag,display_name,presale_time,max_box,league,issuing_time,issuing_price
+columnType =
+fileType = orc
+fileName = raw_prd_panini_checklist_version_config_inc_d
+encoding = UTF-8
+writeMode = truncate
+fieldDelimiter = \t

+ 26 - 0
jobs/raw/prd/raw_prd_panini_checklist_version_config_inc_d.mask.ini

@@ -0,0 +1,26 @@
+; 表名:raw_prd_panini_checklist_version_config_inc_d
+; 配套 sync ini:jobs/raw/prd/raw_prd_panini_checklist_version_config_inc_d.ini
+; 配套 DDL:manual/ddl/raw/prd/raw_prd_panini_checklist_version_config_inc_d_create.sql
+; 配套建模文档:kb/24-raw建模.md §7
+;
+; 字段决策来源:inbox 3.2.2.5 商品域建模.md(分析师库 ods 草稿) vs PG 业务库实际 schema 对账。
+;   - 明性裁:inbox 涉密列标 y / y(hash) / y(sync -month) → 审批会议决策。
+;     method 映射:y → trim、y(hash) → md5、y(sync -month) → month_trunc。
+;   - 隐性裁:PG 业务库有 / inbox 草稿无的字段(上游变更未通知下游,待与业务库后端对账)。
+;
+; 2026-04-30 第一版:隐性裁字段先统一 trim,待对账后定夺。
+
+[mask]
+
+; ---- 明性裁 ----
+carouse_map = trim
+tmp_download_url = trim
+tmp_is_new = trim
+i18n_tmp_download_url = trim
+i18n_tmp_is_new = trim
+product_images = trim
+
+; ---- 隐性裁(待对账)----
+display_name_translations = trim
+sale_time = trim
+open_time = trim

+ 31 - 0
jobs/raw/shp/raw_shp_tzy_merchant_info_inc_d.ini

@@ -0,0 +1,31 @@
+; 作者:tianyu.chu
+; 日期:2026-04-30
+; 工单:(无)
+; 目的:PG public.tzy_merchant_info -> Hive raw.raw_shp_tzy_merchant_info_inc_d
+;       商家信息表(tzy_merchant_info),日常增量同步,时间锚点 = update_time
+;
+; 配套 DDL:manual/ddl/raw/shp/raw_shp_tzy_merchant_info_inc_d_create.sql
+; 配套 mask 配置:jobs/raw/shp/raw_shp_tzy_merchant_info_inc_d.mask.ini
+; 状态:第一版(未与业务库后端对账)
+
+[reader]
+dataSource = postgresql/prd-poyee-aliyun
+database = hobby_stocks
+table = public.tzy_merchant_info
+column = id,appid,user_id,username,name,status,remark,create_by,create_time,update_by,update_time,code,fans,sale_num,applet_auth,applet_lives_auth,applet_lives_role,commission_rate,prop_json,sort_rate,check_status,live_type,living_auth_config,goods_sold_num,hot_config,tag_config,mall_role,living_time,express_level,del_flg,group_show_name,main_business,min_card_num,dy_name,current_month_score,member_level,member_name,member_medal,prefer_valid_time,tag_id,show_status,point_type,refund_limit_day,open_act_discount,reputation_score,hide_stock,version,total_sold_num,shipping_cost_config,merchant_group_id
+columnType =
+where = update_time >= '${start_date}' AND update_time < '${stop_date}'
+querySql =
+splitPk = id
+fetchSize = 1000
+
+[writer]
+dataSource = hdfs/prd-hdfs-ha
+path = /user/hive/warehouse/raw.db/raw_shp_tzy_merchant_info_inc_d/dt=${dt}/
+column = id,appid,user_id,username,name,status,remark,create_by,create_time,update_by,update_time,code,fans,sale_num,applet_auth,applet_lives_auth,applet_lives_role,commission_rate,prop_json,sort_rate,check_status,live_type,living_auth_config,goods_sold_num,hot_config,tag_config,mall_role,living_time,express_level,del_flg,group_show_name,main_business,min_card_num,dy_name,current_month_score,member_level,member_name,member_medal,prefer_valid_time,tag_id,show_status,point_type,refund_limit_day,open_act_discount,reputation_score,hide_stock,version,total_sold_num,shipping_cost_config,merchant_group_id
+columnType =
+fileType = orc
+fileName = raw_shp_tzy_merchant_info_inc_d
+encoding = UTF-8
+writeMode = truncate
+fieldDelimiter = \t

+ 36 - 0
jobs/raw/shp/raw_shp_tzy_merchant_info_inc_d.mask.ini

@@ -0,0 +1,36 @@
+; 表名:raw_shp_tzy_merchant_info_inc_d
+; 配套 sync ini:jobs/raw/shp/raw_shp_tzy_merchant_info_inc_d.ini
+; 配套 DDL:manual/ddl/raw/shp/raw_shp_tzy_merchant_info_inc_d_create.sql
+; 配套建模文档:kb/24-raw建模.md §5
+;
+; 字段决策来源:inbox 3.2.2.3 店铺域建模.md(分析师库 ods 草稿) vs PG 业务库实际 schema 对账。
+;   - 明性裁:inbox 涉密列标 y / y(hash) / y(sync -month) → 审批会议决策。
+;     method 映射:y → trim、y(hash) → md5、y(sync -month) → month_trunc。
+;   - 隐性裁:PG 业务库有 / inbox 草稿无的字段(上游变更未通知下游,待与业务库后端对账)。
+;
+; 2026-04-30 第一版:本表 PG 字段集与 inbox 完全一致,无隐性裁。
+
+[mask]
+
+; ---- 明性裁 ----
+avatar = trim
+linkname = trim
+link = trim
+address = trim
+more_address = trim
+anchor_wechat = trim
+customer_wechat = trim
+customer_qrcode = trim
+jd_token = trim
+jd_trade_code = trim
+jd_refresh_token = trim
+work_wechat_auth = trim
+self_sign_type = trim
+self_sign_id = trim
+self_sign_status = trim
+self_sign_status_msg = trim
+self_sign_data = trim
+pay_config = trim
+group_show_imgs = trim
+show_config_json = trim
+bond_amount = trim

+ 31 - 0
jobs/raw/trd/raw_trd_card_group_info_inc_d.ini

@@ -0,0 +1,31 @@
+; 作者:tianyu.chu
+; 日期:2026-04-30
+; 工单:(无)
+; 目的:PG public.card_group_info -> Hive raw.raw_trd_card_group_info_inc_d
+;       拼团信息表(card_group_info),日常增量同步,时间锚点 = update_time
+;
+; 配套 DDL:manual/ddl/raw/trd/raw_trd_card_group_info_inc_d_create.sql
+; 配套 mask 配置:jobs/raw/trd/raw_trd_card_group_info_inc_d.mask.ini
+; 状态:第一版(未与业务库后端对账)
+
+[reader]
+dataSource = postgresql/prd-poyee-aliyun
+database = hobby_stocks
+table = public.card_group_info
+column = id,merchant_id,appid,name,code,status,specs,type,random_type,total_price,copies,unit_price,sold_copies,release_time,cycle,show_applet,title,msg,remark,create_time,update_by,update_time,order_quota_min,order_quota_max,user_quota_max,start_time,marketing_info,reviewmsg,lock,commission_rate,year,sport,manufacturer,sets,act,config,info_config,total_num,banner_end_time,add_banner,finished_time,display_name,group_sets_no,close_payment_time,confirm_send_time,close_payment_status,open_card,close_payment_record,group_full_time,live_create_time,live_start_time,live_end_time,report_start_time,report_end_time,report_review_num,report_review_first_time,report_review_end_time,review_hold_time,review_approval_time,review_num,config_json,free_flag,group_info_search_index_col,mer_name,change_type,act_price,act_config_json,real_sold_num,weight,hot_type,team_first,prop1,prop2,prop3,point_rate,point_max,point_min,list_id,list_code,mix_copies,sub_type,act_point_type,payment_method,payment_total_price,payment_commission,payment_finished_price,payment_remain_price,payment_online_price,exclusive,has_bg,merchant_sort,del_flg,del_time,review_account,act_id,sold_end_time,panini_list_id,hot_type_config,goods_type,report_flag,use_coupon,user_level,custom,gift_card_id,group_show_name,min_card_num,act_type,waring_type,compensation_status,point_type,first_act_config,gift_config,version,extra_prop,use_member_discount
+columnType =
+where = update_time >= '${start_date}' AND update_time < '${stop_date}'
+querySql =
+splitPk = id
+fetchSize = 1000
+
+[writer]
+dataSource = hdfs/prd-hdfs-ha
+path = /user/hive/warehouse/raw.db/raw_trd_card_group_info_inc_d/dt=${dt}/
+column = id,merchant_id,appid,name,code,status,specs,type,random_type,total_price,copies,unit_price,sold_copies,release_time,cycle,show_applet,title,msg,remark,create_time,update_by,update_time,order_quota_min,order_quota_max,user_quota_max,start_time,marketing_info,reviewmsg,lock,commission_rate,year,sport,manufacturer,sets,act,config,info_config,total_num,banner_end_time,add_banner,finished_time,display_name,group_sets_no,close_payment_time,confirm_send_time,close_payment_status,open_card,close_payment_record,group_full_time,live_create_time,live_start_time,live_end_time,report_start_time,report_end_time,report_review_num,report_review_first_time,report_review_end_time,review_hold_time,review_approval_time,review_num,config_json,free_flag,group_info_search_index_col,mer_name,change_type,act_price,act_config_json,real_sold_num,weight,hot_type,team_first,prop1,prop2,prop3,point_rate,point_max,point_min,list_id,list_code,mix_copies,sub_type,act_point_type,payment_method,payment_total_price,payment_commission,payment_finished_price,payment_remain_price,payment_online_price,exclusive,has_bg,merchant_sort,del_flg,del_time,review_account,act_id,sold_end_time,panini_list_id,hot_type_config,goods_type,report_flag,use_coupon,user_level,custom,gift_card_id,group_show_name,min_card_num,act_type,waring_type,compensation_status,point_type,first_act_config,gift_config,version,extra_prop,use_member_discount
+columnType =
+fileType = orc
+fileName = raw_trd_card_group_info_inc_d
+encoding = UTF-8
+writeMode = truncate
+fieldDelimiter = \t

+ 26 - 0
jobs/raw/trd/raw_trd_card_group_info_inc_d.mask.ini

@@ -0,0 +1,26 @@
+; 表名:raw_trd_card_group_info_inc_d
+; 配套 sync ini:jobs/raw/trd/raw_trd_card_group_info_inc_d.ini
+; 配套 DDL:manual/ddl/raw/trd/raw_trd_card_group_info_inc_d_create.sql
+; 配套建模文档:kb/24-raw建模.md §2
+;
+; 字段决策来源:inbox 3.2.2.4 交易域建模.md(分析师库 ods 草稿) vs PG 业务库实际 schema 对账。
+;   - 明性裁:inbox 涉密列标 y / y(hash) / y(sync -month) → 审批会议决策。
+;     method 映射:y → trim、y(hash) → md5、y(sync -month) → month_trunc。
+;   - 隐性裁:PG 业务库有 / inbox 草稿无的字段(上游变更未通知下游,待与业务库后端对账)。
+;
+; 2026-04-30 第一版:隐性裁字段先统一 trim,待对账后定夺。
+
+[mask]
+
+; ---- 明性裁 ----
+property_config_ids = trim
+cover_picture = trim
+create_by = trim
+sort_default = trim
+sort_query = trim
+prop4 = trim
+carouses = trim
+group_show_imgs = trim
+
+; ---- 隐性裁(待对账)----
+merchant_open = trim

+ 34 - 0
jobs/raw/usr/raw_usr_app_base_user_inc_d.ini

@@ -0,0 +1,34 @@
+; 作者:tianyu.chu
+; 日期:2026-04-30
+; 工单:(无)
+; 目的:PG public.app_base_user -> Hive raw.raw_usr_app_base_user_inc_d
+;       用户主表(app_base_user),日常增量同步,时间锚点 = update_time
+;
+; 配套 DDL:manual/ddl/raw/usr/raw_usr_app_base_user_inc_d_create.sql
+; 配套 mask 配置:jobs/raw/usr/raw_usr_app_base_user_inc_d.mask.ini
+; 状态:第一版(未与业务库后端对账)
+
+[reader]
+dataSource = postgresql/prd-poyee-aliyun
+database = hobby_stocks
+table = public.app_base_user
+column = id,appid,point,level,register_channel,status,del_flg,remark,create_by,create_time,update_by,update_time,username,growth_num,code,notify_flag,user_id,notify_type,face_verify,open_psd,refuse_pick_up,prop1,prop2,prop3,prop4,window_open,open_invoice,blacklist,id_card,member_level,member_name,current_month_growth,member_init_flag,member_keep_growth,register_ip_addr,register_addr,login_ip_addr,login_addr,notify_top_show,voice_reminder,vibrate_reminder,consume_amount,order_total_num,open_card_show,effects_type,live_config_json,cancel_verify_num,version,daily_limit,weekly_limit,monthly_limit,live_anonymous
+columnType =
+where = update_time >= '${start_date}' AND update_time < '${stop_date}'
+querySql =
+splitPk = id
+fetchSize = 1000
+
+[mask]
+id_card = md5
+
+[writer]
+dataSource = hdfs/prd-hdfs-ha
+path = /user/hive/warehouse/raw.db/raw_usr_app_base_user_inc_d/dt=${dt}/
+column = id,appid,point,level,register_channel,status,del_flg,remark,create_by,create_time,update_by,update_time,username,growth_num,code,notify_flag,user_id,notify_type,face_verify,open_psd,refuse_pick_up,prop1,prop2,prop3,prop4,window_open,open_invoice,blacklist,id_card,member_level,member_name,current_month_growth,member_init_flag,member_keep_growth,register_ip_addr,register_addr,login_ip_addr,login_addr,notify_top_show,voice_reminder,vibrate_reminder,consume_amount,order_total_num,open_card_show,effects_type,live_config_json,cancel_verify_num,version,daily_limit,weekly_limit,monthly_limit,live_anonymous
+columnType =
+fileType = orc
+fileName = raw_usr_app_base_user_inc_d
+encoding = UTF-8
+writeMode = truncate
+fieldDelimiter = \t

+ 30 - 0
jobs/raw/usr/raw_usr_app_base_user_inc_d.mask.ini

@@ -0,0 +1,30 @@
+; 表名:raw_usr_app_base_user_inc_d
+; 配套 sync ini:jobs/raw/usr/raw_usr_app_base_user_inc_d.ini
+; 配套 DDL:manual/ddl/raw/usr/raw_usr_app_base_user_inc_d_create.sql
+; 配套建模文档:kb/24-raw建模.md §3
+;
+; 字段决策来源:inbox 3.2.2.2 用户域建模.md(分析师库 ods 草稿) vs PG 业务库实际 schema 对账。
+;   - 明性裁:inbox 涉密列标 y / y(hash) / y(sync -month) → 审批会议决策。
+;     method 映射:y → trim、y(hash) → md5、y(sync -month) → month_trunc。
+;   - 隐性裁:PG 业务库有 / inbox 草稿无的字段(上游变更未通知下游,待与业务库后端对账)。
+;
+; 2026-04-30 第一版:本表 PG 字段集与 inbox 完全一致,无隐性裁。
+
+[mask]
+
+; ---- 明性裁 ----
+realname = trim
+nickname = trim
+avatar = trim
+birthday = trim
+sex = trim
+openid = trim
+unionid = trim
+sms_register_id = trim
+pay_psd = trim
+login_psd = trim
+cert_name = trim
+alipay_account = trim
+user_cert_data = trim
+transfer_sub_id = trim
+id_card = md5

+ 34 - 0
jobs/raw/usr/raw_usr_app_user_cert_info_inc_d.ini

@@ -0,0 +1,34 @@
+; 作者:tianyu.chu
+; 日期:2026-04-30
+; 工单:(无)
+; 目的:PG public.app_user_cert_info -> Hive raw.raw_usr_app_user_cert_info_inc_d
+;       用户证件信息表(app_user_cert_info),日常增量同步,时间锚点 = update_time
+;
+; 配套 DDL:manual/ddl/raw/usr/raw_usr_app_user_cert_info_inc_d_create.sql
+; 配套 mask 配置:jobs/raw/usr/raw_usr_app_user_cert_info_inc_d.mask.ini
+; 状态:第一版(未与业务库后端对账)
+
+[reader]
+dataSource = postgresql/prd-poyee-aliyun
+database = hobby_stocks
+table = public.app_user_cert_info
+column = id,user_id,cert_birthday,cert_sex,cert_province,cert_city,version,status,del_flag,create_time,update_time
+columnType =
+where = update_time >= '${start_date}' AND update_time < '${stop_date}'
+querySql =
+splitPk = id
+fetchSize = 1000
+
+[mask]
+cert_birthday = month_trunc
+
+[writer]
+dataSource = hdfs/prd-hdfs-ha
+path = /user/hive/warehouse/raw.db/raw_usr_app_user_cert_info_inc_d/dt=${dt}/
+column = id,user_id,cert_birthday,cert_sex,cert_province,cert_city,version,status,del_flag,create_time,update_time
+columnType =
+fileType = orc
+fileName = raw_usr_app_user_cert_info_inc_d
+encoding = UTF-8
+writeMode = truncate
+fieldDelimiter = \t

+ 19 - 0
jobs/raw/usr/raw_usr_app_user_cert_info_inc_d.mask.ini

@@ -0,0 +1,19 @@
+; 表名:raw_usr_app_user_cert_info_inc_d
+; 配套 sync ini:jobs/raw/usr/raw_usr_app_user_cert_info_inc_d.ini
+; 配套 DDL:manual/ddl/raw/usr/raw_usr_app_user_cert_info_inc_d_create.sql
+; 配套建模文档:kb/24-raw建模.md §4
+;
+; 字段决策来源:inbox 3.2.2.2 用户域建模.md(分析师库 ods 草稿) vs PG 业务库实际 schema 对账。
+;   - 明性裁:inbox 涉密列标 y / y(hash) / y(sync -month) → 审批会议决策。
+;     method 映射:y → trim、y(hash) → md5、y(sync -month) → month_trunc。
+;   - 隐性裁:PG 业务库有 / inbox 草稿无的字段(上游变更未通知下游,待与业务库后端对账)。
+;
+; 2026-04-30 第一版:本表 PG 字段集与 inbox 完全一致,无隐性裁。
+
+[mask]
+
+; ---- 明性裁 ----
+user_cert_data = trim
+cert_no = trim
+cert_real_name = trim
+cert_birthday = month_trunc

+ 53 - 0
manual/ddl/raw/prd/raw_prd_checklist_base_info_inc_d_create.sql

@@ -0,0 +1,53 @@
+-- 作者:tianyu.chu
+-- 日期:2026-04-30
+-- 工单:(无)
+-- 目的:raw 层贴源增量表,承接 PG public.checklist_base_info 日常增量;全字段 STRING,按 dt 分区 ORC 存储
+-- 状态:第一版(未与业务库后端对账)
+-- 备注:配套 sync ini = jobs/raw/prd/raw_prd_checklist_base_info_inc_d.ini;
+--       配套 mask 配置 = jobs/raw/prd/raw_prd_checklist_base_info_inc_d.mask.ini;
+--       字段决策溯源 = kb/24-raw建模.md
+
+DROP TABLE IF EXISTS raw.raw_prd_checklist_base_info_inc_d;
+
+CREATE EXTERNAL TABLE IF NOT EXISTS raw.raw_prd_checklist_base_info_inc_d (
+    id                           STRING COMMENT '主键',
+    code                         STRING COMMENT '编码',
+    year                         STRING COMMENT '年份(赛季)',
+    sport                        STRING COMMENT '运动类型',
+    manufacturer                 STRING COMMENT '厂商(发行商)',
+    sets                         STRING COMMENT '系列',
+    display_name                 STRING COMMENT '别名(显示名)',
+    type                         STRING COMMENT '可组类型',
+    num                          STRING COMMENT 'list数量',
+    use_num                      STRING COMMENT '使用次数',
+    status                       STRING COMMENT '状态',
+    remark                       STRING COMMENT '描述',
+    create_time                  STRING COMMENT '',
+    create_by                    STRING COMMENT '',
+    update_time                  STRING COMMENT '',
+    update_by                    STRING COMMENT '',
+    lot                          STRING COMMENT '是否是lot',
+    del_flg                      STRING COMMENT '是否删除:0=正常,1=删除',
+    act_point_type               STRING COMMENT '额外积分类型,SP等',
+    parent_id                    STRING COMMENT '父id',
+    sets_version                 STRING COMMENT '系列版本',
+    merchant_id                  STRING COMMENT '商家id',
+    merchant_name                STRING COMMENT '商家名',
+    share                        STRING COMMENT '是否分享:0=否,1= 是',
+    share_to_merchant            STRING COMMENT '指定分享到商家',
+    custom                       STRING COMMENT '是否自定义',
+    panini_config_id             STRING COMMENT '系列版本配置id',
+    import_failure_cause         STRING COMMENT '导入失败原因',
+    check_failure_cause          STRING COMMENT '检查失败原因',
+    import_status                STRING COMMENT 'checklist文件状态',
+    review_msg                   STRING COMMENT '审核理由',
+    sub_type                     STRING COMMENT '可组类型子类型:选随随机用',
+    title                        STRING COMMENT '拼团checklist描述:',
+    data_version                 STRING COMMENT '数据版本',
+    sport_blend                  STRING COMMENT '是否单一运动类型:0否',
+    display_name_translations    STRING COMMENT '别名-国际版'
+)
+COMMENT '上线 checklist'
+PARTITIONED BY (dt STRING)
+STORED AS ORC
+LOCATION '/user/hive/warehouse/raw.db/raw_prd_checklist_base_info_inc_d';

+ 50 - 0
manual/ddl/raw/prd/raw_prd_panini_checklist_base_info_inc_d_create.sql

@@ -0,0 +1,50 @@
+-- 作者:tianyu.chu
+-- 日期:2026-04-30
+-- 工单:(无)
+-- 目的:raw 层贴源增量表,承接 PG public.panini_checklist_base_info 日常增量;全字段 STRING,按 dt 分区 ORC 存储
+-- 状态:第一版(未与业务库后端对账)
+-- 备注:配套 sync ini = jobs/raw/prd/raw_prd_panini_checklist_base_info_inc_d.ini;
+--       配套 mask 配置 = jobs/raw/prd/raw_prd_panini_checklist_base_info_inc_d.mask.ini;
+--       字段决策溯源 = kb/24-raw建模.md
+
+DROP TABLE IF EXISTS raw.raw_prd_panini_checklist_base_info_inc_d;
+
+CREATE EXTERNAL TABLE IF NOT EXISTS raw.raw_prd_panini_checklist_base_info_inc_d (
+    id                     STRING COMMENT '主键',
+    code                   STRING COMMENT '编码',
+    year                   STRING COMMENT '年份(赛季)',
+    sport                  STRING COMMENT '运动类型',
+    manufacturer           STRING COMMENT '厂商(发行商)',
+    sets                   STRING COMMENT '系列',
+    sets_version           STRING COMMENT '版本',
+    display_name           STRING COMMENT '别名(显示名)',
+    type                   STRING COMMENT '可组类型',
+    num                    STRING COMMENT 'list数量',
+    use_num                STRING COMMENT '使用次数',
+    status                 STRING COMMENT '状态',
+    remark                 STRING COMMENT '描述',
+    lot                    STRING COMMENT '是否是lot',
+    del_flg                STRING COMMENT '是否删除:0=正常,1=删除',
+    carmichael_img_type    STRING COMMENT '卡密图片适用类型:球员,球队,other,all',
+    create_time            STRING COMMENT '',
+    create_by              STRING COMMENT '',
+    update_time            STRING COMMENT '',
+    update_by              STRING COMMENT '',
+    import_type            STRING COMMENT '导入类型',
+    report_flag            STRING COMMENT '是否强制使用新版报告形式,默认0:非,1:强制',
+    base_config            STRING COMMENT '配置',
+    base_price             STRING COMMENT '指导价: 元/箱',
+    min_reference_price    STRING COMMENT '参考价范围-最小',
+    max_reference_price    STRING COMMENT '参考价范围-最大',
+    prop1                  STRING COMMENT '',
+    prop2                  STRING COMMENT '',
+    prop3                  STRING COMMENT '',
+    prop4                  STRING COMMENT '',
+    data_version           STRING COMMENT '数据版本',
+    first_sport            STRING COMMENT '大分类-品类(运动类型)',
+    sets_display_name      STRING COMMENT '系列简称'
+)
+COMMENT '基础库 checklist'
+PARTITIONED BY (dt STRING)
+STORED AS ORC
+LOCATION '/user/hive/warehouse/raw.db/raw_prd_panini_checklist_base_info_inc_d';

+ 47 - 0
manual/ddl/raw/prd/raw_prd_panini_checklist_version_config_inc_d_create.sql

@@ -0,0 +1,47 @@
+-- 作者:tianyu.chu
+-- 日期:2026-04-30
+-- 工单:(无)
+-- 目的:raw 层贴源增量表,承接 PG public.panini_checklist_version_config 日常增量;全字段 STRING,按 dt 分区 ORC 存储
+-- 状态:第一版(未与业务库后端对账)
+-- 备注:配套 sync ini = jobs/raw/prd/raw_prd_panini_checklist_version_config_inc_d.ini;
+--       配套 mask 配置 = jobs/raw/prd/raw_prd_panini_checklist_version_config_inc_d.mask.ini;
+--       字段决策溯源 = kb/24-raw建模.md
+
+DROP TABLE IF EXISTS raw.raw_prd_panini_checklist_version_config_inc_d;
+
+CREATE EXTERNAL TABLE IF NOT EXISTS raw.raw_prd_panini_checklist_version_config_inc_d (
+    id                     STRING COMMENT '',
+    panini_list_id         STRING COMMENT '基础库beseid',
+    set_version            STRING COMMENT '版本',
+    carmichael_img_type    STRING COMMENT '卡密图片适用类型:球员,球队,other,all',
+    import_type            STRING COMMENT '导入类型',
+    report_flag            STRING COMMENT '是否强制使用新版报告形式,默认0:非,1:强制',
+    base_config            STRING COMMENT '配置',
+    base_price             STRING COMMENT '指导价: 元/箱',
+    min_reference_price    STRING COMMENT '参考价范围-最小',
+    max_reference_price    STRING COMMENT '参考价范围-最大',
+    num                    STRING COMMENT 'list数量',
+    use_num                STRING COMMENT '使用次数',
+    status                 STRING COMMENT '状态',
+    remark                 STRING COMMENT '描述',
+    del_flg                STRING COMMENT '是否删除:0=正常,1=删除',
+    create_time            STRING COMMENT '',
+    create_by              STRING COMMENT '',
+    update_time            STRING COMMENT '',
+    update_by              STRING COMMENT '',
+    prop1                  STRING COMMENT '',
+    prop2                  STRING COMMENT '',
+    prop3                  STRING COMMENT '',
+    prop4                  STRING COMMENT '',
+    tag                    STRING COMMENT '标签,关键字',
+    display_name           STRING COMMENT '别名',
+    presale_time           STRING COMMENT '预售时间开播时间',
+    max_box                STRING COMMENT '规格限制:最多 盒',
+    league                 STRING COMMENT '联赛',
+    issuing_time           STRING COMMENT '发行日期',
+    issuing_price          STRING COMMENT '发行价格:单价元/箱'
+)
+COMMENT 'checklist 版本配置'
+PARTITIONED BY (dt STRING)
+STORED AS ORC
+LOCATION '/user/hive/warehouse/raw.db/raw_prd_panini_checklist_version_config_inc_d';

+ 67 - 0
manual/ddl/raw/shp/raw_shp_tzy_merchant_info_inc_d_create.sql

@@ -0,0 +1,67 @@
+-- 作者:tianyu.chu
+-- 日期:2026-04-30
+-- 工单:(无)
+-- 目的:raw 层贴源增量表,承接 PG public.tzy_merchant_info 日常增量;全字段 STRING,按 dt 分区 ORC 存储
+-- 状态:第一版(未与业务库后端对账)
+-- 备注:配套 sync ini = jobs/raw/shp/raw_shp_tzy_merchant_info_inc_d.ini;
+--       配套 mask 配置 = jobs/raw/shp/raw_shp_tzy_merchant_info_inc_d.mask.ini;
+--       字段决策溯源 = kb/24-raw建模.md
+
+DROP TABLE IF EXISTS raw.raw_shp_tzy_merchant_info_inc_d;
+
+CREATE EXTERNAL TABLE IF NOT EXISTS raw.raw_shp_tzy_merchant_info_inc_d (
+    id                      STRING COMMENT 'id',
+    appid                   STRING COMMENT '授权程序',
+    user_id                 STRING COMMENT '后台用户账号id',
+    username                STRING COMMENT '后台账户(统一登陆账号)',
+    name                    STRING COMMENT '名称',
+    status                  STRING COMMENT '状态',
+    remark                  STRING COMMENT '备注',
+    create_by               STRING COMMENT '创建人',
+    create_time             STRING COMMENT '创建时间',
+    update_by               STRING COMMENT '更新人',
+    update_time             STRING COMMENT '更细时间',
+    code                    STRING COMMENT '',
+    fans                    STRING COMMENT '粉丝数量',
+    sale_num                STRING COMMENT '销量',
+    applet_auth             STRING COMMENT '是否绑定小程序-',
+    applet_lives_auth       STRING COMMENT '是否授权小程序直播',
+    applet_lives_role       STRING COMMENT '小程序角色',
+    commission_rate         STRING COMMENT '佣金比例(百分比)',
+    prop_json               STRING COMMENT '',
+    sort_rate               STRING COMMENT '权重比',
+    check_status            STRING COMMENT '',
+    live_type               STRING COMMENT '直播类型,默认小程序applet,企业微信:work_wx;融云:rongcloud',
+    living_auth_config      STRING COMMENT '商家主播配置',
+    goods_sold_num          STRING COMMENT '商城商品售出数量',
+    hot_config              STRING COMMENT '热度配置',
+    tag_config              STRING COMMENT '标签配置',
+    mall_role               STRING COMMENT '是否是APP商城用户:0否,1是',
+    living_time             STRING COMMENT '直播时间范围',
+    express_level           STRING COMMENT '快递等级:',
+    del_flg                 STRING COMMENT '删除标记:默认0 :1=删除',
+    group_show_name         STRING COMMENT '商家精美卡片展示名称',
+    main_business           STRING COMMENT '主营业务:篮球,足球,其他运动(棒球、冰球、橄榄球),tcg,其他收藏',
+    min_card_num            STRING COMMENT '精美卡片最小发货单位',
+    dy_name                 STRING COMMENT '抖音信息',
+    current_month_score     STRING COMMENT '当月综合评分(前三个月最高评分)',
+    member_level            STRING COMMENT '商家会员等级',
+    member_name             STRING COMMENT '商家会员等级名称',
+    member_medal            STRING COMMENT '商家会员等级勋章',
+    prefer_valid_time       STRING COMMENT '优选商家过期时间',
+    tag_id                  STRING COMMENT '商家分类标签id:逗号分割',
+    show_status             STRING COMMENT '是否搜索展示,默认0,1:不展示',
+    point_type              STRING COMMENT '',
+    refund_limit_day        STRING COMMENT '拼豆退款申请次数限制天数,默认14',
+    open_act_discount       STRING COMMENT '是否打开无余额模式,默认0:关闭,打开:1',
+    reputation_score        STRING COMMENT '信誉评分',
+    hide_stock              STRING COMMENT '隐藏库存',
+    version                 STRING COMMENT '',
+    total_sold_num          STRING COMMENT '累计上架数量',
+    shipping_cost_config    STRING COMMENT '运费配置',
+    merchant_group_id       STRING COMMENT '集团id'
+)
+COMMENT '商家信息表'
+PARTITIONED BY (dt STRING)
+STORED AS ORC
+LOCATION '/user/hive/warehouse/raw.db/raw_shp_tzy_merchant_info_inc_d';

+ 132 - 0
manual/ddl/raw/trd/raw_trd_card_group_info_inc_d_create.sql

@@ -0,0 +1,132 @@
+-- 作者:tianyu.chu
+-- 日期:2026-04-30
+-- 工单:(无)
+-- 目的:raw 层贴源增量表,承接 PG public.card_group_info 日常增量;全字段 STRING,按 dt 分区 ORC 存储
+-- 状态:第一版(未与业务库后端对账)
+-- 备注:配套 sync ini = jobs/raw/trd/raw_trd_card_group_info_inc_d.ini;
+--       配套 mask 配置 = jobs/raw/trd/raw_trd_card_group_info_inc_d.mask.ini;
+--       字段决策溯源 = kb/24-raw建模.md
+
+DROP TABLE IF EXISTS raw.raw_trd_card_group_info_inc_d;
+
+CREATE EXTERNAL TABLE IF NOT EXISTS raw.raw_trd_card_group_info_inc_d (
+    id                             STRING COMMENT 'id',
+    merchant_id                    STRING COMMENT '商家id',
+    appid                          STRING COMMENT '所属程序',
+    name                           STRING COMMENT '名称',
+    code                           STRING COMMENT '编码',
+    status                         STRING COMMENT '状态',
+    specs                          STRING COMMENT '商品规格',
+    type                           STRING COMMENT '组团方式',
+    random_type                    STRING COMMENT '随机方式',
+    total_price                    STRING COMMENT '商品总价',
+    copies                         STRING COMMENT '商品份数',
+    unit_price                     STRING COMMENT '单份售价',
+    sold_copies                    STRING COMMENT '售出份数',
+    release_time                   STRING COMMENT '发布时间',
+    cycle                          STRING COMMENT '销售周期',
+    show_applet                    STRING COMMENT '是否在小程序显示',
+    title                          STRING COMMENT '商品子标题',
+    msg                            STRING COMMENT '详情描述',
+    remark                         STRING COMMENT '备注',
+    create_time                    STRING COMMENT '创建时间',
+    update_by                      STRING COMMENT '更新人',
+    update_time                    STRING COMMENT '更新时间',
+    order_quota_min                STRING COMMENT '每笔订单最少购买',
+    order_quota_max                STRING COMMENT '每笔订单最多购买',
+    user_quota_max                 STRING COMMENT '用户最多购买',
+    start_time                     STRING COMMENT '计划开售时间',
+    marketing_info                 STRING COMMENT '营销信息',
+    reviewmsg                      STRING COMMENT '审核描述',
+    lock                           STRING COMMENT '锁定状态',
+    commission_rate                STRING COMMENT '佣金比例(百分比)',
+    year                           STRING COMMENT '',
+    sport                          STRING COMMENT '',
+    manufacturer                   STRING COMMENT '',
+    sets                           STRING COMMENT '',
+    act                            STRING COMMENT '',
+    config                         STRING COMMENT '',
+    info_config                    STRING COMMENT '',
+    total_num                      STRING COMMENT '',
+    banner_end_time                STRING COMMENT '',
+    add_banner                     STRING COMMENT '',
+    finished_time                  STRING COMMENT '结束时间',
+    display_name                   STRING COMMENT '系列别名(显示名)',
+    group_sets_no                  STRING COMMENT '同商家,同系列 序号',
+    close_payment_time             STRING COMMENT '打款日期(确认发货日期 后5个工作日)',
+    confirm_send_time              STRING COMMENT '确认发货日期',
+    close_payment_status           STRING COMMENT '结算状态:100=未结束,101=待申请,201=审核中,202=驳回,203=审核通过/待打款,301=打款成功/结束结算,302=部分打款成功,501=已开票',
+    open_card                      STRING COMMENT '开卡动作,0:无开卡动作,1:有',
+    close_payment_record           STRING COMMENT '结款记录',
+    group_full_time                STRING COMMENT '组齐时间',
+    live_create_time               STRING COMMENT '直播创建时间',
+    live_start_time                STRING COMMENT '直播开播时间',
+    live_end_time                  STRING COMMENT '直播结束时间',
+    report_start_time              STRING COMMENT '报告开始时间',
+    report_end_time                STRING COMMENT '报告结束时间',
+    report_review_num              STRING COMMENT '报告审核次数',
+    report_review_first_time       STRING COMMENT '报告第一次审核时间',
+    report_review_end_time         STRING COMMENT '报告最后一次审核时间',
+    review_hold_time               STRING COMMENT '组队提交审核时间',
+    review_approval_time           STRING COMMENT '组队审核通过时间',
+    review_num                     STRING COMMENT '组队审核次数(驳回次数)',
+    config_json                    STRING COMMENT '',
+    free_flag                      STRING COMMENT '免单标记',
+    group_info_search_index_col    STRING COMMENT '',
+    mer_name                       STRING COMMENT '商户名称',
+    change_type                    STRING COMMENT '买对玩法,改变之后的组队方式',
+    act_price                      STRING COMMENT '私域分享优惠价',
+    act_config_json                STRING COMMENT '新营销活动配置',
+    real_sold_num                  STRING COMMENT '实际销售数量',
+    weight                         STRING COMMENT '重量',
+    hot_type                       STRING COMMENT '查询type',
+    team_first                     STRING COMMENT '开启包队优先玩法',
+    prop1                          STRING COMMENT '积分标记,1代表需要统计',
+    prop2                          STRING COMMENT '搜索别名',
+    prop3                          STRING COMMENT '精美卡片',
+    point_rate                     STRING COMMENT '积分转换比例,默认1:100',
+    point_max                      STRING COMMENT '积分兑换最大值',
+    point_min                      STRING COMMENT '积分兑换最小值',
+    list_id                        STRING COMMENT 'checklistId',
+    list_code                      STRING COMMENT 'checklistCode',
+    mix_copies                     STRING COMMENT '组合加倍,默认1',
+    sub_type                       STRING COMMENT '组队方式子方式',
+    act_point_type                 STRING COMMENT '额外积分类型,SP等',
+    payment_method                 STRING COMMENT '打款方式:0 = 线下打款(默认),1=线上打款',
+    payment_total_price            STRING COMMENT '打款总金额',
+    payment_commission             STRING COMMENT '佣金金额',
+    payment_finished_price         STRING COMMENT '已打款金额',
+    payment_remain_price           STRING COMMENT '剩余打款金额',
+    payment_online_price           STRING COMMENT '线上打款金额',
+    exclusive                      STRING COMMENT '是否使用专属支付通道:0否(默认),1是',
+    has_bg                         STRING COMMENT '是否有背景图:0否(默认),1=是',
+    merchant_sort                  STRING COMMENT '商家自定义排序',
+    del_flg                        STRING COMMENT '删除标记',
+    del_time                       STRING COMMENT '删除时间',
+    review_account                 STRING COMMENT '审核账号',
+    act_id                         STRING COMMENT '关联活动id',
+    sold_end_time                  STRING COMMENT '售卖结束时间',
+    panini_list_id                 STRING COMMENT '帕尼尼list表id',
+    hot_type_config                STRING COMMENT 'hotType 配置',
+    goods_type                     STRING COMMENT '卡密类型,默认0,1:新库',
+    report_flag                    STRING COMMENT '是否强制使用新版报告形式,默认0:非,1:强制',
+    use_coupon                     STRING COMMENT '是否可用优惠劵,默认0:可以,1:不允许',
+    user_level                     STRING COMMENT '用户可看等级',
+    custom                         STRING COMMENT '是否自定义,1=是',
+    gift_card_id                   STRING COMMENT '关联精美卡片id',
+    group_show_name                STRING COMMENT '精美卡片名称',
+    min_card_num                   STRING COMMENT '免运费达标数量',
+    act_type                       STRING COMMENT '活动标签',
+    waring_type                    STRING COMMENT '风险异常类型',
+    compensation_status            STRING COMMENT '赔付状态:1未补偿、2已补偿',
+    point_type                     STRING COMMENT '兑换积分类型,搭配point使用',
+    first_act_config               STRING COMMENT '首次购买活动',
+    gift_config                    STRING COMMENT '赠礼活动配置',
+    version                        STRING COMMENT '',
+    extra_prop                     STRING COMMENT '额外配置json信息',
+    use_member_discount            STRING COMMENT '参与会员折扣:默认0不参与 平台会员折扣 1 品牌会员折扣 2'
+)
+COMMENT '拼团信息表'
+PARTITIONED BY (dt STRING)
+STORED AS ORC
+LOCATION '/user/hive/warehouse/raw.db/raw_trd_card_group_info_inc_d';

+ 69 - 0
manual/ddl/raw/usr/raw_usr_app_base_user_inc_d_create.sql

@@ -0,0 +1,69 @@
+-- 作者:tianyu.chu
+-- 日期:2026-04-30
+-- 工单:(无)
+-- 目的:raw 层贴源增量表,承接 PG public.app_base_user 日常增量;全字段 STRING,按 dt 分区 ORC 存储
+-- 状态:第一版(未与业务库后端对账)
+-- 备注:配套 sync ini = jobs/raw/usr/raw_usr_app_base_user_inc_d.ini;
+--       配套 mask 配置 = jobs/raw/usr/raw_usr_app_base_user_inc_d.mask.ini;
+--       字段决策溯源 = kb/24-raw建模.md
+
+DROP TABLE IF EXISTS raw.raw_usr_app_base_user_inc_d;
+
+CREATE EXTERNAL TABLE IF NOT EXISTS raw.raw_usr_app_base_user_inc_d (
+    id                      STRING COMMENT 'id',
+    appid                   STRING COMMENT '所属程序',
+    point                   STRING COMMENT '积分',
+    level                   STRING COMMENT '会员等级',
+    register_channel        STRING COMMENT '注册渠道',
+    status                  STRING COMMENT '状态',
+    del_flg                 STRING COMMENT '删除标记',
+    remark                  STRING COMMENT '备注',
+    create_by               STRING COMMENT '创建人',
+    create_time             STRING COMMENT '创建时间',
+    update_by               STRING COMMENT '更新人',
+    update_time             STRING COMMENT '更新时间',
+    username                STRING COMMENT '账号',
+    growth_num              STRING COMMENT '会员成长值',
+    code                    STRING COMMENT '会员码',
+    notify_flag             STRING COMMENT '推送是否接受',
+    user_id                 STRING COMMENT '',
+    notify_type             STRING COMMENT '',
+    face_verify             STRING COMMENT '通过人脸识别标志:1',
+    open_psd                STRING COMMENT '支付开关',
+    refuse_pick_up          STRING COMMENT '是否拒绝自提,1拒绝0同意',
+    prop1                   STRING COMMENT '额外配置',
+    prop2                   STRING COMMENT '备用',
+    prop3                   STRING COMMENT '备用',
+    prop4                   STRING COMMENT '备用',
+    window_open             STRING COMMENT '悬浮窗口开关',
+    open_invoice            STRING COMMENT '开票权限',
+    blacklist               STRING COMMENT '编辑黑名单,1不允许编辑,2:限制云闪付',
+    id_card                 STRING COMMENT '身份证号',
+    member_level            STRING COMMENT '会员等级',
+    member_name             STRING COMMENT '会员名称',
+    current_month_growth    STRING COMMENT '当月已获取成长值',
+    member_init_flag        STRING COMMENT '月初初始化标志,默认0:未开始,1:已初始化',
+    member_keep_growth      STRING COMMENT '当前会员保级所需成长值',
+    register_ip_addr        STRING COMMENT '用户注册ip',
+    register_addr           STRING COMMENT '用户注册省区',
+    login_ip_addr           STRING COMMENT '用户上一次登陆ip',
+    login_addr              STRING COMMENT '用户上一次登陆省区',
+    notify_top_show         STRING COMMENT 'app顶部横幅通知',
+    voice_reminder          STRING COMMENT '声音提醒,默认1:开启,0:关闭',
+    vibrate_reminder        STRING COMMENT '震动提醒,默认1:开启,0:关闭',
+    consume_amount          STRING COMMENT '消费总金额',
+    order_total_num         STRING COMMENT '订单总数',
+    open_card_show          STRING COMMENT '开卡特效开关,默认1:开,0:关',
+    effects_type            STRING COMMENT '',
+    live_config_json        STRING COMMENT '直播间配置json',
+    cancel_verify_num       STRING COMMENT '重置实名认证次数',
+    version                 STRING COMMENT '',
+    daily_limit             STRING COMMENT '每日限额提醒',
+    weekly_limit            STRING COMMENT '每周限额提醒',
+    monthly_limit           STRING COMMENT '每月限额',
+    live_anonymous          STRING COMMENT '直播间匿名观看'
+)
+COMMENT '用户主表'
+PARTITIONED BY (dt STRING)
+STORED AS ORC
+LOCATION '/user/hive/warehouse/raw.db/raw_usr_app_base_user_inc_d';

+ 28 - 0
manual/ddl/raw/usr/raw_usr_app_user_cert_info_inc_d_create.sql

@@ -0,0 +1,28 @@
+-- 作者:tianyu.chu
+-- 日期:2026-04-30
+-- 工单:(无)
+-- 目的:raw 层贴源增量表,承接 PG public.app_user_cert_info 日常增量;全字段 STRING,按 dt 分区 ORC 存储
+-- 状态:第一版(未与业务库后端对账)
+-- 备注:配套 sync ini = jobs/raw/usr/raw_usr_app_user_cert_info_inc_d.ini;
+--       配套 mask 配置 = jobs/raw/usr/raw_usr_app_user_cert_info_inc_d.mask.ini;
+--       字段决策溯源 = kb/24-raw建模.md
+
+DROP TABLE IF EXISTS raw.raw_usr_app_user_cert_info_inc_d;
+
+CREATE EXTERNAL TABLE IF NOT EXISTS raw.raw_usr_app_user_cert_info_inc_d (
+    id               STRING COMMENT '',
+    user_id          STRING COMMENT '用户id',
+    cert_birthday    STRING COMMENT '证件生日',
+    cert_sex         STRING COMMENT '证件性别',
+    cert_province    STRING COMMENT '证件所在省',
+    cert_city        STRING COMMENT '证件所在市',
+    version          STRING COMMENT '版本',
+    status           STRING COMMENT '状态:0正常',
+    del_flag         STRING COMMENT '删除标记:0正常;1删除',
+    create_time      STRING COMMENT '创建时间',
+    update_time      STRING COMMENT '更新时间'
+)
+COMMENT '用户证件信息表'
+PARTITIONED BY (dt STRING)
+STORED AS ORC
+LOCATION '/user/hive/warehouse/raw.db/raw_usr_app_user_cert_info_inc_d';