|
@@ -1,106 +1,138 @@
|
|
|
# raw 层建模决策
|
|
# raw 层建模决策
|
|
|
|
|
|
|
|
-> 各 raw 表字段裁剪决策记录。每张表按"保留 / 明性裁 / 隐性裁"三态标记字段,决策依据明确化,避免接手者误裁 / 漏裁,并为下一轮重构 / 业务变更提供溯源依据。
|
|
|
|
|
|
|
+> 各 raw 表字段裁剪决策记录。每张表按"保留 / 明性裁 / 隐性裁"三态标记字段
|
|
|
>
|
|
>
|
|
|
> **三态定义**:
|
|
> **三态定义**:
|
|
|
>
|
|
>
|
|
|
-> - **保留**:入仓字段(raw 层全字段 STRING,见 `kb/20-数仓分层与建模.md §8.1`)
|
|
|
|
|
-> - **明性裁**:字段名 / 注释**能直接识别涉密**(PII / 三方支付凭证 / 含敏 JSON / 内部敏感配置等),合规驱动 → reader column 不查询、不入仓
|
|
|
|
|
-> - **隐性裁**:字段名 / 注释**看不出明显敏感**,业务 / 技术理解才知道要裁(单租户冗余 / 内部技术字段 / 业务低频 / 数据冗余等)→ reader column 不查询、不入仓
|
|
|
|
|
|
|
+> - **保留**:入仓字段(raw 层全字段 STRING)
|
|
|
|
|
+> - **明性裁** 依据数据分析师库,做的第二轮裁剪
|
|
|
|
|
+> - **隐性裁**:真实业务库同步至数据分析师库做的第一轮裁剪
|
|
|
>
|
|
>
|
|
|
-> 两种裁都是物理层不入仓(raw `column` 字段不列)。区别仅在判断方式——明性可由不熟业务的人判断,隐性需熟业务方拍板。
|
|
|
|
|
|
|
+> 两种裁都是物理层不入仓(raw `column` 字段不列)
|
|
|
|
|
|
|
|
## 1. card_group_order_info(拼团订单表)
|
|
## 1. card_group_order_info(拼团订单表)
|
|
|
|
|
|
|
|
-### 1.1 概览
|
|
|
|
|
-
|
|
|
|
|
-| 项 | 值 |
|
|
|
|
|
-|---|---|
|
|
|
|
|
-| PG schema 全字段 | 120 |
|
|
|
|
|
-| 保留入 raw | 91 |
|
|
|
|
|
-| 明性裁 | 16 |
|
|
|
|
|
-| 隐性裁 | 13 |
|
|
|
|
|
-| 配套 DDL | `manual/ddl/raw/trd/raw_trd_card_group_order_info_his_o_create.sql` + `..._inc_d_create.sql` |
|
|
|
|
|
-| 配套 ini | `manual/backfill/20260425_raw_trd_card_group_order_info_his_o_history.ini` + `jobs/raw/trd/raw_trd_card_group_order_info_inc_d.ini` |
|
|
|
|
|
-| 决策日期 | 2026-04-25(his_o)/ 2026-04-28(inc_d 沿用)/ 2026-04-29(裁剪三态文档化) |
|
|
|
|
|
-
|
|
|
|
|
-### 1.2 保留字段(91)
|
|
|
|
|
-
|
|
|
|
|
-按 PG schema 顺序:
|
|
|
|
|
-
|
|
|
|
|
-`id, group_info_id, merchant_id, user_id, shipping_address_id, purchase_count, order_no, accounts_payable, actual_payment, payment_type, payment_time, coupon, discount, status, remark, create_time, create_by, update_time, update_by, payment_status, payment_status_desc, payment_success_time, del_flg, curier_company, refund_fee, refund_time, anonymous, pick_up_type, ship_time, refund_success_time, refund_recv_accout, refund_account, refund_request_source, card_price, act_price, goods_price_json, payment_sub_type, team_first, refuse_status, prop1, prop2, prop3, point, order_type, trade_amount, refund_type, refund_reason, evaluation, user_refund_time, refund_status, merchant_refund_reason, point_deduct, shipping_cost, merchant_remark, pay_record, order_sub_type, give_user_code, give_order_id, read_flag, give_num, invoice_id, combination_no, open_self, refund_desc, goods_allocate, close_payment_status, close_payment_time, finished_time, expire_time, settlement_amount, platform_coupon, platform_discount, discount_amount, member_discount, shipping_free_id, shipping_free_amount, discount_point, un_shipped_num, pre_un_shipped_num, wait_shipped_num, pre_wait_shipped_num, refuse_time, refuse_notice, pickup_time, waring_type, waring_status, point_type, delivery_end_time, serve_status, self_pickup_time, act_discount`
|
|
|
|
|
-
|
|
|
|
|
-字段类型 + 注释见 `manual/ddl/raw/trd/raw_trd_card_group_order_info_his_o_create.sql`(91 列 STRING + COMMENT)。
|
|
|
|
|
-
|
|
|
|
|
-### 1.3 明性裁(16,合规驱动)
|
|
|
|
|
-
|
|
|
|
|
-#### 1.3.1 PII(5)
|
|
|
|
|
-
|
|
|
|
|
-| 字段 | PG 注释 |
|
|
|
|
|
-|---|---|
|
|
|
|
|
-| `shipping_address_linkname` | 收件人姓名 |
|
|
|
|
|
-| `shipping_address` | 收货地址 |
|
|
|
|
|
-| `shipping_address_phone` | 收件人手机号 |
|
|
|
|
|
-| `app_user_nick_name` | App 用户昵称 |
|
|
|
|
|
-| `app_user_avatar` | App 用户头像 URL |
|
|
|
|
|
-
|
|
|
|
|
-#### 1.3.2 三方支付凭证 / 账户(9)
|
|
|
|
|
-
|
|
|
|
|
-| 字段 | PG 注释 |
|
|
|
|
|
-|---|---|
|
|
|
|
|
-| `prepay_id` | 微信预支付 ID |
|
|
|
|
|
-| `payment_evid` | 支付凭证号 |
|
|
|
|
|
-| `payment_num` | 支付流水号 |
|
|
|
|
|
-| `payment_bank_type` | 支付银行类型 |
|
|
|
|
|
-| `payment_appid` | 支付 App ID |
|
|
|
|
|
-| `out_refund_no` | 外部退款单号 |
|
|
|
|
|
-| `refund_id` | 三方退款 ID |
|
|
|
|
|
-| `trade_no` | 三方交易号 |
|
|
|
|
|
-| `shipping_trade_no` | 物流交易号 |
|
|
|
|
|
-
|
|
|
|
|
-#### 1.3.3 含敏感的支付详情 JSON(2)
|
|
|
|
|
-
|
|
|
|
|
-| 字段 | PG 注释 |
|
|
|
|
|
-|---|---|
|
|
|
|
|
-| `pay_data` | 支付明细 JSON |
|
|
|
|
|
-| `pay_result_data` | 支付返回 JSON |
|
|
|
|
|
-
|
|
|
|
|
-### 1.4 隐性裁(13,业务 / 技术驱动)
|
|
|
|
|
-
|
|
|
|
|
-#### 1.4.1 业务冗余 - 物流细节(4)
|
|
|
|
|
-
|
|
|
|
|
-| 字段 | PG 注释 | 裁剪理由 |
|
|
|
|
|
-|---|---|---|
|
|
|
|
|
-| `courier_num` | 快递单号 | 数仓业务不需要单号粒度,物流统计可用 `curier_company` |
|
|
|
|
|
-| `refund_curier_company` | 退款快递公司 | 与 `curier_company` 重复,退款场景占比低 |
|
|
|
|
|
-| `refund_courier_num` | 退款快递单号 | 同 `courier_num`,业务不需要 |
|
|
|
|
|
-| `refund_ship_time` | 退款发货时间 | 数仓暂无退款时长分析需求 |
|
|
|
|
|
-
|
|
|
|
|
-#### 1.4.2 业务库内部技术字段(4)
|
|
|
|
|
-
|
|
|
|
|
-| 字段 | PG 注释 | 裁剪理由 |
|
|
|
|
|
-|---|---|---|
|
|
|
|
|
-| `order_queue_low` | 订单队列分片低位 | 业务库内部分片实现,与数仓无关 |
|
|
|
|
|
-| `order_queue_high` | 订单队列分片高位 | 同上 |
|
|
|
|
|
-| `version` | 数据版本(乐观锁) | 业务库内部并发控制,数仓不用 |
|
|
|
|
|
-| `prop4` | 备用字段 | 与 prop1/2/3 取舍,业务方说 prop4 暂未启用 |
|
|
|
|
|
-
|
|
|
|
|
-#### 1.4.3 地址扩展 / 业务低频(3)
|
|
|
|
|
-
|
|
|
|
|
-| 字段 | PG 注释 | 裁剪理由 |
|
|
|
|
|
-|---|---|---|
|
|
|
|
|
-| `address_edit_json` | 地址编辑历史 JSON | 运营审计字段,数仓暂无审计场景;且字段较大 |
|
|
|
|
|
-| `self_pickup_code` | 自提码 | 业务低频字段,数仓无相关分析 |
|
|
|
|
|
-| `merchant_open` | 商家是否营业 | 状态字段,业务方说历史数据不需要回看 |
|
|
|
|
|
-
|
|
|
|
|
-#### 1.4.4 多租户 / 配置 ID(2)
|
|
|
|
|
-
|
|
|
|
|
-| 字段 | PG 注释 | 裁剪理由 |
|
|
|
|
|
-|---|---|---|
|
|
|
|
|
-| `tenant_id` | 多租户标识 | 当前单租户场景,字段恒值,无信息量 |
|
|
|
|
|
-| `pay_config_id` | 支付配置 ID | 配置外键,数仓不需要 join 配置表 |
|
|
|
|
|
-
|
|
|
|
|
-### 1.5 维护提示
|
|
|
|
|
-
|
|
|
|
|
-- **新增字段判断流程**:业务库后续如加字段 → 重跑 `bin/datax-sync-template-gen.py` 与现 ini diff → 落入 §1.3 / §1.4 / §1.2 之一 → 同步更新本文档 + DDL + ini
|
|
|
|
|
-- **不要"沉默裁剪"**:任何字段从 §1.2 移到 §1.3 / §1.4,必须在本文档留 PR + 决策记录
|
|
|
|
|
|
|
+PG 业务库共 120 字段;保留 91,明性裁 28,隐性裁 1。
|
|
|
|
|
+
|
|
|
|
|
+| 序号 | 字段名 | 中文名 | 数据类型 | 主键标识 | 裁剪类型 |
|
|
|
|
|
+| --- | --- | --- | --- | --- | --- |
|
|
|
|
|
+| 1 | `id` | id | integer | PK | 保留 |
|
|
|
|
|
+| 2 | `group_info_id` | 组团信息id | integer | | 保留 |
|
|
|
|
|
+| 3 | `merchant_id` | 商家id | integer | | 保留 |
|
|
|
|
|
+| 4 | `user_id` | 用户id | integer | | 保留 |
|
|
|
|
|
+| 5 | `shipping_address_id` | 收货地址id | integer | | 保留 |
|
|
|
|
|
+| 6 | `purchase_count` | 购买数量 | integer | | 保留 |
|
|
|
|
|
+| 7 | `order_no` | 订单编码 | character varying(64) | | 保留 |
|
|
|
|
|
+| 8 | `accounts_payable` | 应付款 | numeric(12,2) | | 保留 |
|
|
|
|
|
+| 9 | `actual_payment` | 实付款 | numeric(12,2) | | 保留 |
|
|
|
|
|
+| 10 | `payment_type` | 支付方式-交易类型 | character varying(32) | | 保留 |
|
|
|
|
|
+| 11 | `payment_num` | 支付流水号-微信支付订单号 | character varying(64) | | 明性 |
|
|
|
|
|
+| 12 | `payment_time` | 支付时间 | timestamp(6) without time zone | | 保留 |
|
|
|
|
|
+| 13 | `coupon` | 优惠券 | integer | | 保留 |
|
|
|
|
|
+| 14 | `discount` | 折扣 | numeric(12,2) | | 保留 |
|
|
|
|
|
+| 15 | `status` | 订单状态 | integer | | 保留 |
|
|
|
|
|
+| 16 | `remark` | 备注 | text | | 保留 |
|
|
|
|
|
+| 17 | `create_time` | 创建时间 | timestamp(6) without time zone | | 保留 |
|
|
|
|
|
+| 18 | `create_by` | 创建人 | character varying(125) | | 保留 |
|
|
|
|
|
+| 19 | `update_time` | 更新时间 | timestamp(6) without time zone | | 保留 |
|
|
|
|
|
+| 20 | `update_by` | 更新人 | character varying(125) | | 保留 |
|
|
|
|
|
+| 21 | `prepay_id` | 预支付交易会话标识:支付时用 | character varying(64) | | 明性 |
|
|
|
|
|
+| 22 | `payment_evid` | 支付通知id | character varying(125) | | 明性 |
|
|
|
|
|
+| 23 | `payment_status` | 交易状态 | character varying(32) | | 保留 |
|
|
|
|
|
+| 24 | `payment_status_desc` | 交易状态描述 | character varying(256) | | 保留 |
|
|
|
|
|
+| 25 | `payment_bank_type` | 付款银行 | character varying(128) | | 明性 |
|
|
|
|
|
+| 26 | `payment_success_time` | 支付完成时间 | timestamp(6) without time zone | | 保留 |
|
|
|
|
|
+| 27 | `shipping_address_linkname` | 姓名 | character varying(255) | | 明性 |
|
|
|
|
|
+| 28 | `shipping_address` | 收货地址 | character varying(512) | | 明性 |
|
|
|
|
|
+| 29 | `shipping_address_phone` | 联系方式 | character varying(24) | | 明性 |
|
|
|
|
|
+| 30 | `del_flg` | 删除标记:0=正常,1=删除 | smallint | | 保留 |
|
|
|
|
|
+| 31 | `courier_num` | 快递单号 | character varying(255) | | 明性 |
|
|
|
|
|
+| 32 | `curier_company` | 快递公司 | character varying(255) | | 保留 |
|
|
|
|
|
+| 33 | `out_refund_no` | 商户退款单号 | character varying(255) | | 明性 |
|
|
|
|
|
+| 34 | `refund_id` | 微信退款id | character varying(255) | | 明性 |
|
|
|
|
|
+| 35 | `refund_fee` | 退款金额 | numeric(12,2) | | 保留 |
|
|
|
|
|
+| 36 | `refund_time` | 退款时间 | timestamp(6) without time zone | | 保留 |
|
|
|
|
|
+| 37 | `anonymous` | 是否匿名 | boolean | | 保留 |
|
|
|
|
|
+| 38 | `pick_up_type` | 提货方式 | character varying(255) | | 保留 |
|
|
|
|
|
+| 39 | `ship_time` | 发货时间 | timestamp(0) without time zone | | 保留 |
|
|
|
|
|
+| 40 | `refund_success_time` | 退款成功时间 | timestamp without time zone | | 保留 |
|
|
|
|
|
+| 41 | `refund_recv_accout` | 退款入账账户 | character varying(255) | | 保留 |
|
|
|
|
|
+| 42 | `refund_account` | 退款资金来源 | character varying(255) | | 保留 |
|
|
|
|
|
+| 43 | `refund_request_source` | 退款发起来源 | character varying(255) | | 保留 |
|
|
|
|
|
+| 44 | `card_price` | 应付款 | numeric(12,2) | | 保留 |
|
|
|
|
|
+| 45 | `act_price` | 应付款 | numeric(12,2) | | 保留 |
|
|
|
|
|
+| 46 | `goods_price_json` | 价格json | text | | 保留 |
|
|
|
|
|
+| 47 | `payment_sub_type` | 支付 子分类:杉德支付(微信),宝付支付(微信)等 | character varying(255) | | 保留 |
|
|
|
|
|
+| 48 | `team_first` | 买队优先队伍 | character varying(255) | | 保留 |
|
|
|
|
|
+| 49 | `refuse_status` | 是否接受累积发货,0申请,1拒绝,2同意 | integer | | 保留 |
|
|
|
|
|
+| 50 | `trade_no` | 支付单号 | character varying(255) | | 明性 |
|
|
|
|
|
+| 51 | `prop1` | 备用 | character varying(255) | | 保留 |
|
|
|
|
|
+| 52 | `prop2` | 备用 | character varying(255) | | 保留 |
|
|
|
|
|
+| 53 | `prop3` | 备用 | character varying(255) | | 保留 |
|
|
|
|
|
+| 54 | `prop4` | 备用 | text | | 明性 |
|
|
|
|
|
+| 55 | `point` | 消耗积分 | integer | | 保留 |
|
|
|
|
|
+| 56 | `order_type` | 订单类型 | character varying(64) | | 保留 |
|
|
|
|
|
+| 57 | `trade_amount` | 订单交易金额 | numeric(18,2) | | 保留 |
|
|
|
|
|
+| 58 | `refund_type` | 仅退款refund_amount,退货退款refund_goods,换货change | character varying(64) | | 保留 |
|
|
|
|
|
+| 59 | `refund_reason` | 订单退换原因 | text | | 保留 |
|
|
|
|
|
+| 60 | `evaluation` | 订单评价 | text | | 保留 |
|
|
|
|
|
+| 61 | `refund_curier_company` | 退换物流公司 | character varying(64) | | 明性 |
|
|
|
|
|
+| 62 | `refund_courier_num` | 退换物流单号 | character varying(64) | | 明性 |
|
|
|
|
|
+| 63 | `user_refund_time` | 退换申请时间 | timestamp without time zone | | 保留 |
|
|
|
|
|
+| 64 | `refund_status` | 1:申请 2同意 3拒绝 ,4退回货物 5商家收到货 | integer | | 保留 |
|
|
|
|
|
+| 65 | `refund_ship_time` | 退换物流时间 | timestamp without time zone | | 明性 |
|
|
|
|
|
+| 66 | `merchant_refund_reason` | 商家拒绝原因 | text | | 保留 |
|
|
|
|
|
+| 67 | `order_queue_low` | 卡密顺序低位 | smallint | | 明性 |
|
|
|
|
|
+| 68 | `order_queue_high` | 卡密顺序高位 | smallint | | 明性 |
|
|
|
|
|
+| 69 | `payment_appid` | 支付子分类appid或商户号 | character varying(255) | | 明性 |
|
|
|
|
|
+| 70 | `point_deduct` | 积分抵扣金额 | numeric(18,2) | | 保留 |
|
|
|
|
|
+| 71 | `shipping_trade_no` | 运费交易单号 | character varying(64) | | 明性 |
|
|
|
|
|
+| 72 | `shipping_cost` | 运费 | numeric(18,2) | | 保留 |
|
|
|
|
|
+| 73 | `merchant_remark` | 商家备注 | text | | 保留 |
|
|
|
|
|
+| 74 | `pay_record` | 是否重复支付:1=是 | smallint | | 保留 |
|
|
|
|
|
+| 75 | `pay_data` | 支付参数:(统一下单使用) | text | | 明性 |
|
|
|
|
|
+| 76 | `pay_config_id` | 支付配置id | integer | | 明性 |
|
|
|
|
|
+| 77 | `pay_result_data` | 支付返回数据 | text | | 明性 |
|
|
|
|
|
+| 78 | `order_sub_type` | 订单子类型,赠与:receive | character varying(255) | | 保留 |
|
|
|
|
|
+| 79 | `give_user_code` | 赠与人 | character varying(32) | | 保留 |
|
|
|
|
|
+| 80 | `give_order_id` | 赠与关联订单id | integer | | 保留 |
|
|
|
|
|
+| 81 | `read_flag` | 赠送未读0和1 | smallint | | 保留 |
|
|
|
|
|
+| 82 | `give_num` | 赠送个数 | integer | | 保留 |
|
|
|
|
|
+| 83 | `invoice_id` | 发票记录id | integer | | 保留 |
|
|
|
|
|
+| 84 | `combination_no` | 拆分订单关联编号 | character varying(32) | | 保留 |
|
|
|
|
|
+| 85 | `open_self` | 是否用户自己拆卡,默认0,1:商家待拆 | smallint | | 保留 |
|
|
|
|
|
+| 86 | `address_edit_json` | 修改地址记录json | text | | 明性 |
|
|
|
|
|
+| 87 | `app_user_nick_name` | 用户昵称 | character varying(255) | | 明性 |
|
|
|
|
|
+| 88 | `app_user_avatar` | 用户头像 | character varying(512) | | 明性 |
|
|
|
|
|
+| 89 | `refund_desc` | 退款原因详细描述 | text | | 保留 |
|
|
|
|
|
+| 90 | `goods_allocate` | 卡密是否分配,默认0:未分配,1已分配 | smallint | | 保留 |
|
|
|
|
|
+| 91 | `close_payment_status` | 打款状态:0=未打款,1=申请中,2=已打款 | smallint | | 保留 |
|
|
|
|
|
+| 92 | `close_payment_time` | 打款时间,签收时间后5个工作日 | timestamp without time zone | | 保留 |
|
|
|
|
|
+| 93 | `finished_time` | 订单结束时间 | timestamp without time zone | | 保留 |
|
|
|
|
|
+| 94 | `expire_time` | 过期时间 | timestamp without time zone | | 保留 |
|
|
|
|
|
+| 95 | `settlement_amount` | 结算金额,实付款-退款(预售组队为已开卡总金额) | numeric(12,2) | | 保留 |
|
|
|
|
|
+| 96 | `platform_coupon` | 平台优惠券id | integer | | 保留 |
|
|
|
|
|
+| 97 | `platform_discount` | 平台优惠劵折扣 | numeric(12,2) | | 保留 |
|
|
|
|
|
+| 98 | `discount_amount` | 折扣金额 | numeric(12,2) | | 保留 |
|
|
|
|
|
+| 99 | `member_discount` | 会员折扣 | numeric(12,2) | | 保留 |
|
|
|
|
|
+| 100 | `shipping_free_id` | 运费券id | integer | | 保留 |
|
|
|
|
|
+| 101 | `shipping_free_amount` | 运费券金额 | numeric(12,2) | | 保留 |
|
|
|
|
|
+| 102 | `discount_point` | 折扣积分 | integer | | 保留 |
|
|
|
|
|
+| 103 | `un_shipped_num` | 精美卡片未发货数量 | integer | | 保留 |
|
|
|
|
|
+| 104 | `pre_un_shipped_num` | 拼豆订单提醒用户申请时间 | integer | | 保留 |
|
|
|
|
|
+| 105 | `wait_shipped_num` | 精美卡片等待发货数量 | integer | | 保留 |
|
|
|
|
|
+| 106 | `pre_wait_shipped_num` | 用户支付拼豆订单运费时间 | integer | | 保留 |
|
|
|
|
|
+| 107 | `refuse_time` | 用户同意累计发货时间 | timestamp(6) without time zone | | 保留 |
|
|
|
|
|
+| 108 | `refuse_notice` | 累计发货通知提醒:0未发送 1已发送 | integer | | 保留 |
|
|
|
|
|
+| 109 | `tenant_id` | 组织id(暂定) | integer | | 明性 |
|
|
|
|
|
+| 110 | `pickup_time` | 揽收时间 | timestamp(6) without time zone | | 保留 |
|
|
|
|
|
+| 111 | `waring_type` | 风险异常类型 | character varying(255) | | 保留 |
|
|
|
|
|
+| 112 | `waring_status` | 风险异常状态:1风险预警、2违规 | integer | | 保留 |
|
|
|
|
|
+| 113 | `point_type` | 使用积分类型 | character varying(64) | | 保留 |
|
|
|
|
|
+| 114 | `delivery_end_time` | 发货截止时间 | timestamp without time zone | | 保留 |
|
|
|
|
|
+| 115 | `serve_status` | 订单业务状态,业务之间,间隔100 | integer | | 保留 |
|
|
|
|
|
+| 116 | `self_pickup_code` | 自提码 | character varying(16) | | 明性 |
|
|
|
|
|
+| 117 | `self_pickup_time` | 申请自提时间,24小时内有效 | timestamp without time zone | | 保留 |
|
|
|
|
|
+| 118 | `act_discount` | 平台折扣(拼豆无余额折扣) | numeric(12,2) | | 保留 |
|
|
|
|
|
+| 119 | `version` | 数据版本(暂时) | integer | | 明性 |
|
|
|
|
|
+| 120 | `merchant_open` | 支持商家代开卡密:默认0不支持,1支持 | smallint | | 隐性 |
|