 tianyu.chu
|
cf87744229
fix(dw_base): 恢复 HADOOP_CONF_DIR export 给 Spark 用（反转 04-18 删除决策）
|
2 недель назад |
|
tianyu.chu
|
fc59501757
docs(kb): 02 §3 补个人账号首次部署需 chmod +x bin/*.sh
|
2 недель назад |
|
tianyu.chu
|
eb87ace423
docs(kb): 00 §6.3 补 DataX ini 代码实现现状（ds_type 白名单 + RDBMS columnType 覆盖）
|
2 недель назад |
|
tianyu.chu
|
35ae11379d
chore(bin): DATAX_HOME 默认值对齐 /opt/datax 并改条件赋值
|
2 недель назад |
|
tianyu.chu
|
8d0ac728c4
docs(kb): 90 路线按聚簇+DAG 重组；30 §4.5 占位规范；92 同步本批
|
2 недель назад |
|
tianyu.chu
|
6936460ac3
chore: 新增 io/ops/pm/dq/sync/tests 占位骨架；删 bin/excel_to_hive.py；publish.sh 挪入 bin
|
2 недель назад |
|
tianyu.chu
|
6be2c2511d
docs(kb): DS 残留清 kb 前瞻；workers 锁 ini；spark-defaults 走 Spark 原生 .conf
|
2 недель назад |
|
tianyu.chu
|
727e4f2939
docs(kb): alerter + datax-speed 扩展名统一为 .ini；alerter 改为入库
|
2 недель назад |
|
tianyu.chu
|
cc2886f738
refactor: 删除 mongodb_utils + kb/90 §5.1 档案化
|
2 недель назад |
|
tianyu.chu
|
9b86d64274
refactor: 删除空壳模块 ml/elasticsearch/flink/validation
|
2 недель назад |
|
tianyu.chu
|
4c55533b2f
build(deps): 加入 pyspark==2.4.0 解决 PyCharm 远程解释器索引缺失
|
2 недель назад |
|
tianyu.chu
|
9e2d611a61
refactor(udf): 提升 UDF 为顶层模块 dw_base/udf/
|
2 недель назад |
|
tianyu.chu
|
e76ede8d15
docs(kb): 修正 §7.1 pyspark 依赖表述，改为 findspark 指向集群版
|
2 недель назад |
|
tianyu.chu
|
c6db00f6cf
refactor(spark/udf): 整合通用 UDF 为单文件，删除老业务 UDF 目录
|
2 недель назад |
|
tianyu.chu
|
96b8099ffe
refactor(dw_base): 删除 oss/scheduler/hive 整目录 + utils/ 7 个老业务耦合文件
|
2 недель назад |
|
tianyu.chu
|
f20d9c39e6
refactor(dw_base): 清理老业务耦合文件（mg2es/DS/钉钉/tid/td_spark_init）并精简 spark_mmq_udf
|
2 недель назад |
|
tianyu.chu
|
2c68e8407b
docs(kb): §7.2.1 去掉 whoami 分流，日志统一 ${HOME}/log
|
2 недель назад |
|
tianyu.chu
|
27f699f85e
chore: 清理个人本地配置
|
2 недель назад |
|
tianyu.chu
|
38bd91788f
docs(kb): 00 存储格式约定收敛为引用 20 §7
|
2 недель назад |
|
tianyu.chu
|
7d77935042
docs(kb): 00 raw 类型约定收敛为引用 20 §8.1
|
2 недель назад |
|
tianyu.chu
|
a850606d5d
docs(kb): 统一"开发者/code review"表述
|
2 недель назад |
|
tianyu.chu
|
f081fdfe19
docs(kb): 补 Impala 链路、HMS Ranger 待验证、datasource env 目录
|
2 недель назад |
|
tianyu.chu
|
934685cf0d
docs(kb): 新增 §4.4 Git 提交信息规范
|
2 недель назад |
|
tianyu.chu
|
c380ac0526
docs(kb): 补充 PySpark 权限链路图
|
2 недель назад |
|
tianyu.chu
|
879d3fcfe5
docs(kb): ddl 分层分域与多步表子目录
|
2 недель назад |
|
tianyu.chu
|
0b32cdb2ff
docs(kb): 新增 12-同步方案.md
|
2 недель назад |
|
tianyu.chu
|
4c9b120c91
chore: 初始化 conf/templates 骨架
|
2 недель назад |
|
tianyu.chu
|
93e69bdec1
docs(kb): 锁定 §2.8 HDFS HA 改造为 Path B
|
2 недель назад |
|
tianyu.chu
|
13d0688972
refactor(dw_base): HDFSDataSource 支持 hadoopConfig
|
2 недель назад |
|
tianyu.chu
|
b28d87ace1
doc: 1.添加开发者鉴权路线 2.添加业务库同步方案及数据资产同步优先级 3 添加hive数据类型映射参考
|
2 недель назад |
