 tianyu.chu
|
4eccb63140
feat(conf): Spark 参数两文件外配 + spark_sql.py 三级覆盖
|
преди 3 седмици |
|
tianyu.chu
|
709ca3920b
refactor(dw_base): __init__.py 去 findspark 与 21 个未用颜色常量
|
преди 3 седмици |
|
tianyu.chu
|
606a202bee
docs(kb): 下线重构阶段 3、取消 UDF 注释补齐、kb/31 登记 13 个通用 UDF
|
преди 3 седмици |
|
tianyu.chu
|
f506a7baf5
docs: 合并 kb/README 进根 README
|
преди 3 седмици |
|
tianyu.chu
|
ecc353d573
docs(kb): 清理陈旧内容并同步模块变动
|
преди 3 седмици |
|
tianyu.chu
|
d34ae2d5ec
docs(kb): 90 §7.6 登记 README 合并计划
|
преди 3 седмици |
|
tianyu.chu
|
281c625bb3
chore: 删 bin/flume-control.sh
|
преди 3 седмици |
|
tianyu.chu
|
de679ec092
refactor(conf): 环境变量外配到 conf/env.sh（bash+py 单源）
|
преди 3 седмици |
|
tianyu.chu
|
1b40b68d83
docs(kb): UDF 手册骨架搭建
|
преди 3 седмици |
|
tianyu.chu
|
f3396771dd
docs(kb): 新建 kb/31 UDF 手册骨架
|
преди 3 седмици |
|
tianyu.chu
|
ac59f8c7e3
docs(kb): 30 删 §1 通用流程 / §4.5 占位模块，commit 信息归入 §3.4 Git 协作，节号重排（README/90 联动）
|
преди 3 седмици |
|
tianyu.chu
|
eb86fe4256
docs(kb): ORC 走默认 + raw EXTERNAL + dt STRING 规范 + UDF 自查表计划 + 里程碑
|
преди 3 седмици |
|
tianyu.chu
|
3784ea8ef2
fix(dw_base): 恢复 HIVE_CONF_DIR export 给 Spark Hive metastore 用
|
преди 3 седмици |
|
tianyu.chu
|
5b2569a712
refactor(udf): 删 geo_hash UDF 及 pygeohash 依赖，新项目暂无 geo 场景
|
преди 3 седмици |
|
tianyu.chu
|
cf87744229
fix(dw_base): 恢复 HADOOP_CONF_DIR export 给 Spark 用（反转 04-18 删除决策）
|
преди 3 седмици |
|
tianyu.chu
|
35ae11379d
chore(bin): DATAX_HOME 默认值对齐 /opt/datax 并改条件赋值
|
преди 3 седмици |
|
tianyu.chu
|
8d0ac728c4
docs(kb): 90 路线按聚簇+DAG 重组；30 §4.5 占位规范；92 同步本批
|
преди 3 седмици |
|
tianyu.chu
|
6be2c2511d
docs(kb): DS 残留清 kb 前瞻；workers 锁 ini；spark-defaults 走 Spark 原生 .conf
|
преди 3 седмици |
|
tianyu.chu
|
727e4f2939
docs(kb): alerter + datax-speed 扩展名统一为 .ini；alerter 改为入库
|
преди 3 седмици |
|
tianyu.chu
|
cc2886f738
refactor: 删除 mongodb_utils + kb/90 §5.1 档案化
|
преди 3 седмици |
|
tianyu.chu
|
9b86d64274
refactor: 删除空壳模块 ml/elasticsearch/flink/validation
|
преди 3 седмици |
|
tianyu.chu
|
4c55533b2f
build(deps): 加入 pyspark==2.4.0 解决 PyCharm 远程解释器索引缺失
|
преди 3 седмици |
|
tianyu.chu
|
e76ede8d15
docs(kb): 修正 §7.1 pyspark 依赖表述，改为 findspark 指向集群版
|
преди 3 седмици |
|
tianyu.chu
|
c6db00f6cf
refactor(spark/udf): 整合通用 UDF 为单文件，删除老业务 UDF 目录
|
преди 3 седмици |
|
tianyu.chu
|
96b8099ffe
refactor(dw_base): 删除 oss/scheduler/hive 整目录 + utils/ 7 个老业务耦合文件
|
преди 3 седмици |
|
tianyu.chu
|
f20d9c39e6
refactor(dw_base): 清理老业务耦合文件（mg2es/DS/钉钉/tid/td_spark_init）并精简 spark_mmq_udf
|
преди 3 седмици |
|
tianyu.chu
|
2c68e8407b
docs(kb): §7.2.1 去掉 whoami 分流，日志统一 ${HOME}/log
|
преди 3 седмици |
|
tianyu.chu
|
a850606d5d
docs(kb): 统一"开发者/code review"表述
|
преди 3 седмици |
|
tianyu.chu
|
f081fdfe19
docs(kb): 补 Impala 链路、HMS Ranger 待验证、datasource env 目录
|
преди 3 седмици |
|
tianyu.chu
|
93e69bdec1
docs(kb): 锁定 §2.8 HDFS HA 改造为 Path B
|
преди 3 седмици |
