|
|
@@ -122,9 +122,12 @@ def run_job(ini_path: str,
|
|
|
print('[datax] {ini} skip_datax=True,跳过执行'.format(ini=ini_path))
|
|
|
return 0
|
|
|
|
|
|
+ # DataX 默认堆 ~1G;多通道 + ORC writer 各自攒 stripe 很吃内存,老年代易打满 →
|
|
|
+ # Full GC 风暴甚至 OOM。显式抬到 6G(-Xmx 是上限,小任务只用到 -Xms 不浪费)。
|
|
|
exec_argv = [
|
|
|
python3_path, '-u',
|
|
|
os.path.join(datax_home, 'bin', 'datax.py'),
|
|
|
+ '--jvm=-Xms1g -Xmx6g',
|
|
|
json_path,
|
|
|
]
|
|
|
print('[datax] {ini} 开始执行 datax.py @ worker={w}'.format(ini=ini_path, w=worker_host))
|