datax 从oracle迁移到es中

  • Post author:
  • Post category:其他


任务启动时刻                    : 2023-04-20 19:34:56

任务结束时刻                    : 2023-04-20 19:56:22

任务总计耗时                    :               1285s

任务平均流量                    :            5.07MB/s

记录写入速度                    :          24522rec/s

读出记录总数                    :            30457190

读写失败总数                    :                   0

经过对比测试,读写速度和batchSize有关,我的表字段少,batchSize批处理提交设置成十万,比一万要快五倍,

“batchSize”: 100000,

channel 这个配置多线程,输出日志还是job0,查看线程也没有变化,速度也没有什么变化

“channel”: 8

设置内存,jvm默认是1G,设置4G之后,查看内存使用多了,但是速度也没有变化

python E:\ruanjian\JAVA\datax\datax\bin\datax.py –jvm=”-Xms4G -Xmx4G”



版权声明:本文为xiaxiaorui2003原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。