任务需求

将老系统的数据迁移到现在使用的数据库中,涉及四个数据库,每个数据库数据量都在千万级左右。

解决方法:

使用Kettle进行数据迁移

 解决过程:

新建kettle转换,加入表输入和表输出组件

 ​

 并且设置数据库连接

 

 设置参数

启动转换

 

如果还想再快一点,可以找到kettle的启动文件spoon.bat(windows系统使用的是spoon.bat,linux系统使用的是spoon.sh) 

 

编辑打开文件,找到

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms512m" "-Xmx512m" "-XX:MaxPermSize=256m"

修改-Xms、Xmx的值,根据硬件条件酌情增加。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐