KETTLE进行千万级数据迁移
任务需求。
·
任务需求:
将老系统的数据迁移到现在使用的数据库中,涉及四个数据库,每个数据库数据量都在千万级左右。
解决方法:
使用Kettle进行数据迁移
解决过程:
新建kettle转换,加入表输入和表输出组件
并且设置数据库连接
设置参数
启动转换
如果还想再快一点,可以找到kettle的启动文件spoon.bat(windows系统使用的是spoon.bat,linux系统使用的是spoon.sh)
编辑打开文件,找到
if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms512m" "-Xmx512m" "-XX:MaxPermSize=256m"
修改-Xms、Xmx的值,根据硬件条件酌情增加。

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
所有评论(0)