【数据库】DataX迁移Mysql数据库到Oracle,百万数据1分钟搞定!
使用 DataX 从 Mysql 迁移数据到 Oracle
·
最近接到一个任务:从 Mysql 迁移数据到 Oracle 的任务,总共十几张表,每张表都有百万多条数据。由于任务不是很急,一开始我打算用 Sql Developer 来同步,但在实测过程中 Sql Developer 经常出现卡住的问题,我也没有找到合适的解决方案,只好去尝试其他的工具。后来我在网上找到了一个阿里出品的开源同步工具,叫 DataX,不用不知道,一用吓一跳!DataX 的同步效率非常高,处理速度轻松就达到了每分钟上百万,很快就把这个任务解决了。这么好用的工具实在值得推荐,下面我就来简单介绍下 DataX 的用法

一、安装 DataX
1、准备环境
JDK 1.8 +
Python 2+
2、下载工具
DataX 快速启动
打开链接,下载压缩包然后解压
二、添加同步任务
打开 DataX 的安装目录,在 job 文件夹下添加一个example.json文件,一个json文件就相当于一个同步任务,参考文件如下:
{
"job": {
"setting": {
"speed": {
"channel": 5
}
},
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "mysql用户名",
"password": "mysql密码",
"column": ["*"],
"connection": [
{
"table": ["表名"],
"jdbcUrl": ["jdbc:mysql://localhost:3306/biz"]
}
]
}
},
"writer": {
"name": "oraclewriter",
"parameter": {
"username": "oracle用户名",
"password": "oracle密码",
"column": ["*"],
"connection": [
{
"table": ["表名"],
"jdbcUrl": "jdbc:oracle:thin:@localhost:1521/test"
}
]
}
}
}
]
}
}
配置里包含了数据库连接和需要同步的表信息,更多配置内容可以参考官网
DataX 配置
三、执行同步任务
# window 环境设置 UTF-8 字符集环境,解决乱码问题
chcp 65001
# 启动脚本
# 注意替换路径和任务文件名
python {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/example.json
四、学习交流
链接: Java-AI学习交流
一个人的精力是有限的,没有那么多的时间去探索新的事物,加入一个交流群就相当于增加了一个接触新事物、新想法、新机会的渠道,这就是交流群存在的意义,期待你的加入!
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)