在这里插入图片描述

最近接到一个任务:从 Mysql 迁移数据到 Oracle 的任务,总共十几张表,每张表都有百万多条数据。由于任务不是很急,一开始我打算用 Sql Developer 来同步,但在实测过程中 Sql Developer 经常出现卡住的问题,我也没有找到合适的解决方案,只好去尝试其他的工具。后来我在网上找到了一个阿里出品的开源同步工具,叫 DataX,不用不知道,一用吓一跳!DataX 的同步效率非常高,处理速度轻松就达到了每分钟上百万,很快就把这个任务解决了。这么好用的工具实在值得推荐,下面我就来简单介绍下 DataX 的用法

随着大语言模型(LLM)的兴起,本地部署这些模型的需求也日益增加。Ollama作为一个开源的LLM平台,为本地部署和管理大型语言模型提供了极大的便利。本文将详细介绍如何在Linux系统上使用Docker部署Ollama,并运行DeepSeek等大模型

一、安装 DataX

1、准备环境
JDK 1.8 +
Python 2+

2、下载工具
DataX 快速启动
打开链接,下载压缩包然后解压
在这里插入图片描述

二、添加同步任务

打开 DataX 的安装目录,在 job 文件夹下添加一个example.json文件,一个json文件就相当于一个同步任务,参考文件如下:

{
    "job": {
        "setting": {
            "speed": {
                "channel": 5
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "mysql用户名",
                        "password": "mysql密码",
                        "column": ["*"],
                        "connection": [
                           {
                              "table": ["表名"],
                              "jdbcUrl": ["jdbc:mysql://localhost:3306/biz"]
                           }
                        ]
                    }
                },
                "writer": {
                    "name": "oraclewriter",
                    "parameter": {
                        "username": "oracle用户名",
                        "password": "oracle密码",
                        "column": ["*"],
                        "connection": [
                            {
                               "table": ["表名"],
                               "jdbcUrl": "jdbc:oracle:thin:@localhost:1521/test"
                            }
                        ]
                      }
                    }
                }
        ]
    }
}

配置里包含了数据库连接和需要同步的表信息,更多配置内容可以参考官网
DataX 配置
在这里插入图片描述


三、执行同步任务

# window 环境设置 UTF-8 字符集环境,解决乱码问题
chcp 65001

# 启动脚本 
# 注意替换路径和任务文件名
python {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/example.json


四、学习交流

链接: Java-AI学习交流
一个人的精力是有限的,没有那么多的时间去探索新的事物,加入一个交流群就相当于增加了一个接触新事物、新想法、新机会的渠道,这就是交流群存在的意义,期待你的加入!

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐