目录

datax的安装包:

从零开始的大数据之路 (0)的葵花宝典 -- 安装包分享 -- 错过就是罪过 [持续更新分享]-CSDN博客

1、上传datax安装包到服务器并分发到其他服务器

2、解压Datax 

3、测试Datax

4、测试失败 datax报错解决

解决

再次测试


datax的安装包:

从零开始的大数据之路 (0)的葵花宝典 -- 安装包分享 -- 错过就是罪过 [持续更新分享]-CSDN博客

1、上传datax安装包到服务器并分发到其他服务器

 scp -r datax.tar.gz  root@slave1:$PWD

 scp -r datax.tar.gz  root@slave2:$PWD

2、解压Datax 

 tar -zxvf datax.tar.gz  -C /home/softwares/

3、测试Datax

# 进入datax bin 目录
cd /home/softwares/datax/bin



# 使用内部有的脚本测试datax的可用性
python /home/softwares/datax/bin/datax.py /home/softwares/datax/job/job.json

4、测试失败 datax报错解决

com.alibaba.datax.common.exception.DataXException: Code:[Framework-03], Description:[DataX引擎配置错误,该问题通常是由于DataX安装错误引起,请联系您的运维解决 .].  - 获取作业配置信息失败:/home/softwares/datax/bin/job/example.json - java.io.FileNotFoundException: File '/home/softwares/datax/bin/job/example.json' does not exist
 

解决
# 进入 reader 插件
cd  /home/softwares/datax/plugin/reader

# 执行这个命令
find . -maxdepth 1 -type f -name '._*' -exec rm -f {} \;


# 进入writer插件
cd  /home/softwares/datax/plugin/writer

# 执行这个命令
find . -maxdepth 1 -type f -name '._*' -exec rm -f {} \;

再次测试
# 使用自己的安装路径哈
python /home/softwares/datax/bin/datax.py /home/softwares/datax/job/job.json

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐