从零开始的大数据之路(6)- 三分钟安装部署好Datax
三分钟安装部署好Datax。
·
目录
从零开始的大数据之路 (0)的葵花宝典 -- 安装包分享 -- 错过就是罪过 [持续更新分享]-CSDN博客
datax的安装包:
从零开始的大数据之路 (0)的葵花宝典 -- 安装包分享 -- 错过就是罪过 [持续更新分享]-CSDN博客
1、上传datax安装包到服务器并分发到其他服务器

scp -r datax.tar.gz root@slave1:$PWD
scp -r datax.tar.gz root@slave2:$PWD
2、解压Datax
tar -zxvf datax.tar.gz -C /home/softwares/
3、测试Datax
# 进入datax bin 目录
cd /home/softwares/datax/bin
# 使用内部有的脚本测试datax的可用性
python /home/softwares/datax/bin/datax.py /home/softwares/datax/job/job.json
4、测试失败 datax报错解决
com.alibaba.datax.common.exception.DataXException: Code:[Framework-03], Description:[DataX引擎配置错误,该问题通常是由于DataX安装错误引起,请联系您的运维解决 .]. - 获取作业配置信息失败:/home/softwares/datax/bin/job/example.json - java.io.FileNotFoundException: File '/home/softwares/datax/bin/job/example.json' does not exist

解决
# 进入 reader 插件
cd /home/softwares/datax/plugin/reader
# 执行这个命令
find . -maxdepth 1 -type f -name '._*' -exec rm -f {} \;
# 进入writer插件
cd /home/softwares/datax/plugin/writer
# 执行这个命令
find . -maxdepth 1 -type f -name '._*' -exec rm -f {} \;
再次测试
# 使用自己的安装路径哈
python /home/softwares/datax/bin/datax.py /home/softwares/datax/job/job.json

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)