以下是今天会议上我这边要给出一些参考资料(部署、踩过的坑):

【资料地址】

1.dataX官网地址:https://github.com/alibaba/DataX/blob/master/introduction.md

2.dataX-web官网地址:https://github.com/WeiYe-Jing/datax-web

3.dataX 下载

(1)github地址:https://github.com/alibaba/DataX

(2)tar包地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

【初次搭建部署坑】

(1)python版本和datax版本的兼容性要对应

(2)dataX写入模式model的命名需要规范

(3)dataX-web的job.json 在生成过程需要注意每个表任务的读写对应关系

(4)第一次全量数据会比较大,超时时间需要设置大点

【目前版本及部署位置】 多节点部署配置如下:

(1)版本:datax-web-2.1.2、datax 3.0

(2)部署位置:10.0.32.xx(datax、web)、10.0.32.xx(datax 该节点未注册) Linux目录:/usr/local/datax

(3)web地址:http://10.0.xx,xx:9527/index.html

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐