sqoop导入postgresql中的数据到hdfs上
一、踩坑1.1 shell执行采坑一:报错缺少驱动包解决:把这个配置到环境变量中,并分发配置至集群中的每台机器1.2 workflow问题:缺少包解决:上传对应包到hdfs的oozie目录中二、导入语句与导入mysql基本类似举例:sqoop import --connect jdbc:postgresql://pgm-bp189osqbs69n2c1602...
·
一、 踩坑
1.1 shell执行
采坑一:报错缺少驱动包
解决:
把这个配置到环境变量中,并分发配置至集群中的每台机器
1.2 workflow
问题:缺少包
解决:
上传对应包到hdfs的oozie目录中
二、导入语句
与导入mysql基本类似
举例:
sqoop import --connect jdbc:postgresql://pgm-bp189osqbs69n2c160270.pg.rds.aliyuncs.com:3433/commission_dev --username wljs_bigdata_rd_dev --password weoIhYv862jHmNUR --target-dir /ods/ods_mall_commission/ods_dis_sale_seller --table dis_sale_seller --fields-terminated-by '\001' --m 1 --input-null-string '\\N' --input-null-non-string '\\N'

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
所有评论(0)